piyolog

piyokangoの備忘録です。セキュリティの出来事を中心にまとめています。このサイトはGoogle Analyticsを利用しています。

データ移行で発生したみずほ銀行のシステム障害についてまとめてみた

2021年2月28日、みずほ銀行でシステム障害が発生し、全国で同行のATMが利用できなくなる、キャッシュカードが取り込まれたまま戻ってこないなどのトラブルが発生しました。ここでは関連する情報をまとめます。

取り込まれ戻ってこないキャッシュカード

f:id:piyokango:20210304123546p:plain
みずほ銀行サイト上に掲載されたシステム障害発生の案内

障害が発生したのは2021年2月28日11時頃。障害により各地で生じた影響は以下が報じられるなどしている。なお、法人向けに提供されるサービスでは今回のシステム障害による不具合は確認されていない。*1 障害発生から30時間後に全面復旧をした。

  • みずほ銀行の自行ATM5,395台の内、54%にあたる2,956台が停止し(2月28日19時40分頃時点)、預金引き落とし等が出来なくなった。*2 台数はその後訂正され、最大4,318台が停止していたことが明らかにされた。 *3
  • 障害発生中は、ATMよりキャッシュカード、通帳が機器から戻されない事象が発生。*4 取り出せなくなる影響を受けた件数は5,244件。
  • インターネットバンキング(みずほダイレクト)の一部の取引(定期預金、グローバル口座サービス)でもシステム障害が発生。*5

日時 出来事
2021年2月27日 みずほ銀行が60万件のデータ移行作業を完了。不具合なし。
2021年2月28日午前 みずほ銀行が70万件のデータ移行作業中にシステム障害が発生。
同日 11時頃 みずほ銀行が全国に設置された一部の自行ATMが利用できなくなる障害が発生していることを把握。
同日 午後 みずほ銀行の経営幹部がATM全体の大規模な障害発生を把握。
同日 13時頃 みずほ銀行がWebサイト上にシステム障害の発生を掲載。
同日 14時半頃 みずほ銀行がコールセンターを増強、支店長を通じ全店職員に出勤を要請。
同日 17時頃 みずほ銀行がコンビニATMが利用可能であることをWebサイト上で案内。
同日 夜 メモリ増強を実施し、システム障害が解消。*6
2021年3月1日 0時 オンラインバンキングの障害復旧完了。
同日 7時 店舗内ATM復旧完了。店舗外のATMなどを中心に一部再開が出来ず。
同日 9時頃 全国支店に設置されたATMなどをすべて復旧。
同日 15時頃 稼働確認ができていなかった店舗外42台の復旧を確認。
同日 18時頃 みずほ銀行が今回のシステム障害について記者会見。頭取が謝罪。
2021年3月2日 キャッシュカード、通帳の返却が8割完了。
2021年3月3日 金融庁がみずほ銀行に報告徴求命令。
他行利用による手数料は後日返金
  • ATM不具合はイオン銀やゼブン銀、ローソン銀のATMでは発生しておらず、同行ATM以外を利用した際にかかる手数料は後日返金される。これ以外に代替手段により生じた費用についても取引店舗に相談するように案内が行われている。*7
  • ATMに取り込まれたままのキャッシュカードや通帳は後日返却対応が行われる。他行キャッシュカードの場合は他行経由での返却手続きとなることが案内されている。*8

機器再起動で順次復旧

  • Webサイト上にはシステム障害は解消したと掲示されている(3月1日4時頃確認)。
  • インターネットバンキング(みずほダイレクト)は3月1日0時時点で復旧済み。
  • ATMや通帳繰越機は機器の再起動が必要で、2月28日21時までに復旧作業は完了しなかった。
  • 再起動が行われた店舗より順次復旧していると説明し、2021年3月1日サービス開始時(朝7時)までの復旧を目指していたが、3月1日7時開始予定の拠点の内、主に銀行店舗外に設置されたATMが復旧できていないとしてリストが掲示された。*9 8時以降にサービスを開始予定している拠点で現在作業中となっているのは51か所とした。(3月1日9時半時点)

[PDF] 3/1(月)7:00サービス開始でご利用いただけない拠点

データ移行中の不具合が原因

事前見積を超える処理量でシステム過負荷

www.youtube.com

  • 3月1日の記者会見でデータ移行と月末処理による過負荷が障害の原因であったことが明らかにされた。当時対応が行われていたのは定期預金のデータ移行45万件と月末処理25万件の70万件。
定期預金データ移行 45万件
一定期間取引のない口座処理 25万件
  • 取引が一定期間行われていない口座へのデータ処理は月末に必ずしも行う必要はなかった。
  • 通常は実施しない定期預金のデータ移行は事前のテストで処理量を見積もっていたが、月末に行っている25万件が通常より多く、結果として全体の処理量が想定を上回ってしまった。みずほ銀行はデータ移行作業自体は難易度の高い作業ではないと記者会見で説明している。*11 その結果、作業用に確保していたメモリが不足する事象が発生してしまった。
  • システム障害の責任については、みずほ銀行とグループが責任をもって対処するものと頭取が回答。
  • 通常体制でトラブルシュートが可能と判断したことが障害への対応が後手になった背景にある。マニュアル通りに対応しようとしたことが要因と記者会見で回答している。*12
影響最小化を行った結果 利用客にしわ寄せ
  • 2019年に稼働した次世代システム「MINORI」では、各業務に対応するシステムが連なる構成が組まれている。
  • 過去の大規模障害の教訓から何らかのシステムで不具合が生じた際、システム全体へ波及を防ぐため他取引の間口を閉じていく機能が実装されている。
  • 28日の障害を受け、全体への影響を回避するためATMの利用制限が発生した。さらにATMの不正利用防止のためにキャッシュカードを保管する機能が有効となっている。
  • みずほ銀行は今回の障害で単体の機能別でみた場合の誤作動は起きていなかったが、全体として利用者に影響を及ぼさない運用に反する事態となったとコメントしている。*13
事後対応に遅れ
  • システム障害当初は定期預金取引ができないだけという見立てを行っていた。*14
  • そのため、障害発生時もその時点の体制で終息可能との判断が行われていた。コールセンターは休日体制であり、対応を十分に受けることができなかった。

金融庁が報告徴求命令

  • 金融庁は2021年3月3日にみずほフィナンシャルグループ、みずほ銀行に対し報告徴求命令を出した。
  • 障害発生日に銀行側と連絡が取れずに長時間待たされるなど多数の顧客に影響が及んだ事態を重く見たため。*15
  • 報告の期限日は2021年3月末。

3月3日に別要因で障害

f:id:piyokango:20210304123517p:plain
3月3日に発生した障害のお知らせ
  • 3月3日19時58分から20時1分の3分間、システムセンター間のネットワーク瞬断が発生した。
  • この影響を受け、28拠点29台のATMが一時停止していたが、同日23時10分までに全て稼働状態にあることが確認された。
  • 障害を受け、キャッシュカードが取り込まれた利用者に対しては各店舗店員、警備会社、監視センターのリモート対応を通じ、返却等の対応が行われている。
  • 3月3日に発生した障害はハードウェア不具合によるもので、2月28日のデータ移行のシステム障害とは別要因であることをみずほ銀行が明らかにしている。

更新履歴

  • 2021年3月1日 AM 新規作成
  • 2021年3月1日 AM 続報反映(復旧状況)
  • 2021年3月2日 AM 続報反映(記者会見)
  • 2021年3月3日 PM 続報反映(報告徴求命令)
  • 2021年3月4日 PM 続報反映(障害原因)

*1:みずほATMが一時停止 全国の半分超、約3000台影響―システムに障害,時事通信,2021年2月28日

*2:みずほATMで障害、3千台停止 カード戻らず混乱、ネットも障害,東京新聞,2021年2月28日

*3:みずほ銀行 ATM障害は全国規模か “徐々に復旧進んでいる”,NHK,2021年2月28日

*4:全国規模で発生したためか、障害発生の掲示などが遅れた店舗もあり、銀行を訪れた客から順次取り込まれるといった状況も発生していた模様。顧客間で情報交換を行っていたとするツイートも散見された。

*5:【復旧】みずほ銀行、システム不具合でATM停止,Impress Watch,2021年2月28日

*6:みずほ銀行ATM 全て復旧 データ移行 過大な負荷,東京新聞,2021年3月2日朝刊1面

*7:みずほ銀行のシステム障害、データ更新作業が引き金に,日経クロステック,2021年2月28日

*8:ATMに入れたキャッシュカード出てこない客も…みずほ銀行の一部ATMで障害 客「帰るしかない…」,FNN,2021年2月28日

*9:みずほ銀ATM、午前7時の全面復旧目指す…一時3000台停止,読売新聞,2021年3月1日

*10:みずほ銀行ATM2900台に障害 ネットも一部取引停止に,日本経済新聞,2021年2月28日

*11:みずほ銀行システム障害で頭取が謝罪、「運用に問題があり自らの責任」,日経クロステック,2021年3月1日

*12:みずほ銀システム変えても大規模障害「運用上まだ問題」,朝日新聞,2021年3月1日

*13:みずほ銀行ATM障害、長時間足止め 自営機能が裏目に,日本経済新聞,2021年3月2日朝刊3面

*14:データ移行 想定甘く みずほ銀障害,読売新聞,2021年3月2日朝刊7面

*15:金融庁 みずほ銀行に「報告徴求命令」 ATMのシステム障害で,NHK,2021年3月3日