piyolog

piyokangoの備忘録です。セキュリティの出来事を中心にまとめています。このサイトはGoogle Analyticsを利用しています。

データ移行で発生したみずほ銀行のシステム障害についてまとめてみた

2021年2月28日、みずほ銀行でシステム障害が発生し、全国で同行のATMが利用できなくなる、キャッシュカードが取り込まれたまま戻ってこないなどのトラブルが発生しました。ここでは関連する情報をまとめます。

取り込まれ戻ってこないキャッシュカード

f:id:piyokango:20210304123546p:plain
みずほ銀行サイト上に掲載されたシステム障害発生の案内

障害が発生したのは2021年2月28日11時頃。障害により各地で生じた影響は以下が報じられるなどしている。なお、法人向けに提供されるサービスでは今回のシステム障害による不具合は確認されていない。*1 障害発生から30時間後に全面復旧をした。

  • みずほ銀行の自行ATM5,395台の内、54%にあたる2,956台が停止し(2月28日19時40分頃時点)、預金引き落とし等が出来なくなった。*2 台数はその後訂正され、最大4,318台が停止していたことが明らかにされた。 *3
  • 障害発生中は、ATMよりキャッシュカード、通帳が機器から戻されない事象が発生。*4 取り出せなくなる影響を受けた件数は5,244件。3月3日時点で9割超の返却が行われたが連絡が取れない利用者などがいるため、約500件ほどが未返却となっている。*5
  • インターネットバンキング(みずほダイレクト)の一部の取引(定期預金、グローバル口座サービス)でもシステム障害が発生。*6

日時 出来事
2021年2月27日 みずほ銀行がe-口座への切り替えを進めるための作業を開始。60万件のデータ移行作業を完了。不具合なし。
2021年2月28日午前 みずほ銀行が70万件のデータ移行作業中にシステム障害が発生。
同日 11時頃 みずほ銀行が全国に設置された一部の自行ATMが利用できなくなる障害が発生していることを把握。
同日 午後 みずほ銀行の経営幹部がATM全体の大規模な障害発生を把握。
同日 13時頃 みずほ銀行がWebサイト上にシステム障害の発生を掲載。
同日 14時半頃 みずほ銀行がコールセンターを増強、支店長を通じ全店職員に出勤を要請。
同日 17時頃 みずほ銀行がコンビニATMが利用可能であることをWebサイト上で案内。
同日 夜 メモリ増強を実施し、システム障害が解消。*7
2021年3月1日 0時 オンラインバンキングの障害復旧完了。
同日 7時 店舗内ATM復旧完了。店舗外のATMなどを中心に一部再開が出来ず。
同日 9時頃 全国支店に設置されたATMなどをすべて復旧。
同日 15時頃 稼働確認ができていなかった店舗外42台の復旧を確認。
同日 18時頃 みずほ銀行が今回のシステム障害について記者会見。頭取が謝罪。
2021年3月2日 キャッシュカード、通帳の返却が8割完了。
2021年3月3日 金融庁がみずほ銀行に報告徴求命令。
同日 ハードウェア障害でシステム障害発生。
同日 キャッシュカード、通帳の返却が9割完了。
2021年3月5日 3月中のみずほe-口座への移行を断念し、作業再開を翌月以降となることが報道。*8
2021年3月7日 プログラム更新不具合でシステム障害。
2021年3月11日23時39分 データセンターのハード機器障害でシステム障害が発生。
同日 金融庁が銀行法に基づく報告徴求命令(追加)。
2021年3月12日21時 4回目になるシステム障害をおこし、みずほ銀行頭取が謝罪会見。
2021年3月15日 全銀協が緊急の申し合わせを行い、加盟銀行に対しトラブル時の顧客対応を要求。*9
2021年3月31日 みずほ銀が金融庁へ報告書を提出。
2021年4月5日 みずほ銀がシステム障害の対応状況を発表。
2021年4月13日 システム障害の対応を行うため、みずほFG社長が内定していた全銀行会長就任を辞退。*10
他行利用による手数料は後日返金
  • ATM不具合はイオン銀やゼブン銀、ローソン銀のATMでは発生しておらず、同行ATM以外を利用した際にかかる手数料は後日返金される。これ以外に代替手段により生じた費用についても取引店舗に相談するように案内が行われている。*11
  • ATMに取り込まれたままのキャッシュカードや通帳は後日返却対応が行われる。他行キャッシュカードの場合は他行経由での返却手続きとなることが案内されている。*12

機器再起動で順次復旧

  • Webサイト上にはシステム障害は解消したと掲示されている(3月1日4時頃確認)。
  • インターネットバンキング(みずほダイレクト)は3月1日0時時点で復旧済み。
  • ATMや通帳繰越機は機器の再起動が必要で、2月28日21時までに復旧作業は完了しなかった。
  • 再起動が行われた店舗より順次復旧していると説明し、2021年3月1日サービス開始時(朝7時)までの復旧を目指していたが、3月1日7時開始予定の拠点の内、主に銀行店舗外に設置されたATMが復旧できていないとしてリストが掲示された。*13 8時以降にサービスを開始予定している拠点で現在作業中となっているのは51か所とした。(3月1日9時半時点)

[PDF] 3/1(月)7:00サービス開始でご利用いただけない拠点

データ移行中の不具合が原因

事前見積を超える処理量でシステム過負荷

www.youtube.com

  • 3月1日の記者会見でデータ移行と月末処理による過負荷が障害の原因であったことが明らかにされた。当時対応が行われていたのは70万件で内訳は以下の通り。
定期預金のデータ移行 25万件
一定期間取引のない口座処理(みずほ e-口座への処理) 45万件
  • 通常は実施しない定期預金のデータ移行は事前のテストで処理量を見積もっていたが、月末に行っている25万件が通常より多く、結果として全体の処理量が想定を上回ってしまった。みずほ銀行はデータ移行作業自体は難易度の高い作業ではないと記者会見で説明している。*15 その結果、作業用に確保していたメモリが不足する事象が発生してしまった。
  • システム障害の責任については、みずほ銀行とグループが責任をもって対処するものと頭取が回答。
  • 通常体制でトラブルシュートが可能と判断したことが障害への対応が後手になった背景にある。マニュアル通りに対応しようとしたことが要因と記者会見で回答している。*16
  • システム障害を受け、原因となったメモリ容量を5倍に増強している。*17
  • その後、障害を起こした作業は「みずほ e-口座」への移行作業であったことが報じられた。2月27日より作業が開始されており、移行が行われるのは今年が初年度。この処理は月末に必ずしも行う必要はなかった、期限に迫られていたわけでもなく余裕をもって作業を行っていた、とみずほ銀行側は記者会見で回答している。*18 2021年1月末時点で1年以上記帳実績のない口座を段階的に変更が行われる計画となっていた。*19
影響最小化を行った結果 利用客にしわ寄せ
  • 2019年に稼働した次世代システム「MINORI」では、各業務に対応するシステムが連なる構成が組まれている。
  • 過去の大規模障害の教訓から何らかのシステムで不具合が生じた際、システム全体へ波及を防ぐため他取引の間口を閉じていく機能が実装されている。
  • 28日の障害を受け、全体への影響を回避するためATMの利用制限が発生した。さらにATMの不正利用防止のためにキャッシュカードを保管する機能が有効となっている。
  • みずほ銀行は今回の障害で単体の機能別でみた場合の誤作動は起きていなかったが、全体として利用者に影響を及ぼさない運用に反する事態となったとコメントしている。*20
事後対応に遅れ
  • システム障害当初は定期預金取引ができないだけという見立てを行っていた。*21
  • そのため、障害発生時もその時点の体制で終息可能との判断が行われていた。コールセンターは休日体制であり、対応を十分に受けることができなかった。

金融庁が報告徴求命令

  • 金融庁は2021年3月3日にみずほフィナンシャルグループ、みずほ銀行に対し報告徴求命令を出した。
  • 障害発生日に銀行側と連絡が取れずに長時間待たされるなど多数の顧客に影響が及んだ事態を重く見たため。*22
  • 報告の期限日は2021年3月末。
体制上の整備不十分と報告
  • 2021年3月31日にみずほ銀行は原因、再発防止について取りまとめた報告書を金融庁へ提出。
  • カード等の取り込みについては4月末~9月末にかけ仕様見直しを行う。

報じられている報告書の要点は以下の通り。*23

  • 連続的に発生した4件のシステム障害のについては異なる原因で発生したもので、1つの障害から他に連鎖的に起きたものではない。
  • 新基幹システムが持つ障害対応機能は想定通りに作動している。
  • 新基幹システムの安定的な運用にとどまらず、関連する周辺システムとのバランスも考慮が必要。
  • カード等をATMが取り込む仕様は以降前の旧システムから継承されたもの。
  • 初動時点では原因に対する情報収集が中心で、顧客対応が十分ではなかった。

その後も立て続けに3件の障害

  • 2021年2月28日のシステム障害以降、2週間の間に3件のシステム障害が発生。
  • 一連の障害の関連は因果関係は見えないとして、3月12日の会見で頭取が述べている。
2021年3月3日の障害
f:id:piyokango:20210304123517p:plain
3月3日に発生した障害のお知らせ
  • 3月3日19時58分から20時1分の3分間、システムセンター間のネットワーク瞬断が発生した。
  • この影響を受け、28拠点29台のATMが一時停止していたが、同日23時10分までに全て稼働状態にあることが確認された。
  • 障害を受け、キャッシュカードが取り込まれた利用者に対しては各店舗店員、警備会社、監視センターのリモート対応を通じ、返却等の対応が行われている。
  • 3月3日に発生した障害はハードウェア不具合によるもので、2月28日のデータ移行のシステム障害とは別要因であることをみずほ銀行が明らかにしている。
2021年3月7日の障害
  • 2021年3月7日9時頃から13時頃までインターネットバンキングやATMの一部で取引ができないトラブル発生。
  • カードローンを取り扱うプログラム更新作業中にエラーが発生。
  • 利用者から入金できない等の問い合わせが数件、実際に操作を行って取引が完了しなかった人が9名。*24
2021年3月11日の障害
f:id:piyokango:20210315171112p:plain
11日夜の障害についての発表
  • 2021年3月11日23時39分にデータセンターのハードウェアトラブル(4台の内1台のプロセッサが故障)が発生するも予備機への切り替えが行われずシステム障害が発生。*25
  • 障害の影響で外貨送金263件で遅延が発生した。みずほ銀が12日送金としている内容が送金先で13日として処理されており、不整合が生じる可能性。
  • みずほ銀行は不整合にズレが生じ、約束期日に顧客が振り込めなかったりする等の損害が出た恐れがあり、振り込み日を12日とするよう調整を行う方針。*26
  • 何らかのハード面の理由により、故障により切替先のバックアップシステムがすぐに作動しなかった。
発生日時 出来事
11日23時39分 データセンターでハードウェア故障が発生。
12日3時50分 故障したハードウェアの交換作業完了。
同日6時38分 基盤の再起動を実施。
同日11時15分 システム上の日付変更処理を終了。
同日12時50分 外為決済システムで取引処理が復旧。
同日12時55分 集中起票処理を開始。
同日19時46分 海外送金等の集中処理が完了。

みずほFG、みずほ銀が障害対応状況を報告

[PDF] 株式会社みずほ銀行におけるシステム障害に係る対応状況について

  • みずほFG、みずほ銀が4件の障害対応の状況等を整理した資料を公開。
  • 今後は特別調査委員会による評価、提言を受け総括が行われる予定。
  • 発生事案の概要、共通要素の抽出、再発防止策の実施状況、今後の対応の4点を整理したもの。
  • 別紙に4件の障害の詳細内容が記載されている。
  • 2月27日の障害でトラブルとなったATMでのカード取り込みについては原則としてカード、通帳を返却する使用に変更される。

更新履歴

  • 2021年3月1日 AM 新規作成
  • 2021年3月1日 AM 続報反映(復旧状況)
  • 2021年3月2日 AM 続報反映(記者会見)
  • 2021年3月3日 PM 続報反映(報告徴求命令)
  • 2021年3月4日 PM 続報反映(障害原因)
  • 2021年3月5日 AM 続報反映(デジタル口座への移行起因)、データ移行内訳件数を修正(定期預金と口座処理の件数が逆になっていた)
  • 2021年3月15日 PM 続報反映(その後続いた障害)
  • 2021年4月1日 PM 続報反映(みずほ銀の障害報告書提出)
  • 2021年4月15日 PM 続報反映(みずほFG、みずほ銀の障害対応の状況)

*1:みずほATMが一時停止 全国の半分超、約3000台影響―システムに障害,時事通信,2021年2月28日

*2:みずほATMで障害、3千台停止 カード戻らず混乱、ネットも障害,東京新聞,2021年2月28日

*3:みずほ銀行 ATM障害は全国規模か “徐々に復旧進んでいる”,NHK,2021年2月28日

*4:全国規模で発生したためか、障害発生の掲示などが遅れた店舗もあり、銀行を訪れた客から順次取り込まれるといった状況も発生していた模様。顧客間で情報交換を行っていたとするツイートも散見された。

*5:「デジタル通帳」移行が一因 2月末のATM障害―みずほ銀,時事通信,2021年3月4日

*6:【復旧】みずほ銀行、システム不具合でATM停止,Impress Watch,2021年2月28日

*7:みずほ銀行ATM 全て復旧 データ移行 過大な負荷,東京新聞,2021年3月2日朝刊1面

*8:みずほ、3月中のデジタル口座移行を断念へ ATM障害,朝日新聞,2021年3月5日

*9:全国銀行協会 みずほ銀行のシステム障害で緊急の申し合わせ,NHK,2021年3月15日

*10:みずほが全銀協会長辞退へ 次は三井住友、障害対応で,中日新聞,2021年4月13日

*11:みずほ銀行のシステム障害、データ更新作業が引き金に,日経クロステック,2021年2月28日

*12:ATMに入れたキャッシュカード出てこない客も…みずほ銀行の一部ATMで障害 客「帰るしかない…」,FNN,2021年2月28日

*13:みずほ銀ATM、午前7時の全面復旧目指す…一時3000台停止,読売新聞,2021年3月1日

*14:みずほ銀行ATM2900台に障害 ネットも一部取引停止に,日本経済新聞,2021年2月28日

*15:みずほ銀行システム障害で頭取が謝罪、「運用に問題があり自らの責任」,日経クロステック,2021年3月1日

*16:みずほ銀システム変えても大規模障害「運用上まだ問題」,朝日新聞,2021年3月1日

*17:吸い込まれたカード、2割返却できず みずほATM障害,日本経済新聞,2021年3月3日

*18:みずほATM障害、デジタル移行が原因 「e―口座」変更で,朝日新聞,2021年3月5日

*19:「みずほe-口座」のデータ更新45万件が重なりメモリー不足、みずほ銀行システム障害,日経クロステック,2021年3月4日

*20:みずほ銀行ATM障害、長時間足止め 自営機能が裏目に,日本経済新聞,2021年3月2日朝刊3面

*21:データ移行 想定甘く みずほ銀障害,読売新聞,2021年3月2日朝刊7面

*22:金融庁 みずほ銀行に「報告徴求命令」 ATMのシステム障害で,NHK,2021年3月3日

*23:みずほ障害「組織スキルが低下」 金融庁に報告書 危機管理官を設置へ,日本経済新聞,2021年3月31日

*24:みずほ銀でまた障害 定期預金の入金できず,産経新聞,2021年3月7日

*25:みずほ銀でシステム障害、外貨送金300件に遅れ-2週間で4度目,Bloomberg,2021年3月12日

*26:みずほ銀行は「社会の“心臓”」として責任を果たせるか。2週間で4度のシステム障害、藤原頭取「現時点で因果関係見えず」,BusinessInsider,2021年3月15日