データ移行で発生したみずほ銀行のシステム障害についてまとめてみた

2021年2月28日、みずほ銀行でシステム障害が発生し、全国で同行のATMが利用できなくなる、キャッシュカードが取り込まれたまま戻ってこないなどのトラブルが発生しました。ここでは関連する情報をまとめます。

取り込まれ戻ってこないキャッシュカード

f:id:piyokango:20210304123546p:plain — みずほ銀行サイト上に掲載されたシステム障害発生の案内

障害が発生したのは2021年2月28日11時頃。障害により各地で生じた影響は以下が報じられるなどしている。なお、法人向けに提供されるサービスでは今回のシステム障害による不具合は確認されていない。*1 障害発生から30時間後に全面復旧をした。

みずほ銀行の自行ATM5,395台の内、54%にあたる2,956台が停止し（2月28日19時40分頃時点）、預金引き落とし等が出来なくなった。*2 台数はその後訂正され、最大4,318台が停止していたことが明らかにされた。 *3
障害発生中は、ATMよりキャッシュカード、通帳が機器から戻されない事象が発生。*4 取り出せなくなる影響を受けた件数は5,244件。3月3日時点で9割超の返却が行われたが連絡が取れない利用者などがいるため、約500件ほどが未返却となっている。*5
インターネットバンキング（みずほダイレクト）の一部の取引（定期預金、グローバル口座サービス）でもシステム障害が発生。*6

みずほ銀行のATMにキャッシュカード吸い込まれたままこの画面に。どうにかしてください。備え付けの電話も繋がらない。 pic.twitter.com/dkATHprsrN
— bunchan (@bunichi1) 2021年2月28日

みずほ銀行、ひっどいことになってんなぁ

出金しようとしたら入口で私服の方に止められて、事情を聞くとお金をおろしに来てカードが吸い込まれて出てこないんだとか

つまりお客が動けなくて入口でボランティアでやめた方がいいですよ、と言ってくれてる状態

係員誰も来なくて、中が何人も困ってる pic.twitter.com/vusGlmMOXI
— いろは坂 (@iroha_saka) 2021年2月28日

障害中のみずほ銀行赤坂支店14:45。3組の客がいるが全員ATM脇の電話をかけている。貼り紙が一切ないため客が普通に来てトラブルに巻き込まれている。「カードが飲まれました電話も出ません」と客からと思われる貼り紙も pic.twitter.com/GuuFG9nwnE
— 三上洋 (@mikamiyoh) 2021年2月28日

日時	出来事
2021年2月27日	みずほ銀行がe-口座への切り替えを進めるための作業を開始。60万件のデータ移行作業を完了。不具合なし。
2021年2月28日午前	みずほ銀行が70万件のデータ移行作業中にシステム障害が発生。
同日 11時頃	みずほ銀行が全国に設置された一部の自行ATMが利用できなくなる障害が発生していることを把握。
同日午後	みずほ銀行の経営幹部がATM全体の大規模な障害発生を把握。
同日 13時頃	みずほ銀行がWebサイト上にシステム障害の発生を掲載。
同日 14時半頃	みずほ銀行がコールセンターを増強、支店長を通じ全店職員に出勤を要請。
同日 17時頃	みずほ銀行がコンビニATMが利用可能であることをWebサイト上で案内。
同日夜	メモリ増強を実施し、システム障害が解消。*7
2021年3月1日 0時	オンラインバンキングの障害復旧完了。
同日 7時	店舗内ATM復旧完了。店舗外のATMなどを中心に一部再開が出来ず。
同日 9時頃	全国支店に設置されたATMなどをすべて復旧。
同日 15時頃	稼働確認ができていなかった店舗外42台の復旧を確認。
同日 18時頃	みずほ銀行が今回のシステム障害について記者会見。頭取が謝罪。
2021年3月2日	キャッシュカード、通帳の返却が8割完了。
2021年3月3日	金融庁がみずほ銀行に報告徴求命令。
同日	ハードウェア障害でシステム障害発生。
同日	キャッシュカード、通帳の返却が9割完了。
2021年3月5日	3月中のみずほe-口座への移行を断念し、作業再開を翌月以降となることが報道。*8
2021年3月7日	プログラム更新不具合でシステム障害。
2021年3月11日23時39分	データセンターのハード機器障害でシステム障害が発生。
同日	金融庁が銀行法に基づく報告徴求命令（追加）。
2021年3月12日21時	4回目になるシステム障害をおこし、みずほ銀行頭取が謝罪会見。
2021年3月15日	全銀協が緊急の申し合わせを行い、加盟銀行に対しトラブル時の顧客対応を要求。*9
2021年3月31日	みずほ銀が金融庁へ報告書を提出。
2021年4月5日	みずほ銀がシステム障害の対応状況を発表。
2021年4月13日	システム障害の対応を行うため、みずほFG社長が内定していた全銀行会長就任を辞退。*10

他行利用による手数料は後日返金

ATM不具合はイオン銀やゼブン銀、ローソン銀のATMでは発生しておらず、同行ATM以外を利用した際にかかる手数料は後日返金される。これ以外に代替手段により生じた費用についても取引店舗に相談するように案内が行われている。*11
ATMに取り込まれたままのキャッシュカードや通帳は後日返却対応が行われる。他行キャッシュカードの場合は他行経由での返却手続きとなることが案内されている。*12

機器再起動で順次復旧

Webサイト上にはシステム障害は解消したと掲示されている(3月1日4時頃確認)。
インターネットバンキング（みずほダイレクト）は3月1日0時時点で復旧済み。
ATMや通帳繰越機は機器の再起動が必要で、2月28日21時までに復旧作業は完了しなかった。
再起動が行われた店舗より順次復旧していると説明し、2021年3月1日サービス開始時（朝7時）までの復旧を目指していたが、3月1日7時開始予定の拠点の内、主に銀行店舗外に設置されたATMが復旧できていないとしてリストが掲示された。*13 8時以降にサービスを開始予定している拠点で現在作業中となっているのは51か所とした。(3月1日9時半時点)

[PDF] 3/1（月）7:00サービス開始でご利用いただけない拠点

データ移行中の不具合が原因

みずほ銀行は障害の発生原因を定期預金取引のデータ移行作業によるものと発表。データ移行作業は障害が発生した28日朝までに行われており、作業中に不具合が発生した。*14
みずほ銀行の大規模なシステム障害は2002年4月（統合後営業開始）、2011年3月（東日本大震災直後）に続き3度目。

事前見積を超える処理量でシステム過負荷

www.youtube.com

3月1日の記者会見でデータ移行と月末処理による過負荷が障害の原因であったことが明らかにされた。当時対応が行われていたのは70万件で内訳は以下の通り。

定期預金のデータ移行	25万件
一定期間取引のない口座処理（みずほ e-口座への処理）	45万件

通常は実施しない定期預金のデータ移行は事前のテストで処理量を見積もっていたが、月末に行っている25万件が通常より多く、結果として全体の処理量が想定を上回ってしまった。みずほ銀行はデータ移行作業自体は難易度の高い作業ではないと記者会見で説明している。*15 その結果、作業用に確保していたメモリが不足する事象が発生してしまった。
システム障害の責任については、みずほ銀行とグループが責任をもって対処するものと頭取が回答。
通常体制でトラブルシュートが可能と判断したことが障害への対応が後手になった背景にある。マニュアル通りに対応しようとしたことが要因と記者会見で回答している。*16
システム障害を受け、原因となったメモリ容量を5倍に増強している。*17
その後、障害を起こした作業は「みずほ e-口座」への移行作業であったことが報じられた。2月27日より作業が開始されており、移行が行われるのは今年が初年度。この処理は月末に必ずしも行う必要はなかった、期限に迫られていたわけでもなく余裕をもって作業を行っていた、とみずほ銀行側は記者会見で回答している。*18 2021年1月末時点で1年以上記帳実績のない口座を段階的に変更が行われる計画となっていた。*19

影響最小化を行った結果利用客にしわ寄せ

2019年に稼働した次世代システム「MINORI」では、各業務に対応するシステムが連なる構成が組まれている。
過去の大規模障害の教訓から何らかのシステムで不具合が生じた際、システム全体へ波及を防ぐため他取引の間口を閉じていく機能が実装されている。
28日の障害を受け、全体への影響を回避するためATMの利用制限が発生した。さらにATMの不正利用防止のためにキャッシュカードを保管する機能が有効となっている。
みずほ銀行は今回の障害で単体の機能別でみた場合の誤作動は起きていなかったが、全体として利用者に影響を及ぼさない運用に反する事態となったとコメントしている。*20

事後対応に遅れ

システム障害当初は定期預金取引ができないだけという見立てを行っていた。*21
そのため、障害発生時もその時点の体制で終息可能との判断が行われていた。コールセンターは休日体制であり、対応を十分に受けることができなかった。

金融庁が報告徴求命令

金融庁は2021年3月3日にみずほフィナンシャルグループ、みずほ銀行に対し報告徴求命令を出した。
障害発生日に銀行側と連絡が取れずに長時間待たされるなど多数の顧客に影響が及んだ事態を重く見たため。*22
報告の期限日は2021年3月末。

体制上の整備不十分と報告

2021年3月31日にみずほ銀行は原因、再発防止について取りまとめた報告書を金融庁へ提出。
カード等の取り込みについては4月末～9月末にかけ仕様見直しを行う。

報じられている報告書の要点は以下の通り。*23

連続的に発生した4件のシステム障害のについては異なる原因で発生したもので、1つの障害から他に連鎖的に起きたものではない。
新基幹システムが持つ障害対応機能は想定通りに作動している。
新基幹システムの安定的な運用にとどまらず、関連する周辺システムとのバランスも考慮が必要。
カード等をATMが取り込む仕様は以降前の旧システムから継承されたもの。
初動時点では原因に対する情報収集が中心で、顧客対応が十分ではなかった。

その後も立て続けに3件の障害

2021年2月28日のシステム障害以降、2週間の間に3件のシステム障害が発生。
一連の障害の関連は因果関係は見えないとして、3月12日の会見で頭取が述べている。

2021年3月3日の障害

f:id:piyokango:20210304123517p:plain — 3月3日に発生した障害のお知らせ

3月3日19時58分から20時1分の3分間、システムセンター間のネットワーク瞬断が発生した。
この影響を受け、28拠点29台のATMが一時停止していたが、同日23時10分までに全て稼働状態にあることが確認された。
障害を受け、キャッシュカードが取り込まれた利用者に対しては各店舗店員、警備会社、監視センターのリモート対応を通じ、返却等の対応が行われている。
3月3日に発生した障害はハードウェア不具合によるもので、2月28日のデータ移行のシステム障害とは別要因であることをみずほ銀行が明らかにしている。

2021年3月7日の障害

2021年3月7日9時頃から13時頃までインターネットバンキングやATMの一部で取引ができないトラブル発生。
カードローンを取り扱うプログラム更新作業中にエラーが発生。
利用者から入金できない等の問い合わせが数件、実際に操作を行って取引が完了しなかった人が9名。*24

2021年3月11日の障害

f:id:piyokango:20210315171112p:plain — 11日夜の障害についての発表

2021年3月11日23時39分にデータセンターのハードウェアトラブル(4台の内1台のプロセッサが故障)が発生するも予備機への切り替えが行われずシステム障害が発生。*25
障害の影響で外貨送金263件で遅延が発生した。みずほ銀が12日送金としている内容が送金先で13日として処理されており、不整合が生じる可能性。
みずほ銀行は不整合にズレが生じ、約束期日に顧客が振り込めなかったりする等の損害が出た恐れがあり、振り込み日を12日とするよう調整を行う方針。*26
何らかのハード面の理由により、故障により切替先のバックアップシステムがすぐに作動しなかった。

発生日時	出来事
11日23時39分	データセンターでハードウェア故障が発生。
12日3時50分	故障したハードウェアの交換作業完了。
同日6時38分	基盤の再起動を実施。
同日11時15分	システム上の日付変更処理を終了。
同日12時50分	外為決済システムで取引処理が復旧。
同日12時55分	集中起票処理を開始。
同日19時46分	海外送金等の集中処理が完了。