piyolog

2022年7月2日、設備障害によりKDDIの携帯電話サービスで障害が発生しました。ここでは通信障害に関連する情報をまとめます。

通信障害発生から復旧発表まで3日以上

障害発生同日8時以降から1時間おきに障害報告が公表されていた。

障害発生・復旧の状況は以下の通り。

対象地域	障害発生日時	復旧作業終了時間	復旧完了日時
西日本	2022年7月2日 1時35分頃	2022年7月3日 11時頃	2022年7月5日15時36分
東日本	2022年7月2日 1時35分頃	2022年7月3日 17時30分頃	2022年7月5日15時36分

影響を受けたのは全国の個人・法人向けのau携帯電話、UQ mobile携帯電話、povo、au回線利用事業者の音声通信、ホームプラス電話、ホーム電話、auフェムトセル、SMS送受信。7月3日11時時点の概算では約3915万回線が影響を受けた。

影響を受けた対象回線	影響を受けた回線数
スマートフォン・携帯電話向け回線	約3580万回線
MVNO向け回線	約140万回線
IoT向け回線	約150万回線
ホームプラス電話	約45万回線

障害が大規模、長期化した流れ

7月2日に発生した通信障害について
今回の障害は次の流れで生じたことが会見やその後の公表資料で明らかにされている。*1 *2

メンテナンスの一環として行っていたモバイルコア網と中継網をつなぐルーターにおいて、新製品へ交換する作業を行っていたのがきっかけだった。通信トラフィックの設定変更を行っている最中にVoLTE交換機で警告が発生し、何らかの不具合によって一部音声通話が不通となった。
不具合発生後に音声トラフィックの切り戻しを行ったが、通信の有無に関わらず約50分に1回の頻度で位置登録が発生するVoLTEの仕組みからアクセスが集中（少なくとも通常の倍）したことで再接続要求が多発し全国で輻輳が発生してしまった。
VoLTEでの輻輳発生に伴い、加入者データベースに登録された位置情報をVoLTE交換機に反映が出来ない事態となり、加入者データの不一致がデータベース上で発生してしまった。
これを受けてKDDIでは負荷軽減のためにネットワークトラフィックを50%まで流量制限し、その結果データ通信、音声通話のつながり難い状態が全国で発生する状況となった。
しかし、復旧作業完了後もVoLTE交換機、加入者データベースの負荷が軽減されない状況が継続した。
その後の調査で、VoLTE交換機18台中6台から不要な過剰信号の送信を行っている問題が発覚。これの切り離しを実施した。
切り離しによる対応で障害前と同水準の負荷状況となり発着信成功率も向上した。これを受けて今回の障害についてほぼ回復とKDDIは判断した。

ルーター設定ミスは指示ミスが原因

ルーターの設定作業は難易度の高いものでもなく担当者も指示書の通り作業を行っていたが、ミスが生じた原因は、作業自体の指示ミスだった。*3
ネットワークのルーティングポリシーの変更を行っていたことから手順書の内容も変更があった。指示ミスとなったのは担当者が参照していたマニュアルの中身が古いバージョンだったためで、バージョンの確認もしていたが、作業内容が最新化されていなかった。*4
本番環境、テスト環境で手順の確認を行っていたが、確認した手順書が2種類存在しており、本来新しい手順書を参照すべきところ、古い手順書も選択できる状態となっており、それを受けた発注が行われてしまった。
承認作業も必ず行われているが、確認は目検、口頭で行われていた。

その他

障害発生時点からKDDIのカスタマーサポ―トセンターに対して、問合せがあった件数は2022年7月5日13時時点で約9.6万件に及んだ。*5

日時	出来事
2022年7月2日 1時35分頃	KDDIがメンテナンスの一環としてトラフィックルート変更を実施中にVoLTE交換機でアラーム発生。
同日 1時50分	一部音声トラフィックが不通となっていることが判明し、当該音声トラフィックの切り戻しを実施。
同日 2時	KDDIが事故対策本部を立ち上げ。
同日 2時17分	切り戻し後のアクセス集中によりVoLTE交換機で輻輳が発生。
同日 2時52分	KDDIがWebサイトに障害情報を掲載。
同日 3時～15時22分	KDDIがVoLTE交換機の負荷低減対処を実施。
同日 15時22分以降	KDDIが加入者データベースの負荷低減対処を実施。
同日 17時31分以降	KDDIが加入者データベースのデータ不一致修正対処を実施。
同日夕刻頃	総務省よりリエゾンとして審議官をKDDIへ派遣。
2022年7月3日 11時頃	KDDIが西日本エリアの復旧作業を終了。
同日 17時30分頃	KDDIが東日本エリアの復旧作業を終了。
2022年7月4日 12時18分～13時18分	KDDIがVoLTE交換機から加入者データベースに対する過剰送信送出への対処を実施。
同日 14時51分	KDDIが流量制限を解除。
同日 17時頃	KDDIが音声通話、データ通信ともに全国的に利用しづらい状況が回復したと公表。
同日 18時頃	KDDIが通信障害について記者会見。*6
2022年7月5日 15時36分	KDDIが完全復旧を発表。
同日 18時頃	KDDIが通信障害について記者会見。*7
2022年7月7日	KDDIが通信障害を受け再発防止を検討する対策本部として「通信基盤強化並びにお客様対応強化対策会議」を立ち上げ。*8
2022年7月12日	総務大臣が緊急時における他社通信網へのローミングについて重要課題の1つとして認識していると閣議後記者会見で発言。*9
2022年7月28日	KDDIが総務省へ事故報告書を提出。*10
2022年7月29日	KDDIが利用者への対応、再発防止策について記者会見。

対処	詳細
VoLTE交換機の負荷低減対処	・無線設備での信号接続要求の流量制御・VoLTE交換機の呼処理プロセスのリセットと流量制御・無線設備でデータ、音声接続要求の流量制御
加入者データベースの負荷低減対処	・西日本収容PGW台及び東日本収容のPGW2台の切り離し実施。
加入者データベースのデータ不一致修正対処	・東日本収容のPGW2台のセッションリセット（及びデータ不一致解消の確認）・西日本収容のPGW2台のセッションリセット（及びデータ不一致解消の確認）・東日本収容の残りPGW7台及び西日本収容の残りPGW6台の切り離し、セッションリセット

総務省から早期復旧指示

KDDIの担当者より、7月2日同日未明に総務省側も報告を受領。
総務省からKDDIに対して、早期の復旧、顧客への周知、沖縄方面への台風接近に伴い停電等による更なる通信障害が発生しないよう対応するよう要請。*12
電気通信事業法上の重大事故該当事案かどうかは今後KDDIから詳細な報告を受領後に判断する方針だが、2022年7月3日に総務大臣はKDDIからの報告を踏まえ、該当事案との認識を示した。
総務省から障害日夕刻頃リエゾンとして、総務審議官をKDDIへ派遣した。同省では幹部級、かつ技術精通している職員として対応にあたらせたもの。*13

影響を受けたau回線利用事業者

楽天モバイルパートナー回線エリア・au回線でご利用のお客様において通話・データ通信がご利用しづらい事象について
インターネットイニシアティブ障害発生報告(7/2)
オプテージ【A・AP】（Aプラン）音声通話・データ通信サービスの利用障害について
JCOM J:COM MOBILEサービスがご利用しづらい状況について（7月2日　19時45分現在）
イオンモバイル【通信障害継続中】au回線がご利用しづらい状況について（2022年7月2日20時現在）
SONY KDDIのインターネット通信がご利用しづらい事象が発生

障害に関する返金対応

契約約款に基づくもの、障害に対する一律のお詫びとしてそれぞれ返金を行う。

返金の種類	対象者数	対象範囲	対応内容
契約約款に基づく返金	271万人 (KDDI) 7万人 (沖縄セルラー)	通信障害期間中、24時間以上連続して全ての通信サービスを利用できなかった利用者 (音声通信サービスのみ契約者)	契約料金プランの基本使用料等の2日分相当額を請求額減算
通信障害のお詫び	3,589万人 (KDDI) 66万人 (沖縄セルラー)	通信障害期間中にスマートフォン、携帯電話およびホームプラス電話を契約した全利用者	請求額から200円 (税抜) 減算 povo2.0は基本使用料0円のためデータトッピング (1GB/3日間) 進呈

2022年8月16日より1週間程度をかけて対象の利用者に対してSMS等(Povo2.0はメールでプロモコード案内)を通じて返金に関する案内を行う。
案内に便乗した偽メール等の発生の可能性もあることから、案内する本文にURLの記載はしないとして、注意を呼びかけている。

【重要なお知らせ】
7/2に発生した通信障害について、ご返金対象のお客さまに8/16から一週間程度でSMSをお送りいたします。当社を装い、通信障害に関する返金に便乗した偽メール・偽SMSが送られて来ることが想定されますのでご注意ください。

▼ご返金に関する詳細https://t.co/Ol3F37aIER pic.twitter.com/2Dr3ZKSgfH
— au (@au_official) 2022年8月15日

KDDIの通信障害の影響を受けた組織・サービス等

KDDI利用組織において、通信障害により生じた影響として公表や報じられているものは以下の通り。

行政関連

影響を受けたサービス	影響概要
110番、119番等の緊急通報	総務省消防庁は119番通報などにつながらないおそれがあるとして、緊急時の電話は別の携帯会社の携帯電話、固定電話から通報をする、または近くの消防署へ駆けつけて通報を行うよう案内。また全国の消防本部に対しても住民へ周知するよう呼び掛けを行っている。14 大津市消防局では、夫婦で登山中に夫が転倒して下山が出来なくなったが、二人ともau携帯だったため、通報が出来ず。男性はヘリで救助された。15 体調不良の男性が消防署に直接駆け込みその後救急搬送される事例もあった。16 警察庁が全国の都道府県警察に報告を求めたところ、KDDIからの110番通報が前週と比較して障害中は45.1%減っており、全ての通報に占める割合も23%から13.1%に減少していた。また通報出来ても会話が聞き取りづらい、警察署や交番等の訪問で対応、KDDIを通じてつながるか検証したといったものがあったが、重大な影響が出た事例は確認されなかった。17
新型コロナ感染者対応	沖縄県ではコロナ対策本部、保健所が行っている感染者への連絡に支障が出た。神奈川県相模原市では自宅療養中の感染者の健康観察に影響が生じており、登録された連絡先に繋がらない人が複数人いた。18 東京都、福井県、石川県など複数の地域で影響を受けたケースが報じられている。19
アメダスでの観測データ収集	通信障害期間中（７/２～４）のアメダス観測データの公開について（まとめ）複数のアメダス観測点において、観測データの収集ができない状況が生じた。対象箇所は全国1,284か所の内、802か所に及び、その後データの回収を行った結果288か所でデータの欠損が生じていた。20 21台風等の気象予報への大きな影響は生じなかった。

物流関連

影響を受けた事業者	影響概要
ヤマトホールディングス	全国的に発生している通信障害の影響について（2022年7月2日17:00時点）・同社Webサイト上の荷物お問い合わせシステムに最新の荷物情報が更新されない。・顧客からセールスドライバーへ、またセールスドライバーから顧客への電話がつながらない。・同社コールセンターへ電話がつながりにくい。・オープン型宅配便ロッカーPUDOを利用した一部荷物の発送・受取が出来ない。
日本貨物鉄道	[PDF] 貨物情報システム障害に伴う貨物列車への影響について（７月２日１２時現在）・KDDI回線を利用している同社の貨物情報システムへの障害が発生した。・各駅において荷役作業への支障、貨物列車の遅延が発生した。
日本郵便	通信キャリアの通信障害に伴う影響について・貨物列車が遅延したことの影響を受け、郵便物、ゆうパックなどの宅配に遅延が発生する恐れがある。

航空関連

影響を受けた事業者	影響概要
日本航空	・羽田空港、成田空港等で使用されているスタッフ用無線機が使用できなくなった。*22他社回線を使用する無線機に切替し、運航への影響は出ていない。
ジェットスタージャパン	・社内業務連絡に一部がしにくくなるなどの影響が発生した。他社回線を使用する無線機に切替し、運航への影響は出ていない。

金融関連

影響を受けた事業者	影響概要
大垣共立銀行	ATM通信障害の発生について・同行の店舗外ATM221台の内、190台が利用できなくなった。障害の影響は長期化し7月4日15時35分頃に全面復旧した。・銀行内ATMや全国ファミリーマートに設置されたゆうちょ銀行ATMからの利用は可能。
au じぶん銀行	【お詫び】au携帯電話サービスがご利用しづらいことにより一部サービスがご利用しづらい事象について・Webからの口座開設申し込みやログインパスワード再設定など、取引時にSMSや電子メールを利用するサービスを利用しにくい事象が発生した。
琉球銀行	KDDI回線障害の影響について・職員の業務用携帯電話につながらない事象が発生した。

水道関連

影響を受けた事業者	影響概要
札幌市水道局	・水道メーターの検針データの送信が端末から行えず、7月4日の検針作業が中止された。*23

医療関連

影響を受けた事業者	影響概要
いとう王子神谷内科外科クリニック	外科医に連絡がつかず手術が出来ないなどを理由として、心臓疾患で緊急入院が必要な患者の受け入れを5か所の病院に打診するも断られた。*24

厚生労働省は全国自治体に対して、医療機関の診療サービスが継続できるよう、Wifiまたは別の通信事業者など代替の通信手段を確保するよう要求した。*25

バス関連

影響を受けた事業者	影響概要
京成バス	KDDIの通信障害に伴うバスロケーションシステムの案内停止について・バスロケーションシステム（京成バスナビ、高速バスロケWebサイト）においてバスの位置情報、遅延情報等の一部情報が正常に表示できない。バス停において接近表示機での案内を停止。
小田急バス	通信障害の発生について（2022/7/2 9:00現在）・KDDI回線を利用するバスロケーションシステム、業務無線等に障害が発生した。
東京空港交通	【7/2】携帯電話網障害に伴う通信エラーについて・リムジンバスにおいて、交通系ICカードを使用した決済が出来ない事象が発生した。
東武バス	・東武バスグループの一部のバスで交通系ICカードを使用した決済が出来ない事象が発生した。*26
神奈川中央交通	車両通信が安定しないことにより不具合が発生した。

その他

影響を受けた事業者・イベント	影響概要
トヨタ	【重要】au回線障害によるコネクティッドサービス障害について T-connectサービス、ヘルプネット、マイカーSecurity、エージェント/エージェント+、オペレーターサービスが利用できない事象が発生した。
マツダ	【重要】au回線障害によるコネクティッドサービス障害の発生についてコネクティッドサービス、マツダエマージェンシーコール、マツダアドバイスコールが利用できない事象が発生した。
スズキ	【重要】　通信システム障害のお知らせ・スズキコネクトに接続ができず、スズキ緊急通報が利用できない事象が発生した。
セコム	障害発生のお知らせ・一部セキュリティシステムの通信、スマホアプリの利用に支障が発生した。・対象のスマートフォンアプリは「SECOM Home Security App.」「SECOM HS 2」「いつでもみまもり」「SECOM カンタービレ」「SECOM System Security App.」「AZスマホ」「ココセコム」「みまもりホン」。
アイコム	IP無線サービスの通信障害発生報告・同社のIP無線サービスで接続がしにくい、通話しづらい事象が発生した。
ライブコンサート	複数のコンサートで通信障害により電子チケットの表示ができない場合に備え、Wifi環境で事前に準備を済ませておくことや、特例でのスクリーンショットでの入場受付、窓口対応などの呼びかけが行われた。影響を受けたとして報じられていたのは、あいみょん、HYDE、ジャニーズWEST、Sexy Zone、Kis－My－Ft2。27 28 *29
Jリーグ	電子チケットのQRコードをスマートフォン画面上に表示できない恐れがあることから、事前にQRコードを印刷するなどして会場へ持参するよう呼びかけが行われた。30 31