NTTドコモで発生した全国規模の通信障害についてまとめてみた

2021年10月14日、NTTドコモは全国で音声通話やデータ通信が利用しにくくなる通信障害が発生したと公表しました。障害は同日17時頃の発生以降、完全復旧の発表は10月15日5時点でされていません。ここでは関連する情報をまとめます。

全国で障害、回復公表後も一部で影響継続

【お詫び】

2021年10月14日（木）午後5時頃より、ドコモの音声通話・データ通信サービスがご利用しづらい事象が発生しております。

お客さまには、大変ご迷惑をおかけしておりますことをお詫び申し上げます。
復旧の見込みについては、改めてお知らせいたします。

▷https://t.co/tE4jmCsHNo
— NTTドコモ (@docomo) 2021年10月14日

10月14日17時頃からNTTドコモ全国のエリアで音声通話、データ通信が利用しにくくなる通信障害が発生。同日19時57分にドコモより障害が回復したと発表されたが、その後も接続ができないとする投稿がSNS上で相次いだ。*1
障害回復公表後も影響が継続した原因として、通話や通信が集中的に発生（通常のトラフィックの3倍の規模）し混雑した状況となり輻輳が完全に解消しなかった。（そのためドコモの発表情報では10月14日時点で「一部回復」といった表現が使われていた。）4G/5Gは翌日早朝に解消したが3Gは夜まで障害の回復が遅れた。*2

障害発生時間	4G/5G 約12時間5分：2021年10月14日17時頃～2021年10月15日5時5分 3G 約29時間：2021年10月14日17時頃～2021年10月15日22時00分
対象サービス	音声通話、データ通信サービス
対象地域	全国
想定影響者数	当初約200万人と公表*3その後少なくとも延べ約1290万人音声通話：約15%減（前日比）データ通信：約4%減（前週比）

影響者数の内訳

NTTドコモは利用できない状況、利用しにくい状況に分けて次の通り公表を行った。

状況	利用できない状況	利用しにくい状況
発生日時	2021年10月14日（木）17:37	2021年10月14日（木）16:54
解消日時	2021年10月14日（木）19:57	2021年10月15日（金）22:00
影響時間	2時間20分	29時間6分（利用できない2時間20分を含む）
影響規模	約100万人	音声通話：約460万人データ通信：830万人以上
影響範囲	全国（石川県・富山県・福井県・奈良県・和歌山県を除く）	全国

利用できないエリアに5県が含まれなかった理由はネットワークコントロールの100％制限を実施しなかったため。東西に分けて全国的に実施していたが、5県に到達する頃には規制効果が薄れ輻輳も収まっていたため。*4

発生事象については次の通り。

利用できない状況	工事切戻作業で発生した大量の位置登録信号に対処するための位置登録規制により、一部利用者の音声・データ通信が利用できない
利用しにくい状況	利用できなかった状況に加え、大量の位置登録信号の輻輳がネットワーク全体に波及したことにより、音声・データ通信が利用しづらい

影響規模の推計方法は次の通り。

対象	推計方法
利用できない利用者約100万人	通常稼働時と位置登録100%規制時の位置登録数差分の最大値
利用しづらい音声通話利用者約460万人	通常稼動時と事象発生時の呼数の差分と一人あたりの平均呼数から算出
利用しづらいデータ通信830万人以上	通常稼動時と事象発生時の4Gサービスの位置登録数差分の最大値

IoT関連工事のトラブル発端

NTTドコモは原因が「ネットワーク工事の切り戻しに伴う信号量増大によるネットワーク輻輳」であったと公表している。
10月16日時点での重大なお知らせには具体的なネットワーク工事の内容について触れられていないものの、当日未明より行われていたdocomo IoT回線管理プラットフォームのメンテナンス工事に起因した障害だったと報じられた。*5 また15日に行われた記者会見でIoTサービスを提供する加入者・位置情報サーバー4か所（バックアップ含む）を旧設備から切り替える工事が行われており、これが障害の原因であったことを明らかにした。 *6
東京で行われていたネットワーク工事は予定時間を超過し、工事中に想定外の挙動（海外ローミングアウトしたIoT端末と通信ができない不具合）が発生したため切り戻しが行われた。切り戻し後に復旧を目的に行われたIoT機器に対する位置情報登録を促す措置は通常運用にはないものであったが、工事の切り戻しとしては想定していた手順であった。
位置情報信号を送信したIoT端末の台数は約20万台。位置情報発信が旧設備のサーバー側に集中した結果処理能力を超過し、輻輳が発生したことが発端だったとされる。*7 IoT端末と利用者のトラフィックを分けて制御することは出来なかったことから音声通話、データ通信にも影響が波及。
この状況を受け、通信制限を最大100%実施するネットワークコントロールを約2時間半の間にかけて実施し、IoT端末のトラフィックの一部の処理を進めた。*8

トラブルが起きた流れ

今回の障害は次の段階で生じたとみられる。

IoT設備切替工事のトラブルが発生
工事トラブルを受け旧設備へ切り戻しが行われIoT端末への位置登録を促す措置を実施
旧設備の加入者・位置情報サーバーが輻輳し、音声・データ通信側のネットワークにも輻輳が波及
輻輳発生に伴い非常通信保護のため最大100%制限のネットワークコントロールを実施
ドコモ側ネットワークでの輻輳、ネットワークコントロールの影響で全国で通信障害が発生
2時間半のコントロール解除後も通信混雑によりその後長時間にわたり通信障害が一部解消されず

音声通話、データ通信が影響を受けた理由

音声通話、データ通信が影響を受けた直接の原因は次の通り。

音声通話	音声交換機、信号交換機の輻輳発生のため利用しにくい状態となった。
データ通信	パケット交換機は正常であったが、位置情報更新が必要となった場合に信号交換機の輻輳の影響を受け利用しにくい状態となった。

MVNO事業者などにも影響波及

今回の障害はドコモ、ahamoの他、ドコモ回線を利用するMVNO事業者にも影響が及んだ。*9 障害報告を公表している事業者は次の通り。

MVNO事業者	障害発表
IIJmio	障害発生報告(10/14)
QTmobile	【一部復旧】Dタイプ　音声通話・データ通信サービスがご利用しづらい事象について
y.u mobile	音声通話・データ通信サービスがご利用しづらい事象について
イオンモバイル	【お詫び・一部回復】ドコモ回線の音声通話・データ通信サービスがご利用しづらい事象について（10月14日　22時10分）
エキサイトモバイル	【障害復旧中】エキサイトモバイルの音声通話・データ通信サービスがご利用しづらい事象について
ヤマダニューモバイル	音声通話・データ通信サービスがご利用しづらい事象について
NTTコミュニケーションズ	【更新】モバイルサービス故障のお知らせ（ドコモ社からの故障情報）

また次のサービスにも影響が及んだと発表や報道がされている。

影響を受けたサービス	概要
カレコ	カーシェアで使用していた一部の車で利用開始や返却が出来ない状況が発生した。遅延等により生じた料金への影響については順次対応すると説明。
Uber Eats	配達途中で、届け先が分からず宅配に支障が出た。平日クエスト最終日の木曜夜であり配達員の稼働も増えていたとみられる。*10
国際自動車、日本交通	クレジットカード決済などの通信を要する決済時に支払いできず。現金で支払ってもらったり、運賃を受け取らずに降車してもらったりするケースが生じた。
郵便局	局内の決済端末機が影響を受け電子決済ができずに現金支払いのみとなるケースが生じた。

重大事故に該当

今回のNTTドコモの通信障害について、電気通信事業法の定める「重大な事故」に該当すると総務省が判断したことが報じられた。10月19日にまでに法律に基づき、原因究明、再発防止策の取りまとめを指示した上で2021年11月13日までに総務省へ報告を行うよう要求。*11
総務省は2021年11月10日にNTTドコモより報告書を受領したと公表。

株式会社NTTドコモから提出された重大な事故報告書の受領

再発防止の取り組み

NTTドコモは原因を6点として、報告した再発防止に向けた取り組みは次の通り。

原因	再発防止策と実施時期
① IoT海外ローミングのソフトウェア仕様の考慮漏れ（切替工事の不具合）	・IoT海外ローミングに対応したソフトウェアの導入・新設備と旧設備の機能差分の再確認（2021年12月下旬開発完了)
➁ 切り戻し手順の認識齟齬（切替工事の不具合）	・作業関係者側の切り戻し手順内容の条件の明確化・作業関係者側の手順も含めた全体手順書の作成（2021年11月下旬対応完了）
③ 信号交換機の位置登録リソース枯渇（携帯電話への影響拡大）	・一般ユーザとIoT端末の信号交換機の位置登録処理リソースを分離（2021年12月下旬開発完了）
④ IoT端末に限定した位置登録規制ができない（影響の長期化）	・IoT端末と携帯電話を区別して位置登録規制できる機能を導入（2022年1月下旬開発完了）
⑤ 事前準備不足による作業着手の遅延（影響の長期化）	・短時間に復旧措置を実行する事前準備を実施（次回工事までに対応完了）
⑥ 「回復」の表現と利用者体感の差異（回復に関する情報錯綜）	・利用者の利用しづらい状況解消後に「回復」を公表・ホームページ更新の迅速化・高頻度化（次回障害発生時より対応）

総務省による指導

総務省は2021年11月26日にNTTドコモに対して厳重注意と適切な対応について指導を行ったと公表。相互の確認、事前の準備、社外関係者との連携の徹底、万一の事態発生後の影響を最小限とする措置の実施、利用者等への情報提供方法の改善、他事業者への教訓とすべき内容の周知と業界横断的な検討など。12月27日までに経過、具体的な実施状況の報告を要求。

株式会社NTTドコモに対する電気通信事故に関する適切な対応について（指導）

ドコモの対応に関する報告

総務省からの指導を受け、NTTドコモは2021年12月27日に指導への対応を報告書を提出。
NTTドコモは2021年12月28日に報告内容の要旨を公開。

2021年10月14日の通信サービス障害の行政指導に対する報告書を提出＜2021年12月28日＞

日時	出来事
2021年10月14日0時	NTTドコモがdocomo IoT回線管理プラットフォームのメンテナンス工事を開始。
：3時1分	IoT端末の3Gローミングのパケットが利用しづらい障害が発生。
： 7時26分	工事中不具合を確認し、旧設備への切り戻しを実施。
： 10時52分	IoT端末の3Gローミングのパケット接続障害が回復。
： 13時38分	IoT回線管理プラットフォームのWebポータルの提供再開。
： 14時9分	在圏情報に変更のあるIoT端末で音声通信ができない障害が発生。
： 16時36分	IoT端末に対して旧設備への位置登録を促す措置を実施。
： 16時44分	3G/LTEの一部でパケット・音声・SMSが利用しづらい障害が発生。
： 17時頃	NTTドコモの音声通話・データ通信サービスで全国規模の通信障害が発生。
： 17時19分	NTTドコモがIoT回線管理プラットフォームの障害情報を更新。
： 17時37分	全国の全ての位置登録信号に対してネットワークコントロールを開始。
： 18時頃	NTTドコモが重要なお知らせで通信障害の発生を公表。
： 18時9分	NTTドコモがIoT端末を除いたネットワークコントロールの緩和を開始。
： 19時57分	NTTドコモが通信障害が順次回復している状態にあると公表。（IoT端末を除いたネットワークコントロールを解除）
2021年10月15日5時	IoT回線管理プラットフォームにおいて障害継続中だった音声着信等について9時頃回復見込みと公表。
： 5時5分	NTTドコモが5G/4Gの通信が回復したと公表。
：昼頃	総務大臣がNTTドコモの通信障害について大変遺憾であるとコメント。*12
： 14時	NTTドコモが通信障害について記者会見。
： 22時	NTTドコモが3Gの通信が回復したと公表。
2021年10月19日までに	総務省がNTTドコモに対し重大事故にあたると判断し報告を要求。
2021年11月10日	NTTドコモが総務省へ通信サービス障害に関する報告書を提出。
2021年11月26日	総務省がNTTドコモに対して厳重注意と適切な対応を取るよう指導。
2021年12月27日	NTTドコモが総務省からの行政指導に対する報告書を提出。
2021年12月28日	NTTドコモが行政指導に対する報告書の要旨を公開。