piyolog

piyokangoの備忘録です。セキュリティの出来事を中心にまとめています。このサイトはGoogle Analyticsを利用しています。

NTTドコモで発生した全国規模の通信障害についてまとめてみた

2021年10月14日、NTTドコモは全国で音声通話やデータ通信が利用しにくくなる通信障害が発生したと公表しました。障害は同日17時頃の発生以降、完全復旧の発表は10月15日5時点でされていません。ここでは関連する情報をまとめます。

全国で障害、回復公表後も一部で影響継続

  • 10月14日17時頃からNTTドコモ全国のエリアで音声通話、データ通信が利用しにくくなる通信障害が発生。同日19時57分にドコモより障害が回復したと発表されたが、その後も接続ができないとする投稿がSNS上で相次いだ。*1
  • 障害回復公表後も影響が継続した原因として、通話や通信が集中的に発生(通常のトラフィックの3倍の規模)し混雑した状況となり輻輳が完全に解消しなかった。(そのためドコモの発表情報では10月14日時点で「一部回復」といった表現が使われていた。)4G/5Gは翌日早朝に解消したが3Gは夜まで障害の回復が遅れた。*2
障害発生時間 4G/5G 約12時間5分:2021年10月14日17時頃~2021年10月15日5時5分
3G 約29時間:2021年10月14日17時頃~2021年10月15日22時00分
対象サービス 音声通話、データ通信サービス
対象地域 全国
想定影響者数 約200万人*3
音声通話:約15%減(前日比)
データ通信:約4%減(前週比)

IoT関連工事のトラブル発端

  • NTTドコモは原因が「ネットワーク工事の切り戻しに伴う信号量増大によるネットワーク輻輳」であったと公表している。
  • 10月16日時点での重大なお知らせには具体的なネットワーク工事の内容について触れられていないものの、当日未明より行われていたdocomo IoT回線管理プラットフォームのメンテナンス工事に起因した障害だったと報じられた。*4 また15日に行われた記者会見でIoTサービスを提供する加入者・位置情報サーバー4か所(バックアップ含む)を旧設備から切り替える工事が行われており、これが障害の原因であったことを明らかにした。 *5
  • 東京で行われていたネットワーク工事は予定時間を超過し、工事中に想定外の挙動(海外ローミングアウトしたIoT端末と通信ができない不具合)が発生したため切り戻しが行われた。 切り戻し後に復旧を目的に行われたIoT機器に対する位置情報登録を促す措置は通常運用にはないものであったが、工事の切り戻しとしては想定していた手順であった。
  • 位置情報信号を送信したIoT端末の台数は約20万台。位置情報発信が旧設備のサーバー側に集中した結果処理能力を超過し、輻輳が発生したことが発端だったとされる。*6 IoT端末と利用者のトラフィックを分けて制御することは出来なかったことから音声通話、データ通信にも影響が波及。
  • この状況を受け、通信制限を最大100%実施するネットワークコントロールを約2時間半の間にかけて実施し、IoT端末のトラフィックの一部の処理を進めた。*7
トラブルが起きた流れ

今回の障害は次の段階で生じたとみられる。

  1. IoT設備切替工事のトラブルが発生
  2. 工事トラブルを受け旧設備へ切り戻しが行われIoT端末への位置登録を促す措置を実施
  3. 旧設備の加入者・位置情報サーバーが輻輳し、音声・データ通信側のネットワークにも輻輳が波及
  4. 輻輳発生に伴い非常通信保護のため最大100%制限のネットワークコントロールを実施
  5. ドコモ側ネットワークでの輻輳、ネットワークコントロールの影響で全国で通信障害が発生
  6. 2時間半のコントロール解除後も通信混雑によりその後長時間にわたり通信障害が一部解消されず
音声通話、データ通信が影響を受けた理由

音声通話、データ通信が影響を受けた直接の原因は次の通り。

音声通話 音声交換機、信号交換機の輻輳発生のため利用しにくい状態となった。
データ通信 パケット交換機は正常であったが、位置情報更新が必要となった場合に信号交換機の輻輳の影響を受け利用しにくい状態となった。

MVNO事業者などにも影響波及

今回の障害はドコモ、ahamoの他、ドコモ回線を利用するMVNO事業者にも影響が及んだ。*8 障害報告を公表している事業者は次の通り。

MVNO事業者 障害発表
IIJmio 障害発生報告(10/14)
QTmobile 【一部復旧】Dタイプ 音声通話・データ通信サービスがご利用しづらい事象について
y.u mobile 音声通話・データ通信サービスがご利用しづらい事象について
イオンモバイル 【お詫び・一部回復】ドコモ回線の音声通話・データ通信サービスがご利用しづらい事象について(10月14日 22時10分)
エキサイトモバイル 【障害復旧中】エキサイトモバイルの音声通話・データ通信サービスがご利用しづらい事象について
ヤマダニューモバイル 音声通話・データ通信サービスがご利用しづらい事象について
NTTコミュニケーションズ 【更新】モバイルサービス故障のお知らせ(ドコモ社からの故障情報)

また次のサービスにも影響が及んだと発表や報道がされている。

影響を受けたサービス 概要
カレコ カーシェアで使用していた一部の車で利用開始や返却が出来ない状況が発生した。遅延等により生じた料金への影響については順次対応すると説明
Uber Eats 配達途中で、届け先が分からず宅配に支障が出た。平日クエスト最終日の木曜夜であり配達員の稼働も増えていたとみられる。*9
国際自動車、日本交通 クレジットカード決済などの通信を要する決済時に支払いできず。現金で支払ってもらったり、運賃を受け取らずに降車してもらったりするケースが生じた。
郵便局 局内の決済端末機が影響を受け電子決済ができずに現金支払いのみとなるケースが生じた。

関連タイムライン

日時 出来事
2021年10月14日0時 NTTドコモがdocomo IoT回線管理プラットフォームのメンテナンス工事を開始。
:3時1分 IoT端末の3Gローミングのパケットが利用しづらい障害が発生。
: 7時26分 工事中不具合を確認し、旧設備への切り戻しを実施。
: 10時52分 IoT端末の3Gローミングのパケット接続障害が回復。
: 13時38分 IoT回線管理プラットフォームのWebポータルの提供再開。
: 14時9分 在圏情報に変更のあるIoT端末で音声通信ができない障害が発生。
: 16時36分 IoT端末に対して旧設備への位置登録を促す措置を実施。
: 16時44分 3G/LTEの一部でパケット・音声・SMSが利用しづらい障害が発生。
: 17時頃 NTTドコモの音声通話・データ通信サービスで全国規模の通信障害が発生。
: 17時19分 NTTドコモがIoT回線管理プラットフォームの障害情報を更新。
: 17時37分 全国の全ての位置登録信号に対してネットワークコントロールを開始。
: 18時頃 NTTドコモが重要なお知らせで通信障害の発生を公表。
: 18時9分 NTTドコモがIoT端末を除いたネットワークコントロールの緩和を開始。
: 19時57分 NTTドコモが通信障害が順次回復している状態にあると公表。(IoT端末を除いたネットワークコントロールを解除)
2021年10月15日5時 IoT回線管理プラットフォームにおいて障害継続中だった音声着信等について9時頃回復見込みと公表。
: 5時5分 NTTドコモが5G/4Gの通信が回復したと公表。
: 昼頃 総務大臣がNTTドコモの通信障害について大変遺憾であるとコメント。*10
: 14時 NTTドコモが通信障害について記者会見。
: 22時 NTTドコモが3Gの通信が回復したと公表。

更新履歴

  • 2021年10月15日 AM 新規作成
  • 2021年10月15日 AM 続報反映(5G/4G回復)
  • 2021年10月15日 PM 続報反映(ドコモ記者会見)
  • 2021年10月16日 AM 続報反映(3G回復)