piyolog

piyokangoの備忘録です。セキュリティの出来事を中心にまとめています。このサイトはGoogle Analyticsを利用しています。

QTnetデータセンターの電源トラブルと楽天カードの決済障害についてまとめてみた

2019年11月23日朝、QTnetのデータセンターで電源設備のトラブルが発生し、これの影響を受け同センター利用各社のサービスが利用できない等の障害が発生しました。(24日時点で完全復旧はしていない)影響を受けた企業の内、楽天カードでは朝からカードが利用できない等のシステム障害が発生しました。ここでは関連する情報をまとめます。

原因はQTnetの電気工事

2019年11月23日 [PDF] 【QTnet データセンター】データセンターシステムの障害による停止について
2019年11月25日 [PDF] データセンターの電源障害による停止について~2019 年 11 月 23 日発表「【QTnet データセンター】データセンターシステムの障害による停止について」の続報~

  • 2019年11月23日にQTnetはデータセンターで老朽化した電源設備更新のため取り替え工事(約10分間)を行っていた。*1
  • 工事中、整定不具合を理由として受電用屋内設備の分電盤で過電流検知が動作した。
  • 検知機能動作により電源系が常用から予備機への切り替えが発生。
  • 無停電切り替えの機能は工事を行うため無効化(取り外し)が行われていた。
  • 切り替え動作時に7秒間の停電が発生したことにより一時的に電源喪失状態となった。
  • これの影響を受け、利用企業各社のサーバーが停止した。
障害の状況

f:id:piyokango:20191124065748p:plain
データセンター障害の状況

  • QTnetデータセンターで発生(当初発表では姪浜データセンターと表記)
  • 2019年11月23日 6時40分頃に電源喪失(喪失は数秒程度と推定)
  • データセンター利用企業 約260社のサーバーが停止。
  • 各利用企業のエンジニアにより順次復旧対応。

楽天カードが使えない

  • QTnetの電源トラブルを受け楽天カードのシステムで障害が発生。

www.rakuten-card.co.jp

以下が影響を受け利用できない状態となったとみられる。

  • 楽天カードのクレジットカード決済(23日時点で復旧済)
  • 楽天payアプリでの決済(23日時点で復旧済、25日に再び詳細発生し同日復旧)
  • クレジットカード関連のサービス(申し込み、借入)
  • 楽天カード会員向けオンラインサービス(楽天E-Navi)の利用
  • 楽天カードアプリの利用

福岡県庁、九州電力でも障害

障害関連タイムライン

QTnet
日時 出来事
2019年11月23日 6時46分 QTnetデータセンターの電源設備で一時的に電源喪失状態が発生。
同日 この影響で利用企業各社のサーバーが停止。
同日 楽天カードなど利用企業各社のサービスが使用できない事態が発生。
同日 QTnetが障害第一報を発表
同日 16時頃 QTnetが第二報を発表
同日 18時頃 QTnetが障害第三報を発表
同日 23時頃 QTnetが障害第四報を発表。93社が復旧。
2019年11月24日 7時 QTnetが障害第五報を発表。104社が復旧。
同日 9時 QTnetが障害第六報を発表。110社が復旧。
同日 17時 QTnetが障害第七報を発表。189社が復旧。
同日 21時 QTnetが障害第八報を発表。219社が復旧。
2019年11月25日 7時頃 QTnetが障害第九報を発表。219社から復旧状況変わらず。
2019年11月25日 14時頃 QTnetが障害第十報を発表。約230社が復旧。(未復旧30社)
2019年11月25日 11時頃 QTnetが障害第十一報を発表。障害原因の詳細を報告。約230社が復旧。(未復旧27社)
2019年11月26日 10時頃 QTnetが障害第十二報を発表。約240社が復旧。(未復旧22社)
2019年11月26日 18時頃 QTnetが障害第十三報を発表。約240社が復旧。(未復旧18社)
楽天カード
日時 出来事
2019年11月23日 朝 楽天カードなど利用企業各社のサービスが使用できない事態が発生。
同日 12時頃 楽天カードが障害発生を報告
同日 16時半頃 楽天カードが障害影響を受けたサービスの一部を復旧したと報告
2019年11月25日 0時頃 楽天が楽天ペイのメンテナンス作業を実施。
同日 朝 楽天ペイで復旧作業でシステムが不安定となり再び障害発生。決済ができずと報道
同日 13時半頃 楽天が楽天ペイで障害が発生していると発表。
同日 15時半頃 楽天が楽天ペイが復旧したと発表。

関連が疑われる障害報告

今回のQTnetとの関連についての言及はないが、23日朝より障害の発生を報告しているサービスが複数存在する。

セガ 複数のオンラインサービスで同時障害が発生
セガキャッチャーオンライン
チェインクロニクル
セガNET麻雀MJ
StarHorsePocket公式サイト
福岡県立図書館 Twitterでの報告
楽天モバイル 楽天モバイル クレジットカード決済障害のお知らせ
丹波新聞社 Twitterでの報告
福岡の通販サイトASP Twitterでの報告

更新履歴

  • 2019年11月24日 AM 新規作成
  • 2019年11月25日 AM 続報反映
  • 2019年11月26日 AM 続報反映
  • 2019年11月27日 AM 続報反映