piyolog

piyokangoの備忘録です。セキュリティの出来事を中心にまとめています。このサイトはGoogle Analyticsを利用しています。

RemoteWorksのシステム障害をまとめてみた

TISのリモート接続サービスRemoteWorksで3月26日以降、システム障害が相次ぎ緊急メンテナンス実施後に5月末までサービスが停止されると発表しました。サービス利用時に他利用者のエラーメッセージやログイン画面が表示される不具合が発生していたとされ、この調査に時間を要するためとしています。ここでは関連する情報をまとめます。

障害関連のお知らせ35回

3月26日以降、RemoteWorksのSupport一覧には今回の障害に関連する報告、案内が掲載されている。また4月8日以降はTIS社のサイトにも掲載されるようになった。
https://www.remoteworks.jp/support/www.remoteworks.jp

高負荷時に他ユーザーIDとログイン画面を表示

  • 利用時に他利用者のユーザーIDを含むエラーメッセージとWindowsログイン画面が表示される不具合が発生したと発表。
  • 報道によればTIS側はこの不具合を20日時点で確認していない。利用者からの報告を受けたもの。*1
  • 6月18日までの調査を通じ、他利用者のユーザーIDを含むエラーメッセージの表示、他利用者のWindowsログイン画面の表示が起こると報告。
  • 当該事象はシステムのトラフィック増大により処理遅延が生じた場合発生することが確認された。
  • 事象の発生はソースコード分析を通じて把握されたもの。ログ分析では当該事象の発生は確認されたなかった。
  • ネットワーク、Webアプリケーションに対し脆弱性診断を実施した結果、攻撃等につながりうる脆弱性は検出されなかった。

Browse版に障害集中

RemoteWorksの一連の通信障害をまとめると次の通り。

日時 原因 対象サービス
2020年3月26日 15時14分~18時00分 認証サーバのパフォーマンス不足及び高負荷クエリによる認証系サーバの停止(接続済の場合影響無) USB/DVD/PC/Mobile/Browse
2020年4月1日 10時45分~11時25分 アプリケーションサーバー許容量オーバーによるシステム不安定発生(アクセス集中) Browse
2020年4月2日 14時40分~15時30分 アプリケーションサーバー許容量オーバーによるシステム不安定発生(アクセス集中) Browse
2020年4月3日 15時00分~ 接続集中によるログインエラー(タイミング次第) Browse
2020年4月6日 10時30分頃~ 接続集中によるセッションエラー(タイミング次第) Browse
2020年4月7日 10時20分~16時45分 詳細調査中 USB/DVD/PC/Mobile/Browse/Web管理サイト
(Browse以外は12時40分までに復旧)
2020年4月8日 9時40分頃~ 接続集中によるセッションエラー(タイミング次第) Browse/USB/PC/Mobile
2020年4月8日 14時10分~14時32分 (管理番号202004081501)調査中 USB/DVD/PC/Mobile/Browse/管理サイト
2020年4月10日 9時20分~ 接続集中によるセッションエラー Browse
2020年4月10日 14時50分頃~21時00分 調査中 USB/DVD/PC/Mobile/Browse/管理サイト
2020年4月11日 18時00分頃~21時20分頃 (管理番号202004111813)- Browse
2020年4月13日 8時50分頃~18時30分 (管理番号202004130904/202004131938)- Browse

緊急メンテ以降サービス停止

TISによる障害対応などをまとめると次の通り。

日時 出来事
2020年3月26日 認証サーバーの機能分離による負荷軽減を実施
2020年4月2日深夜 許容量拡張のためメモリ増強を実施、異常検知を強化
2020年4月6日 12日に緊急メンテナンスを行うと発表
2020年4月7日 既存ユーザー利用集中を受け新規ライセンス発行を停止、サポートにつながりづらい状況も発生、ログイン時間分散を呼び掛け
2020年4月9日 サポート窓口の増強を発表
同日 9時頃 アクセス集中により一時つながりづらくなるも継続稼働したことを発表
2020年4月10日 高負荷クエリのプログラム改修を実施
同日 緊急メンテナンスを中止すると発表
2020年4月12日 12時半 一連の通信障害に対する対応方針を発表
2020年4月13日 10時 新規アカウント発行停止を行うと発表
2020年4月13日 21時~ 緊急メンテナンスを開始
2020年4月14日 8時 緊急メンテナンスが予定していた9時以降も継続されると発表
2020年4月15日 11時50分 不具合原因を調査中であり、再開時期が未定であると発表
2020年4月16日 12時20分 調査に時間を要するためサービス提供を5月末まで(状況次第で6月以降も)停止すると発表
2020年4月17日 17時 利用時に他利用者のIDを含むエラーメッセージ、Windowsログイン画面の表示が確認されたと発表
2020年5月21日 13時 6月末までサービス停止期間を延長すると発表。
2020年6月18日 13時 発生事象解消には構造的な見直しが必要となることからサービスを終了すると発表。
2020年9月30日 RemoteWorksの全サービスを終了予定。
  • 管理者向けには先行して20日に発表された不具合が伝えられていた模様。*2 *3
  • 停止理由を5月末までとしたのは調査工数の見積を受けてのもの。

更新履歴

  • 2020年4月21日 AM 新規作成
  • 2020年6月19日 AM 新規作成