類例報告過去4件の不具合で発生した自治体専用IaaSのシステム障害についてまとめてみた

2019年12月4日11時頃からで日本電子計算が提供する自治体向けIaaSサービスでシステム障害が発生し、このサービスを利用する複数の自治体でWebサイトが閲覧できなくなるなどの影響が出ています。障害発生から1週間経過した11日時点で完全に復旧しておらず、現在も対応中です。ここでは関連する情報をまとめます。

障害対応1週間（11日時点で復旧対応中）

障害が発生したのは日本電子計算の提供する自治体専用IaaSサービス「Jip-Base」。
システム障害は2019年12月4日10時56分に発生。12月9日時点でもサービスの大半が稼働できず。
Jip-Baseは全国約100市区町村が利用。今回その内の約50の自治体が影響を受けた。*1

日時	出来事
2019年12月4日10時56分	Jip-Baseでシステム障害が発生しサービス大半が利用できない状態。
2019年12月5日	日本電子計算がJip-Baseでシステム障害が発生し、原因がストレージのファームウェアと発表。
2019年12月6日	日本電子計算がJip-Baseの復旧目途を12月9日と発表。
同日 22時15分	EMCジャパンがファームウェア修正しストレージの復旧作業終了。
2019年12月9日朝	Jip-Baseでストレージ修正後も動作不具合が出ていることが判明。
同日	日本電子計算が9日復旧を見送り、復旧計画の再策定を行っていると発表。

Jip-Baseで起きた2つの障害

1つ目の障害：ストレージのファームウェアバグ（12月4日発生）

Jip-Baseのストレージのファームウェアに起因したハードウェア故障が原因。当初はディスク故障としていた。
UnityOE バージョン4.4.0において、ディスク処理高速化機能の併用時に不具合が発生する。過去に世界で4例の報告がある。*2
ストレージファームウェアのバグによりディスク読み書きができなくなった。
外部からの攻撃などによるものではなく、情報流出などの被害もないと説明。
Jip-Baseで利用していたストレージは「Dell EMC Unity 500」と報じられている。*3
EMCジャパンは12月6日22時15分にファームウェアの修正など納品し、ストレージの復旧作業は完了とコメント。*4

2つ目の障害：ストレージ復旧後のアクセス不具合（12月6日発生）

ストレージ修正後、正常にデータの読み書きができない不具合が発生。
日本電子計算は12月10日時点でこのトラブルの原因を特定できていないとコメントしている。
当初12月9日復旧目途であったが、見込みが立たなくなり、計画の大幅な見直しとなった。*5

HPEのファームウェアバグは無関係

「ストレージのファームウェア」ということからHPEのサーバー向けSAS SSDで話題となったバグ（稼働から32,768時間でデータ喪失する不具合）に関連するものではないかとネット上で噂が上がっていた。
日本電子計算はこの件についてHPEのストレージ機器とは無関係とコメントをしている。*6

影響を受けた自治体

日本電子計算や各自治体の発表、報道などで情報が開示されているものは以下の通り。★は日本電子計算資料に掲載のあったもの（12/5，12/9）

東京都中野区 ★	Facebookの投稿区で利用する40システムの内約20システムで障害。Webサイトで接続障害が起き、Facebook、Twitterで情報発信。区役所外とメールのやり取りができていない。戸籍証明発行のシステムは12月6日に復旧。データ整合等の確認に時間を要した。
東京都練馬区 ★	区システムの障害および復旧状況について公式サイトの更新ができない、小中学校・図書館サイトの閲覧ができない障害が発生。
東京都八王子市	システム障害による納税業務への影響について納税手続きができない
東京都日の出町★	インターネット接続、メールが利用できない。
東京都奥多摩町	グループウェアが利用できず。施設予約やメールもできない状況。
神奈川県平塚市教育研究所★	学校系のファイルサーバーでシステム障害。
神奈川県逗子市★	後期高齢者医療、障がい者福祉関連の手続きができない。電子申請、電子入札関連の職員側の処理ができない。
千葉県浦安市	公共施設予約システムの障害について（12月10日午後4時）インターネット接続できず。施設予約や外部とメールのやり取りもできない。*7
千葉県富里市★	【緊急情報】窓口再開のお知らせ転出入等の異動に伴う手続き、再発納付書の発行手続きができない。
埼玉県桶川市★	システム障害が発生していますインターネット接続、メールが利用できない。
大阪府和泉市	システム障害による一部窓口業務の停止等についてバックアップシステムで応急的に一部システムは対応中。負荷の問題で同時接続に制限があり業務に支障（通常より時間がかかる）出ている。
奈良県	総務事務等の15業務のシステムが停止。庁内職員向けのシステムで県民への影響はない。*8
奈良県三宅町	システム障害による窓口サービスの制限のお知らせ一部の窓口サービスに制限
奈良県御杖村	住民情報システム障害による窓口業務への影響について一部窓口の業務で支障が生じている。
三重県亀山市★	福祉医療の受給者証発行等ができない。
三重県朝日町★	グループウェア、財務会計、図書館サービスが利用できない。
愛知県岩倉市★	システム障害の復旧について転出入の届出、税務処理ができない。
愛知県津島市★	転出入の届出、税務処理ができない。
愛知県若狭町★	転出入の届出、税務処理ができない。
愛知県蟹江町★	システム障害による住民異動届など一部窓口業務の停止について転出入の届出、税務処理ができない。
愛知県東浦町★	システム障害について転出入の届出、税務処理ができない。
愛知県美浜町★	転出入の届出、税務処理ができない。