2024年5月28日、生成AIを使用したマルウエアを作成した容疑で警視庁が男を逮捕したことが報じられました。ここでは関連する情報をまとめます。
対話型生成AIを使用しランサムウエアらしきものを作成
- 男の容疑は不正指令電磁的記録作成。2023年3月31日に自宅PCやスマートフォンを使用して、対話型生成AIを使用し、不正プログラムの設計情報を組み合わせてマルウエアを作成した疑い。2024年3月に警視庁は男を偽造身分証を使用してSIMカードの不正契約を行ったなどとして詐欺容疑(今回の事案とは別件)で逮捕しており、*1 捜査より自宅から押収されたPCを解析したところマルウエアが発見された。*2 生成AIを使用したマルウエア作成の事案摘発は全国で初めてとされる。*3
- 男が作成したマルウエアは、実行環境のデータを破壊(暗号化とも報道)し、暗号資産の要求をする機能が含まれており、いわゆるランサムウエアに近いものであったとみられる。男はSNSを通じて知人のスマートフォンに対しこのマルウエアを送っていたが、実用化にはいたっていなかったとみられ、何らかの原因でマルウエアは動作はしなかった。*4 そのためこれまでのところマルウエアによる被害は確認されていない。*5 *6
- 男はマルウェアを作成した動機について、「昔からランサムウエアを使って楽に稼ごうと思っていた」と金銭目的で行ったと供述している。「生成AIは聞けば何でも出来る」と考えたことから使用に至ったとも話しており、2022年11月末頃に男は報道より生成AIを知り、マルウエアの作成を思いついた。*7 なお、男は元工場作業員でIT関連の技術についてはこれまで専門的に学んだことはなく、情報技術関連の資格もなかった。
3つの生成AIを併用しコード修正か
- 男はマルウエアの作成に際して、目的を伏せたうえで遠回しな聞き方をしながらファイルの破壊、身代金要求などの機能実装に必要となるソースコードを生成AIに回答させていた。*8 不正用途の目的であるにもかかわらず回答を得ることが可能となる手段(質問の仕方)は、検索サイトを通じて把握していた。
- 一方で大手のOpenAIなどでは回答を得られない(不正利用への対策を回避できない)と考え、今回の事案ではインターネット上で公開されている提供者不明の生成AIサービスを3つ併用していた。AIより取得した回答をさらに別のAIに質問して回答を得ることでソースコードの修正を行い、ソースコード自体は使用可能な段階にあったとされる。*9 *10 これら3つの生成AIはいずれも犯罪などに悪用することが可能な情報への回答拒否を行う機能(いわゆるガードレール)は備わっていなかったとみられる。
関連タイムライン
日時 | 出来事 |
---|---|
2023年3月31日 | 男が生成AIを使用し、マルウエアに関係する情報(ソースコードなど)を取得・作成していた疑い。 |
2024年3月 | 警視庁が男をSIMカード不正取得などを行った疑いで詐欺容疑で逮捕。自宅を家宅捜索しPCを押収。 |
: | 押収されたPCから昨年3月に作成していたマルウエアが発見される。 |
2024年5月27日 | 警視庁が男を不正指令電磁的記録作成の容疑で再逮捕。 |
2024年5月28日 | 警視庁が男を東京地検へ送検。 |
2024年6月14日 | 東京地検が男を不正指令電磁的記録作成の罪で東京地裁に起訴。*11 |
更新履歴
- 2024年5月30日 PM 新規作成
- 2024年6月27日 PM 続報反映(東京地検が起訴)
*1:生成AI悪用しウイルス作成疑いで逮捕 全国初の摘発 警視庁,毎日新聞,2024年5月28日
*2:生成AI悪用しウイルス作成、警視庁が25歳の男を容疑で逮捕…設計情報を回答させたか,読売新聞,2024年5月28日
*3:対話型生成AIで身代金要求型ウイルスを作成「AIに聞けば何でもできると思った」全国初摘発か 無職の男を逮捕,FNN,2024年5月28日
*4:生成AI悪用でウイルス作成した男、知人女性にSNSで実際に送信…何らかの原因で作動せず,読売新聞,2024年5月28日
*5:ウイルス作成に作成者不明の無料生成AI3つ使用、悪用防止機能「ガードレール」を回避か,読売新聞,2024年5月29日
*6:生成AIでウイルス作成容疑 男逮捕「楽に稼ぎたかった」―遠回しの質問で回答引き出す・警視庁,時事通信,2024年5月28日
*7:生成AI悪用、知識なしでもウイルス作成…容疑の男「楽に稼ごうと」,読売新新聞,2024年5月28日
*8:生成AI悪用しウイルス作成容疑、無職の男逮捕 「何でもできると」,朝日新聞,2024年5月28日
*9:生成AI使いコンピューターウイルス作成疑い 警視庁が男を再逮捕,東京新聞,2024年5月28日
*10:生成AI悪用しウイルス作成疑い、男を逮捕 警視庁,日本経済新聞,2024年5月28日
*11:生成AI悪用しウイルス 起訴,読売新聞,2024年6月15日朝刊29面