生成AIのセキュリティ演習は“それっぽく見えるだけ”？　「AIレッドチーミング」を考える：小林啓倫のエマージング・テクノロジー論考（1/4 ページ）

» 2024年10月02日 12時00分公開

[小林啓倫，ITmedia]

　ますます注目が高まっている生成AIだが、その普及が進めば進むほど、サイバーセキュリティに対する懸念も高まっている。特に企業にとっては、導入した生成AIが犯す間違いやその不具合が、大きな経営上のインパクトとなって現れかねない。

　それを防ぐためにさまざまな手段が検討されており、前回取り上げた「ガードレール」もその一つだが、今回は「レッドチーミング」について考えてみよう。

攻撃者視点で脆弱性を探す「レッドチーミング」

　先日、情報処理推進機構（IPA）が国などと協力して設立した「AIセーフティ・インスティテュート」（AISI）が「AIセーフティに関するレッドチーミング手法ガイド」という文書を発表した。これは大規模言語モデル（LLM）を構成要素とするAIシステムを対象として「レッドチーミング」を行うための手順やアドバイスをまとめたものである。

「AIセーフティに関するレッドチーミング手法ガイド」

　レッドチーミングとは、仮想の攻撃者チーム（レッドチーム）を立ち上げ、彼らに特定のシステムに対する模擬的な攻撃を行わせることで、当該システムの不具合や脆弱性を洗い出すという手法だ。攻撃者の視点に基づいて実施されるため、従来のテスト手法に比べ、より現実的な脅威を把握できるとされている。

　レッドチーミングという名前は、冷戦期にコンピュータ上で模擬演習を行う際、ソ連に見立てたチームを「レッドチーム」（赤はソ連の国旗を連想させる色であるため）と呼んだことから付いたとされている。

　つまりレッドチーミング自体は新しい概念ではなく、サイバーセキュリティの世界では以前から取り組まれていて、幅広い情報システムに対して実施されている。それがAIや生成AIシステムに対しても有効ではないかということで、さまざまな組織による理論構築が進んでおり、AISIのガイドもそうした流れに加わるものといえる。

　AISIのレッドチーミング手法ガイドは、企画から立ち上げ、実行、結果の分析と報告に至るまで、一連の手順を網羅的にまとめた資料となっている。また巻末には、その作成にあたって参照した既存の論文やガイドライン類、さらには関連ツールの一覧がまとめられており、より理解を深めたいという人にとって最適な出発点となるだろう。