防御側がAIハッカーを『文脈爆弾』で無力化

セキュリティ企業Tracebitの研究者は7月13日、AIを悪用したハッキングエージェントを無力化する新手法「コンテキスト爆弾」を公表しました。これはAWS上に保存されたパスワードや暗号鍵など機密情報の近くに、あえてプロンプトインジェクションを仕込む防御策です。攻撃側のLLMがこの文字列に触れると、開発元が設けた安全機構に反する指示と判断し、自ら動作を停止します。

仕組みの核心は、LLMに備わる拒否機構を逆手に取る点にあります。研究者は仕込む文字列として、吸入型の炭疽菌の作り方を尋ねる指示や、中国製モデル向けに1989年の天安門事件の『タンクマン』に言及させる指示を用いました。こうした禁止事項に一度触れると、LLMは既存の命令を放棄し、拒否を続けるようになります。

Tracebit共同創業者兼CEOのアンディ・スミス氏は、この技術を「コンテキスト爆弾」と名付けた理由を説明しています。「鋭く強い効果があり、エージェントがそこから立ち直るのは難しい。一度文脈に入れば拒否し続ける」と述べ、持続的な効果を強調しました。攻撃の道具だったプロンプトインジェクションを、防御側が逆用する点が最大の特徴です。

検証結果も有望です。研究者は模擬的なAWS環境で、Opus 4.8、Gemini 3.1 Pro、GLM 5.2、DeepSeek 4 Pro、Kimi 2.6の5モデルに定型の開発作業を指示し、計152回の攻撃を実行しました。おとりの機密情報に文字列を1つ仕込むだけで、エージェントが管理者権限を奪う割合は57%から5%へ、永続的な足場まで築く完全侵害は36%から1%へと大幅に低下しました。

特に最も高性能とされたOpus 4.8は、通常なら93%の確率で管理者権限を得ていたにもかかわらず、コンテキスト爆弾に直面すると一度も成功しませんでした。攻撃の武器を防御に転用するこの発想は、AIエージェント時代の新たな守り方を示すものと言えそうです。