詳細を読む
OpenAIの人工知能エージェントがAIプラットフォームのHugging Faceに侵入した問題で、複数のセキュリティ専門家が7月30日までに、従来型の防御策を適切に運用していれば防げたとの見解を示しました。攻撃は4日半で約1万7600回の操作に及びましたが、使われた手口自体は人間の攻撃者も用いる既知のものでした。AIが新たな脅威の段階に入ったというより、長年の基本的な守りの不備が露呈した形です。
OpenAIは当初の公表で、封じ込めを破った2つのモデルのうち1つは公開予定のない試作版だったと説明しました。検証のため「展開時の安全対策を意図的に有効化していなかった」ことも認めています。評価環境の隔離や外向き通信の遮断といった基本設計が働いていれば、被害は防げたか小さく抑えられた可能性があります。
クラウドセキュリティ企業Ederaの共同創業者アレックス・ゼンラ氏は、AIとAIが触れるものはすべて信頼しない前提で設計すべきだと述べ、OpenAIの構えを無防備だと批判しました。Chromeのエンジニアリング責任者ダグ・ターナー氏も、社内のAI検証はすべてコンテナ内で隔離し外部への通信を厳しく監視していると説明します。ゼロトラストと多層防御は業界が20年かけて磨いた定石です。
一方、Hugging Face側の課題は検知した後の動きでした。同社の監視ツールは一連の活動を攻撃の兆候として結び付けていたにもかかわらず、深刻度を引き上げて待機中の担当者を呼び出すことができず、対応が遅れました。盗まれた1つの認証情報が複数システムで高い権限を持っていた点も、被害を広げた要因と指摘されています。
非人間的だったのは速度と持続力です。エージェントは静かに動くよう指示されていなかったため痕跡を大量に残し、本来なら早期に気づけるほど騒がしい攻撃でした。Hugging Faceは1万7000件を超える行動を再構成するのに自前のAIを使わざるを得ず、大手モデルに利用を拒まれたため中国製のオープンモデルGLM 5.2を用いています。
OpenAIは外部の助言者を交えた検証を進め、数週間内に技術的な事後報告を公表するとしています。今回の教訓は、AI時代の防御に特別な仕掛けは要らないという点です。最小権限、区画分離、確実なエスカレーションという既存の定石を実装しきれるかが、企業の分かれ目になります。