詳細を読む
米Metaの委託業者数百人が未成年を装い、競合チャットボットに自殺や性、薬物などの高リスクな質問を送って反応を検証していたことが、内部文書と関係者5人の証言で明らかになりました。WIREDが2026年6月29日に報じたもので、業者は18歳未満を装うダミーアカウントを作成し、得られた応答を表計算ソフトに記録していました。
このプロジェクトは社内で「Cannes」と呼ばれ、委託先のCovalenが運営し、4月21日まで続いていました。標的はOpenAIのChatGPT、GoogleのGemini、Character.AIの3つで、2025年8月の1回の検証だけで4万5千件を超える質問が送られたといいます。WIREDが確認した3,748件の質問には、自殺や自傷、摂食障害に関するものが数百件含まれ、性愛に関わるものも少なくとも239件ありました。
質問の多くは、危機にある子どもや10代を装って書かれていました。妊娠した13歳が中絶薬の入手先を尋ねる内容や、過食症を親に隠す方法を問うものなど、安全システムが本来拒否すべき応答を引き出すよう設計されていたとされます。これらの検証は各社に無断で行われていました。
Metaはこの作業を通常の安全検証だと擁護し、「安全で年齢に適した体験を確保するためのテストとベンチマークは責任ある業界標準の慣行だ」と説明しました。同社は競合のベンチマークを自社AIモデルの学習には使っていないとしています。一方Covalenはコメントの要請に応じていません。
しかし競合3社はいずれも検証を許可しておらず、規約違反にあたると指摘しました。Character.AIは規約とポリシーへの違反だと述べ、OpenAIは「問題を調査中」、Googleは第三者による検証を認可していないと回答しています。
非営利団体Humane Intelligence創設者のRumman Chowdhury氏は、子どもを装ったダミーアカウントで規則を組織的に破るような数カ月規模の取り組みは、通常の「業界標準」評価の範囲を超えると批判しました。安全評価と競合ベンチマークの混同は「安全が反競争的な慣行の都合のよい隠れみのになる統治の灰色地帯だ」と警鐘を鳴らしています。