詳細を読む
Discordは7月7日、AIモデレーションシステムのバグにより、過去2カ月で8000人を超えるユーザーを誤って凍結していたと認めました。スプレッドシートやチェス盤、ゲームのテクスチャ、透明な背景画像などの無害な画像が、有害コンテンツとして誤って検知されたことが原因です。同社は影響を受けた全アカウントを現在復旧中だとしています。
問題は5月から継続して発生しており、修正前の週末にもさらに200人が凍結されました。同社の自動安全システムは、アップロードされた画像を既知の有害物のデータベースと照合する仕組みです。本来は人間の担当者が確認したうえで対応する設計でしたが、バグにより確認を経ずに即時凍結が実行されていました。
利用者からはXやRedditで、格子状のパターンを含む画像を投稿しただけで永久凍結されたとの声が相次ぎました。格子模様はNSFWや児童搾取コンテンツを検出システムから隠す手口に使われてきた経緯があり、AIが過敏に反応するようになったと推測する声もあります。あるゲームディレクターは、ゲームのテクスチャがCSAMと誤検知され業務用アカウントを失ったと訴えました。
今回の事案は、自動モデレーションへの依存が広がるなかで浮き彫りになった課題を示しています。永久凍結が自動検知のみで下されると、仕事やゲームコミュニティ、遠距離の交友関係をDiscordに頼る利用者に深刻な影響を及ぼしかねません。Discordは「二度と起きないよう、より良い安全策に取り組んでいる」と説明しました。
同様の問題はDiscordに限りません。昨年はInstagramやFacebookグループの利用者が原因不明の大量凍結を報告し、MetaはAIの誤りが原因かを公表しませんでした。現在はMetaの監督委員会が透明性の向上を求めており、Tumblrでも同種の苦情が寄せられています。プラットフォーム全体で自動検知の精度と説明責任が問われる局面と言えるのではないでしょうか。