Hugging Face、AI評価の標準化を訴え

Hugging Faceの政策責任者Irene Solaiman氏は、AIの性能評価を信頼できる判断材料にするには、再現性と業界共通の基準が必要だと述べました。TechCrunchのイベントで、AI企業内に第三者評価者を配置する取り組みについても、担当者の専門性や評価方法の標準化が十分ではないと指摘しています。

評価結果を検証するには、モデル自体への適切なアクセスが必要だと説明しました。公開された重みはその一助になりますが、個々の試験を再現できても、異なる試験結果をどう比較するかという問題は残ります。

企業内に評価者を置く仕組みは、安全性への懸念を受けて注目されています。一方、記事は評価者の独立性や資格をめぐる疑問も紹介し、制度を設けるだけで信頼性が確保されるわけではないとしています。

検証対象はモデル単体から、ツールや実行環境を含むエージェント全体へ広がっています。同氏は、適切な実行環境を備えた小規模モデルが高性能モデルを上回る場合もあるとして、システム全体の評価を増やす必要性を強調しました。