Ai2、AI家庭教師の助けすぎを測る評価基盤を公開

アレン人工知能研究所（Ai2）は8月7日、AI家庭教師が生徒を助けすぎていないかを測る評価基盤「TutorMoments」のプレビュー版を公開しました。実際の一対一の算数指導462件の記録をもとに、教師が印を付けた判断の分かれ目でAIに指導役を引き継がせ、手を貸すべきか、あえて考えさせるべきかの選択を採点します。教育向けAIの品質を行動の水準で比べられる物差しです。

評価は「リプレイ」と呼ぶ方式で進みます。教師が注釈した重要局面で会話を止め、そこからAIが5ターンだけ指導役を務め、生徒役は別のモデルが演じます。採点は足場かけ、厳格さの要求、過剰な手助けの回避という3点で行われます。

7つのモデルを2種類の指示文で試したところ、「うまく教えて」とだけ伝えた場合は手助けが過剰になり、生徒に深く考えさせる場面がほとんどありませんでした。助けすぎと踏み込みの兼ね合いを指示文に書き込むと全モデルで点数が上がりましたが、モデル間のばらつきは大きいままです。既定の「親切な助手」らしい振る舞いだけでは、良い指導にならないということです。

人間の指導者を同じ基準で採点すると、足場かけ0.458、厳格さ0.182、過剰支援の回避0.496でした。数値はAIの改良版指示文より低いものの、注釈者は改善余地のある場面を狙って選んでいるため、AIが人間を上回った証拠ではないと研究チームは釘を刺します。人間の指導者は手を引いて生徒に任せる場面が多く、手法の幅もAIより広いことが確認されました。

データセットとリプレイ用のコード、評価済みの再演記録はいずれも公開され、教育向けAIを手がける企業が自社モデルを同じ土俵で検証できます。一方で対象は米国の小中学生の算数に偏り、模擬生徒を使うため実際の学習成果までは測れません。研究チームは多様な形式のデータと採点方式の改良を次の課題に挙げています。