出典：Hugging Face
詳細を読む
Ai2は2026年10月27日、科学研究アイデアの新規性を大規模言語モデル（LLM）がどこまで安定して評価できるかを調べた研究「Old Ideas, Novel Problems」を公開しました。GPT-5.1、5.2、5.4とClaude系の計6モデルを検証した結果、プロンプトの数語を変えるだけで同じ案への判定精度が50ポイント超動く例があり、AIによる科学発見の評価基盤に課題を示しました。
Ai2はICLR 2026の査読から、独創性を肯定された上位論文の研究案154件と、独創性に懸念が示された下位論文の研究案145件を抽出しました。さらに前者と単純なLLMが生成した154件を組み合わせ、人間案のみと人間案・生成案の二つの評価環境を構築しました。
最も大きな差を生んだのはプロンプトです。GPT-5.4に同じ人間案・生成案の組を評価させたところ、「一方だけが新規」と伝える条件では精度93.5%でしたが、単に新規な案を問う条件では40.9%に落ち、半数超の組で判定が反転しました。
検索や推論量を増やせば解決するとも限りません。arXivを反復検索する高推論設定はmacro-F1が0.78で、Claude Opus 4.6の0.89を11ポイント下回り、判断1件あたりの費用は約10倍でした。
専用システムも簡易なClaude Opus 4.6の手法を上回れず、簡易手法はmacro-F1が0.854、総費用2.59ドルでした。研究開発でLLMに新規性判定を任せるなら、実運用と同種のAI生成案で試し、複数のプロンプトとモデルに対する感度を測る必要があります。