詳細を読む
ChatGPTなどを支える基盤技術「Transformer」の共同考案者であるリオン・ジョーンズ氏（現Sakana AI CTO）が、サンフランシスコのTED AIカンファレンスで講演。現在のAI研究がTransformerに過度に集中し、画一化していることに「うんざりしている」と述べ、業界に警鐘を鳴らしました。彼は、次の技術革新のために、より探求的なアプローチが必要だと訴えています。
ジョーンズ氏は、AI分野への空前の投資が逆に研究の幅を狭めていると指摘します。投資家からの圧力や研究者間の競争が、独創的な研究よりも安全な成果を追い求める傾向を助長。業界全体が次のブレークスルーを見逃す危険に瀕していると警告しています。
氏によれば、Transformer自体は、経営陣からのプレッシャーがない自由な環境から生まれました。特定の目標に縛られず、自由な議論の中から生まれたのです。現在の研究者が高い報酬を得ながらも、成果への圧力からリスクを取れない状況とは対照的だとし、イノベーションの源泉を問い直しています。
この問題意識から、ジョーンズ氏が共同創業した東京のSakana AIでは、あえてTransformerから距離を置き、自然から着想を得るなど、探求的な研究を推進しています。論文数や競合を追うのではなく、「もし自分たちがやらなければ、誰もやらないような研究」に注力。自由な環境こそが優秀な人材を惹きつけると語ります。
ジョーンズ氏の警告は、大規模モデルの性能向上が鈍化しつつある「スケーリングの限界」が囁かれる中で、特に重みを持ちます。Transformerの成功が、皮肉にも次の技術革新を阻んでいるのかもしれません。AI業界が持続的に成長するためには、現在の成功モデルに安住せず、未知の領域へ踏み出す勇気が求められています。