詳細を読む
米ホワイトハウスのマイケル・クラツィオス科学顧問は、中国Moonshotが開発した大規模言語モデル「Kimi K3」について、Anthropicの「Fable」を複製して構築したと非難しました。輸出規制対象のチップを使った疑いもあわせて指摘しています。しかしAI研究者らは、蒸留と呼ばれる手法だけでKimi K3の高い性能を説明するのは難しいとして、この主張に懐疑的な見方を示しています。
懐疑論の中心にあるのは時間の問題です。Laude InstituteのBraden Hancock氏は、Fableが公開されたのは7月1日で、Kimi K3の登場までわずか2週間しかなかったと指摘します。「これだけのデータを蒸留し、モデルを訓練して公開するのは時間的に不可能だ」と述べ、蒸留だけでこれほど強力なモデルは作れないと語りました。
蒸留は、対象モデルに繰り返し問い合わせて能力を写し取る手法で、その出力で学習させる教師ありファインチューニング(SFT)が代表例です。ただしAllen InstituteのNathan Lambert氏は、モデルが高度になるほどSFTの効果は薄れていると説明します。Fable級の能力を写すには強化学習が必要で、数千万規模のエージェントを動かす巨大なインフラと莫大な費用がかかると指摘しました。
蒸留そのものは中国に限らずAI業界で広く行われています。イーロン・マスク氏は自社のGrok開発でOpenAIのモデルを蒸留したと証言しており、合成データ作成との境界は曖昧です。Hancock氏は「米国人は中国チームの技術力を過小評価している」と述べ、Moonshotには一流の研究者や技術者が集まっていると強調しました。
もう一つの争点が半導体です。クラツィオス氏は、Moonshotが輸出禁止のNvidia製「GB300」チップを闇市場やタイのサーバー経由で入手したとも主張しています。専門家からは、データセンターの利用者を把握する顧客確認ルールの必要性を求める声が上がっていますが、米国での制度整備は進んでいません。