Thinking Machines、PC向け26Bモデル公開
出典:VentureBeat
詳細を読む
Thinking Machines Labは11月20日、前OpenAI最高技術責任者ミラ・ムラティ氏が率いる米新興企業として、ノートPCや単一GPUで動くオープンウェイトモデル「Inkling 2 Mini」を公開しました。総パラメーター数は264億、メモリー使用量は約20GBで、クラウドに依存せずソフトウェア開発やツール操作を担う狙いです。
特徴は、モデルを大きくする代わりに中間層を繰り返し使う「ループ型トランスフォーマー」です。24層のうち中央の12層を3回通すことで、重みの保存量を増やさずに1トークン当たりの計算を深めます。量子化済みの重みを含めて公開し、Apache 2.0ライセンスで改変や商用利用を認めています。
同社によると、DeepSWE v1.1などのコーディング・エージェント評価で1000億パラメーター未満の公開モデルを上回り、画像入力と100万トークンの文脈長にも対応します。記事が紹介する比較では、同クラスのAlibaba製モデルと総合知能指標で並びながら、タスク実行が約4倍速く、費用は約6分の1でした。
一方、繰り返し計算で事実知識が増えるわけではなく、知識の想起や複数ターンの対話では競合モデルに劣る評価もあります。Thinking Machinesは推論過程の監視可能性を研究機関などと調べており、開発者にはローカル実行の利点と、用途ごとの精度検証の両方が求められます。