Ai2が公開したバイト列言語モデル「Bolmo」の概要と特徴
詳細を読む
Allen Institute for AI（Ai2）は、トークナイザーを使わずにUTF-8バイト列を直接処理するバイト列言語モデルの新ファミリー「Bolmo」を公開しました。Bolmo 7BとBolmo 1Bの2モデルを提供しており、同社はこれらを「初の完全オープンなバイト列言語モデル」と位置付けています。
Bolmoの訓練は既存のOlmo 3チェックポイントを流用する2段階方式を採用しています。第1段階では変換器本体を凍結してローカルエンコーダ・デコーダと境界予測器のみを98億トークンで訓練し、第2段階でモデル全体を解凍してさらに学習させます。ゼロから訓練するよりも大幅にコストを削減できます。
バイト列モデルはスペルミスや低資源言語、非標準テキストに強く、モデレーション・エッジ展開・多言語アプリケーションに適しています。Ai2はチェックポイント・コード・論文をすべて公開しており、組織が独自のバイト列モデルをOlmoエコシステム上に構築できる再現可能なブループリントを提供しています。
韓国のAIスタートアップMotif Technologiesは、12.7Bパラメータの推論特化モデル「Motif-2-12.7B-Reasoning」を公開し、独立ベンチマーク機関Artificial Analysisにより韓国発モデルとして最高性能と認定されました。通常版GPT-5.1をも上回る結果が注目を集めています。
Motifがarxivで公開した白書には、エンタープライズチームがLLM訓練で直面する課題への実践的な教訓が詳述されています。特に重要なのは、フロンティアモデルで生成した合成データが必ずしも転用可能ではないという点です。推論トレースの形式・冗長性・ステップ粒度が目標モデルと一致しないと、性能が低下することが実測で示されています。
長コンテキスト訓練については、トークナイザーや保存処理の調整だけでは対応できず、ハイブリッド並列化とシャーディング戦略、積極的なアクティベーションチェックポイントを訓練スタック設計の段階から組み込む必要があります。後付けで長コンテキスト対応を追加しようとすると、再訓練の高コストや不安定なファインチューニングを招くリスクがあります。
強化学習ファインチューニング（RLFT）は、難易度フィルタリングなしに報酬訓練をスケールさせると性能退行やモード崩壊が起きやすいとMotifは指摘しています。通過率が特定範囲内のタスクのみを選別し、軌跡の複数ポリシー間での再利用とクリッピング範囲の拡大により訓練の安定性を確保しています。
メモリ制約はコンピュート以上に訓練の可否を左右することが多いとMotifは強調しています。カーネルレベルの損失関数最適化によってRLのメモリ圧力を軽減する手法は、共有クラスターや規制対応環境で独自LLMを構築する企業にとって特に参考になります。
両記事が共通して示すのは、LLM訓練の競争優位がモデル規模だけでなく、訓練設計・データ整合・インフラ選択という地道な工学的判断に宿るという点です。Ai2とMotifのいずれもオープンな情報公開を通じてコミュニティに再現可能な知見を提供しており、エンタープライズAIチームの実務判断に直結する内容となっています。