詳細を読む
独Black Forest Labsは、生成AIモデルの訓練において外部の意味理解モデルに依存しない新手法「Self-Flow」を発表しました。従来のStable DiffusionやFLUXなどの拡散モデルはCLIPやDINOv2といった凍結エンコーダに頼っていましたが、この制約を根本から解消する技術です。
Self-Flowの核心は「二重タイムステップスケジューリング」と呼ばれる仕組みです。入力データに異なるレベルのノイズを適用し、生徒モデルには強く劣化させたデータを、教師モデル（自身のEMA版）にはより鮮明なデータを与えます。生徒が教師の見ている内容を予測する自己蒸留により、生成と意味理解を同時に学習します。
実用面での成果は顕著です。Self-Flowは現行標準のREPA手法と比較して約2.8倍高速に収束し、従来のバニラ訓練と比べると必要ステップ数は約50分の1に削減されました。40億パラメータのマルチモーダルモデルでは、画像FID 3.61、動画FVD 47.81とREPAを上回るスコアを記録しています。
特筆すべきはマルチモーダル対応力です。AIが苦手としてきたテキスト描画の精度が大幅に向上し、動画生成では手足が消える幻覚アーティファクトが解消されました。さらに映像と音声の同期生成も単一プロンプトから可能になり、外部エンコーダでは困難だった領域を克服しています。
企業にとっての戦略的価値も大きく、計算予算を約3分の1に圧縮しつつ最先端性能を達成できます。ロボティクス分野では675Mパラメータ版をRT-1データセットで微調整し、複雑な多段階タスクで高い成功率を実現しました。外部エンコーダへの依存排除により、技術負債の削減とスケーラビリティの確保が可能となり、自社データに特化した独自モデル開発の現実性が大きく高まっています。