Photoroom、画像生成モデルを24時間・約22万円で訓練する手法を公開

Photoroomは2026年3月3日、テキストから画像を生成する拡散モデルを24時間・約1500ドル（約22万円）の計算予算で訓練する手法「PRX Part 3」を公開しました。H200 GPU 32台を使用し、コードもGitHubでオープンソース化しています。

最大の特徴はピクセル空間での直接訓練です。従来必要だったVAE（変分オートエンコーダ）を排除し、パッチサイズ32と256次元のボトルネック層で系列長を制御します。512pxで訓練を開始し、1024pxへファインチューニングする2段階方式を採用しています。

品質向上のため知覚損失を2種類導入しています。LPIPSは低レベルの知覚的類似性を、DINOv2ベースの損失は意味的な信号を捉えます。プール済み画像全体に適用し、全ノイズレベルで計算する独自の工夫が加えられています。

計算効率の面ではTREADによるトークンルーティングを採用し、50%のトークンをTransformerブロックの大部分でスキップさせます。またREPAでDINOv3教師モデルとの表現整合を行い、収束を加速させています。オプティマイザにはMuonを使用しAdamを上回る性能を確認しています。

訓練データは合成データセット3種（計約870万枚）を使用し、Gemini 1.5でキャプションを再生成しています。生成品質にはまだ改善余地があるものの、プロンプト追従性や美的一貫性は高く、構造的な欠陥ではなくデータ多様性の不足が主な課題と分析しています。