詳細を読む
Hugging FaceのSergio Paniego氏は2026年9月3日、言語モデルにJavaScriptを書かせて水彩画を描かせる強化学習パイプラインを公開しました。Surya Narreddi氏の手法を再現し、TRLとOpenEnvを用いた環境、学習スクリプト、参照データ、学習済みモデルをHub上で開放し、個人の美的嗜好を報酬として小型モデルへ反映できるかを検証しています。
モデルはQwen3.5-35B-A3Bで、p5.brushの47機能を10機能に絞り、コードをChromiumで描画します。報酬はコンパイルや不正を確認するゲート、コード長、HPSv3、手作業で選んだ178枚を基準に候補を比較するQwen3-VL判定器を組み合わせました。
3方式はいずれも平均報酬が上昇しました。hps-onlyは0.58から0.71、judge-ledは0.45から0.72、hps-ledは0.57から0.82となり、比較判定器を使う2方式では低品質作品の減少に加え、上位作品の改善と描画面積の倍増も確認されました。結果は、手作業の参照プールが方策を誘導できることを示しています。
学習停滞の主因には、低すぎる学習率やMoEモデルに合わないLoRA対象設定がありました。学習率を2e-5から5e-5に上げ、スケジューラを一定＋ウォームアップへ変更し、報酬のグループ正規化を外し、対象をall-linearに広げると学習が進みました。
一方、参照プールはモデル生成のハイビスカス178枚だけで、人間の作品を含まず、学習後の絵も各方式内で似通いました。基準集合が品質と多様性を同時に決めるため、別の画題や作風へ広げるには選別作業そのものがボトルネックになります。インフラ障害を低品質として0点扱いすると報酬にノイズが入るため、現在は該当ロールアウトを除外しています。
再現にはH200が1基必要で、60ステップに約18時間、110ステップに約34時間かかり、1ステップの70〜80％は描画処理です。次の検証候補として、描いた画像をモデルへ戻す多段学習、4B級モデルへの小型化、参照集合の拡充などを挙げています。