詳細を読む
Hugging Faceは2026年7月8日、機械学習ライブラリtransformersを推論エンジンvLLMのモデル実装として使う際、自作の専用実装と同等かそれ以上の速度を出せるようになったと発表しました。モデル作者はコードを移植することなく、既存のtransformers実装のまま超高速なvLLM推論を無料で得られます。対応アーキテクチャであれば、追加の最適化コードは一切不要です。
従来この連携は、推論のボトルネックとなるアテンション処理をvLLM側の実装に差し替えることが中心でした。しかしGPU間の並列化やカーネル融合など、専用移植でしか引き出せない性能領域が残っていたのです。最高性能を求める作者は、結局vLLM向けの独自実装を書き続ける必要がありました。
今回の刷新では、torch.fxでモデルの計算グラフを静的解析し、最適化可能な既知パターンを検出します。その上でAST（抽象構文木）を使ってソースコードを書き換え、Mixture-of-Expertsの専門家並列や、テンソル並列を担うvLLMの融合演算へと実行時に置き換えます。結果として、コードを1行も書かずにネイティブ相当の推論速度が得られる仕組みです。
性能はQwen3系の3つのモデルで検証されました。単一GPU上の4B密モデル、テンソル並列の32B密モデル、そして8基のH100ノード上でデータ並列・専門家並列を使う235BパラメータのFP8 MoEです。いずれの構成でも、vLLMの手書き実装によるスループットに到達または上回ったと報告されています。
利用は`vllm serve`コマンドに`--model-impl transformers`を付けるだけで、テンソル並列などの既存オプションとそのまま併用できます。さらにvLLM専用実装と異なり、transformers実装は学習や評価、RLロールアウトにも同じコードを使える利点があります。なお線形アテンションを使うモデルは現時点で非対応ですが、近く対応予定とのことです。