詳細を読む
清華大学とZ.aiの研究チームは、スパース注意機構の冗長計算を最大75%削減する新技術IndexCacheを発表しました。20万トークンの長文コンテキストにおいて、最初のトークン生成までの時間を最大1.82倍、生成スループットを1.48倍高速化する成果を示しています。
大規模言語モデルの自己注意機構は、文脈長に対して二乗の計算量が必要となり、長文処理のボトルネックとなっていました。DeepSeek Sparse Attention（DSA）はコア注意の計算量を線形に削減しましたが、各層のインデクサモジュール自体が依然として二乗計算を行っており、長文になるほど処理時間が急増する問題が残っていました。
研究チームは、DSAモデルにおいて隣接するトランスフォーマー層間でインデクサが選択するトークンの70〜100%が共通であることを発見しました。この冗長性を活用し、少数の「F層」でのみインデクサを実行して結果をキャッシュし、残りの「S層」ではキャッシュを再利用する手法を開発しました。
GLM-4.7 Flash（300億パラメータ）での実験では、75%のインデクサを削除してもプリフィル遅延が19.5秒から10.7秒に短縮されました。推論品質も維持され、長文ベンチマークでは原版とほぼ同等のスコアを記録しています。7440億パラメータのGLM-5でも10万トークン超で1.3倍以上の高速化が確認されました。
企業導入においては、RAGや文書分析、エージェントパイプラインなどの長文処理で約20%のコスト削減が見込まれます。vLLMやSGLang向けのオープンソースパッチがGitHubで公開されており、既存の推論基盤に最小限の設定変更で統合可能です。研究チームは、将来のモデル設計において推論効率が設計段階から考慮される方向性を示唆しています。