詳細を読む
米ニューヨーク大学やコロンビア大学などの研究チームは2026年6月11日、大規模言語モデル（LLM）の入力文脈を圧縮する新手法「潜在文脈言語モデル（LCLM）」を発表しました。デコーダに到達する前に入力トークン列を圧縮することで、長大化する文脈が生む計算コストと処理速度の課題を解決します。モデルはHuggingFace上でオープンソース公開されました。
従来主流のKVキャッシュ圧縮は、全キャッシュを生成してから不要部分を削除します。これに対しLCLMはデコーダのprefill前に入力そのものを圧縮するため、高い圧縮率がそのまま計算量とメモリの削減に直結します。論文によると、長文脈ベンチマーク「RULER」で16倍圧縮時、KVキャッシュ基準より出力が8.8倍高速になりました。
精度の劣化が小さい点も特徴です。4倍圧縮では文脈を4分の1に減らしながら精度91.76%を保ち、無圧縮の94.41%から3ポイント未満の低下にとどまりました。16倍圧縮で入力の93.75%を除いた場合でも精度は75.06%で、同条件のKVキャッシュ手法をすべて上回りました。
アーキテクチャは0.6Bの符号化器と4Bの復号器を組み合わせ、3500億トークン超で訓練されました。継続事前学習、推論や長文脈タスクの教師ありデータ、細部を保持させる補助的な再構成タスクの3種を混ぜることで、圧縮と汎用性能の両立という従来の課題を克服しています。探索の結果、符号化器より復号器を拡大する方が効果的と判明しました。
実用面では既存のLLMと差し替えて使える設計です。共同責任者でコロンビア大学のミカ・ゴールドブラム氏は、文書を文脈に投入する前に圧縮器を通すだけだと説明します。人間が内容をざっと読んでから重要箇所を精読する動きに近く、エージェントが必要なテキストだけ選択的に復元する仕組みも示されました。
一方で課題も残ります。RAGパイプラインを持つ企業は、導入前に検索品質の指標に対して圧縮の挙動を検証する必要があります。さらに推論トレースのオンライン圧縮は未解決で、生成中に随時圧縮する素朴な手法が機能するかは今後の検証次第とされています。コードとモデルはGitHubとHuggingFaceで公開されています。