MITの再帰フレームワークでLLMが1000万トークンをコンテキスト劣化なく処理

MITの研究者が新しい再帰的フレームワークを開発し、LLMが1000万トークンという超長文脈を「コンテキスト劣化」なく処理できることを実証しました。

従来のモデルは文脈が長くなるほど「迷子」になり、文書の後半部分の内容を正確に参照できなくなる問題がありました。このフレームワークはその問題を解決します。

1000万トークンというのは、書籍数冊分や大規模なコードベース全体に相当する量です。これによりRAGアーキテクチャなしに大量の文書を直接モデルに入力できる可能性があります。

長文脈処理は現在のLLM研究における最重要テーマの一つであり、Google、OpenAI、Anthropicなども競争的にコンテキスト窓の拡張に取り組んでいます。