詳細を読む
複数大学の研究チームが、LLMの知識を再学習なしで更新するフレームワーク「MeMo（Memory as a Model）」を発表しました。MeMoは新しい知識を専用の小型メモリモデルに格納し、推論を担う本体のLLMとは完全に分離して運用します。RAGのコンテキスト長制限やファインチューニングの破壊的忘却といった既存手法の課題を回避できる点が特徴です。
MeMoのアーキテクチャは、知識を蓄えるMEMORYモデルと推論を行うEXECUTIVEモデルの2層構成です。ユーザーの質問に対し、EXECUTIVEモデルがサブクエリに分解してMEMORYモデルに問い合わせ、得られた事実を統合して最終回答を生成します。MEMORYモデルの学習には、生テキストから数千のQAペア「リフレクション」を生成し、それを教師データとして使います。
ベンチマーク評価では、長文推論タスクNarrativeQAで53.58%の精度を達成し、最先端のグラフベースRAG手法HippoRAG2の23.21%を大きく上回りました。さらにEXECUTIVEモデルをGemini 3 Flashに差し替えるだけで精度が最大26.73%向上し、メモリモデルの再学習は不要でした。ノイズの多いデータでも精度低下は2%未満にとどまり、企業の雑多なナレッジベースへの耐性を示しています。
継続的な知識更新には「モデルマージ」手法を採用し、新規データで学習した差分パラメータを既存のMEMORYモデルに統合します。フル再学習に比べ11〜19%の精度低下というトレードオフはあるものの、計算コストを大幅に削減できます。
一方で課題も残ります。リフレクション生成にNVIDIA H200で約240GPU時間、14Bパラメータのメモリモデル学習に約180GPU時間の初期コストが必要です。また回答がパラメトリック記憶から合成されるため、情報の出典を特定できず、厳格な監査要件のある業務には不向きです。研究チームは、単純な検索にはRAG、複数文書を横断する統合推論にはMeMoという使い分けや、両者を組み合わせたハイブリッド構成を推奨しています。