AIは覚えていても会話で使えない。MemUseが示した記憶評価の盲点
「前に話した犬の名前は？」と聞けば正しく答えられる。ところが、その犬について自然に話している場面では、名前にも出来事にも触れない。
これは単なる物忘れではありません。情報は取り出せるのに、会話へ自然に組み込めていない状態です。
京都大学の研究チームが発表したMemUseは、長期記憶を持つ対話AIの評価に、この大きな抜けがあると示しました。同じGPT-4.1-miniが、事実を直接質問されると78.8%答えられた一方、自然な会話でその事実に触れた割合は7.9%でした。差は約71ポイントです。
重要なのは、「どれだけ保存したか」だけではありません。「必要な瞬間に思い出し、押しつけがましくなく会話へ戻せたか」まで測る必要があります。
これまでの記憶評価は、抜き打ちテストに近かった
長期記憶ベンチマークでは、過去の会話から作った質問をAIに投げるDirect QAがよく使われます。
たとえば、以前の会話に「週末に鎌倉へ行った」という情報があれば、「週末はどこへ行きましたか」と質問し、鎌倉と答えられるかを採点します。検索や長いコンテキストが効けば、点数は上がります。
しかし実際の会話では、利用者が毎回きれいな質問をしてくれるとは限りません。「この前の旅行、また行きたいな」とだけ言うかもしれません。この一言が過去のどの話を指すのか見抜き、鎌倉の具体的な思い出を自然に返すところまでが、本当の記憶利用です。
MemUseは、この違いを次の3段階に分けました。
- Direct QA：明示的に聞かれた事実へ答えられるか
- Reference：自然な返答の中に、その事実が実際に現れたか
- Natural Integration：利用者が示した過去の話題を理解し、会話として自然に使えたか
Direct QAは「倉庫にあるか」を測ります。ReferenceとNatural Integrationは「必要な場面で店頭に出せたか」を測ります。倉庫が満杯でも、棚に並ばなければ利用者には届きません。
40人が4か月使った対話から、記憶が必要な瞬間を拾った
研究チームは、40人の英語話者がGPT-4.1-miniを使った日記対話サービス「Luke」を約4か月運用しました。集まったのは1,872セッション、21,575ターンです。利用者は各セッションを1から7で評価しました。
各セッションには、要約だけを渡す条件、過去発話の10%、50%、100%を長いコンテキストとして渡す条件、同じ範囲から上位10件を検索するRAG条件がランダムに割り当てられました。合計7条件です。
既存ベンチマーク型のDirect QAは、条件によって19.7%から70.1%まで伸びました。ところが、条件間の満足度差はすべて利用者内標準偏差の0.06未満でした。記憶容量を増やしてテストの点数が上がっても、平均的な満足度は上がらなかったのです。
そこで研究チームは、全会話から「前に話した件だけど」「覚えている？」のように、利用者自身が過去を示した瞬間を検出しました。人手確認を経て公開版に残った正例は72件です。そこから316問の事実質問を作り、同じ文脈と同じモデルでDirect QAと自然な返答を比べました。さらに、記憶を使う必要がない72件の負例も用意し、何でも過去の話に結びつける過剰反応を測れるようにしています。
ここがMemUseの新しさです。研究者が後から作った質問だけでなく、利用者が実際の会話で記憶を必要とした瞬間を評価単位にしました。
78.8%答えられても、自然な返答には7.9%しか出なかった
最もわかりやすい結果は、全履歴を渡したGPT-4.1-miniです。
- Direct QA：78.8%
- Reference：7.9%
- Natural Integration：22.2%
同じモデルと同じ文脈でも、「質問されたら答える力」と「自分から会話へ組み込む力」は一致しませんでした。
失敗の内訳も示されています。全履歴条件の72件では、38.9%が文脈を無視した一般的な共感、23.6%がもっともらしい記憶の捏造、26.4%が要点だけの部分的な想起でした。細部まで自然に統合できたのは8.3%です。
モデルを強くしても差は残りました。GPT-5.5は全履歴条件でDirect QAが82.9%だった一方、Referenceは13.6%、Natural Integrationは52.1%でした。Gemini 3.1 ProでもDirect QAは72.3%、Referenceは7.6%、Natural Integrationは37.0%です。
Mem0とLettaはNatural Integrationをそれぞれ58.3%、56.9%まで上げました。ただし、Direct QAで答えられる事実が自然な返答に現れない差は残っています。検索方式を替えるだけで完全には埋まりません。
検索より後ろ、文章を作る段階で落ちていた
では、原因は検索なのでしょうか。
研究チームは、思い出すよう明示するプロンプト、会話の手がかりを検出する指示、検索クエリの書き換え、事実抽出と返答生成を分ける2段階方式を試しました。
特に2段階方式の結果が示唆的です。抽出段階で正しい事実を取り出せた48件でも、最終返答はその事実を37件、割合にして77%で使いませんでした。情報は検索できていたのに、会話文を作る段階で落としていたのです。
これはRAG設計にも当てはまります。検索精度だけを追いかけても、生成モデルが「今ここで使うべき情報」と判断しなければ、利用者から見た記憶は働きません。
満足度と結びついたのは、思い出せたかではなく使えたか
記憶が明示的に求められた48セッションでは、Direct QAと満足度の相関はほぼゼロでした。スピアマンの順位相関は+0.03です。
一方、Natural Integrationは+0.29で、p値は.046でした。自然な統合に成功したセッションは、利用者内標準偏差で+0.56高い満足度と関連しました。95%信頼区間は+0.12から+0.98です。
ただし、これは48セッション、16人を対象にした観察的な関連です。自然な統合をランダムに割り当てた実験ではないため、「統合すれば必ず満足度が上がる」と因果関係までは言えません。論文自身も中程度の証拠として扱っています。
別の分析では、過去の話題を引き継ぐ場面ほど、利用者の発話が長くなると満足度が下がる傾向がありました。以前の文脈をもう一度説明させられる負担が表れている可能性があります。
実務では、記憶を1本の検索機能として作らない
ここからは論文結果を踏まえたAICompanyの実務提案です。論文がこの設計を製品で検証したわけではありません。
長期記憶を使う対話AIでは、次の5段階を別々に記録すると原因を切り分けやすくなります。
- Cue：利用者が過去を示した手がかりを検出する
- Retrieve：関連する記憶候補を取得する
- Ground：現在の発話と結びつく根拠だけを選ぶ
- Integrate：具体的な固有名や出来事を、自然な返答へ織り込む
- Verify：根拠のない記憶を足していないか確認する
小さく試すなら、手元の対話ログから正例20件と負例20件を作ります。正例は利用者が「前に」「この前」「覚えている？」と過去を示した場面、負例は似た長さでも過去を必要としない場面です。
各返答について、次を別々に採点します。
- 正しい記憶を検索できたか
- 返答に具体的な事実が現れたか
- 会話として不自然な押し込みになっていないか
- 負例で架空の記憶を持ち出していないか
- 不確かなとき、正直に確認を求めたか
最後の2項目は欠かせません。記憶を使う率だけを最大化すると、何でも「前にも言っていましたね」と返すAIになりかねません。長期記憶は、思い出す勇気と同じくらい、思い出したふりをしない節度が必要です。
まだ証明されていないこと
MemUseは現実の長期利用に近い貴重なデータですが、範囲は限られます。
- 参加者は40人で、37人が女性、3人が男性でした
- 対象は英語の日記対話サービス1種類です
- 満足度分析では、評価がほぼ一定の人などを除き29人、1,270セッションを使っています
- 自然な統合と満足度の主分析は48セッション、16人です
- Natural Integrationは二値の自動判定で、人間同士の一致度はCohenのカッパ0.57でした
- 明示的な記憶手がかりを検出する設計なので、暗黙に記憶が必要な場面は拾えていません
- 公開データは匿名化され、一部は生の文章ではなく要約です
- データはCC BY-NC 4.0で、非商用研究向けです。評価コードはMITライセンスです
AICompanyでは公開リポジトリのコミットa08758bd0ed6e99c5ce204ead412984eefd9a3dcを確認し、正例72件と負例72件、評価コード、公開済みベースライン結果を照合しました。Pythonの構文確認は通りましたが、有料モデルを使う全評価の再実行はしていません。
結論
MemUseが突きつけたのは、記憶容量の不足より厄介な問題です。
AIは情報を持っている。質問されれば答えられる。それでも、会話の流れの中で必要な記憶を使えない。
これからの長期記憶評価は、Direct QAの正解率だけでは足りません。利用者が過去を示した瞬間に気づけたか。具体的な事実を自然に返せたか。必要のない場面で記憶を捏造しなかったか。この3つを一緒に測る必要があります。
記憶するAIから、思い出を会話で生かせるAIへ。MemUseは、その違いを測るための現実的な出発点です。