長期AIエージェントの記憶は、要約より全記録か。PRO-LONGが示した18ポイント改善
AIエージェントが長い仕事で迷子になる時、足りないのは巨大なコンテキスト窓とは限りません。過去を要約した瞬間に、あとで重要になる一手を捨てている可能性があります。
2026年7月22日に公開されたDuke Universityの論文PRO-LONG: Programmatic Memory Enables Long-Horizon Reasoningは、かなり乱暴に見えて筋の良い答えを出しました。
「全部ログに残す。必要になったら、コーディングエージェント自身に検索させる」
ベクトルDBも、学習済みメモリ管理器も使いません。観測、行動、結果を構造化ログへ追記し、CodexやClaude Codeが grep、正規表現、Pythonで必要な過去を掘り返します。ARC-AGI-3の公開25ゲームでは、同じ基本エージェントのログなし条件より平均18.0ポイント改善しました。しかも、複雑な専用ハーネスに近い性能を4.2倍から5.8倍少ないトークンで出しています。
ただし、「何でも全保存すれば賢くなる」という話ではありません。実験はゲーム環境に限られ、公開コードのURLも現時点では404です。面白いのは万能な結論ではなく、エージェントの記憶設計を「何を忘れさせるか」から「どう探せる状態で残すか」へ反転した点です。
古い問題：要約は、未来の重要度を知らない
長期タスクでは履歴が増え続けます。すべてを毎回プロンプトへ詰めると、費用が増え、重要情報が埋もれ、長い入力で性能が落ちることもあります。そこで多くのエージェントは、次のような記憶を使います。
- エージェント自身が書くメモ
- 過去会話の要約
- ベクトル検索用の記憶断片
- 成功パターンを圧縮したスキル
- 直近だけを残すスライディングウィンドウ
どれも合理的です。ただし書き込み時点で「何を残すか」を決める必要があります。
ここに時間差の罠があります。今は雑音に見える観測が、200手後にゲームの規則を証明する証拠になるかもしれません。要約は未来を見られないため、圧縮時に落とした情報をあとから復元できません。要約担当が優秀でも、未来予知までは業務範囲外です。
PRO-LONGは、この問題を読み書きに分けます。
- 書き込み：選別しない。環境が返した情報を構造化して追記する
- 読み込み：必要な時に、コードと検索ツールで関係部分を抽出する
つまり保存を簡単にし、検索側へ知能を寄せます。
仕組み：アクティブ文脈と、到達可能な記憶を分ける
論文は、エージェントが今モデル入力として読んでいる情報を「accessed state」、ツールを使えば到達できる外部情報を「accessible state」と分けます。
PRO-LONGが毎手 logs.txt に残すのは、行動番号、レベル、試行、スコア、短い計画、選択した行動、実行後の盤面です。エージェントは現在盤面だけで判断するのではなく、必要に応じて過去ログを調べます。
たとえば次のような調査ができます。
- スコアが変化した行だけを検索し、成功につながった直前行動を特定する
- 同じ盤面パターンが以前に出た位置を数える
- Pythonで全行動を再生し、自作したゲームモデルが過去の盤面を説明できるか検証する
- 何百手前の失敗と現在の状態を比較する
論文中には、エージェントが regress.py を自分で書き、ログ中の全行動を再生して、推測したゲームモデルが記録済み盤面と一致するか検証した例があります。これは単なる検索ではありません。ログをデータセットに変え、エージェント自身が仮説検証に使っています。
しかもシステムプロンプトは約30行で、サブエージェントは使いません。比較対象のWorldModelerは約600行のプロンプト、補助スクリプト、2つのサブエージェントを使います。単純さも実験の重要な一部です。
実験：18ポイント改善の中身
評価対象のARC-AGI-3は、規則を教えられない25の公開ゲームです。各ゲームには6から10のレベルがあり、エージェントは行動と結果から仕組みを推測します。通常設定は1ゲーム最大500行動で、GPT系はCodex、Claude系はClaude Codeを使いました。
まず同じ基本コーディングエージェントで、外部ログありとなしを比べると、GPT-5.5、Opus 4.6、Fable 5でPRO-LONGが15.7から21.0ポイント改善しました。平均は18.0ポイントです。
専用ハーネスとの比較は、性能だけを見ると圧勝ではありません。
- CodexではPRO-LONGのpass@1が41.2%、WorldModelerが45.1%
- Claude CodeではPRO-LONGのbest@2が82.1%、Schemaが84.4%
しかし費用差があります。前者でPRO-LONGは5.8倍少ないトークン、後者では4.2倍少ないトークンでした。Codexで5回試すbest@5は60.1%で、それでもWorldModelerの単発結果より1.2倍低いトークン費用です。
Fable 5を2,000行動まで動かした設定では、pass@1が94.6%、best@2が97.4%。best@2の総費用は1,750ドルでした。比較対象Schemaの報告値はbest@2 99.0%で、公開された採用ログだけの費用が6,447ドルです。ただし行動上限やログ選択条件が完全に同じではないため、単純な価格競争として読むべきではありません。
効いたのは保存量より、プログラムで扱えること
論文のツール段階実験が、この研究の一番おいしい部分です。GPT-5.5でログへのアクセス能力を順に増やすと、スコアは次のように変わりました。
- Read only：23.1%
- Grepと正規表現を追加：27.2%
- Pythonを追加：38.3%
- WriteとEditを追加：41.2%
読むだけから検索可能にすると4.1ポイント、Pythonを使えるようにするとさらに11.1ポイント伸びています。単に長いログを置くのではなく、エージェントが集計、照合、再現できる形式で置くことが効いています。
一方、ワークスペースを毎回消す実験では、PRO-LONGは41.2%から40.7%でほぼ変わりませんでした。ログなし条件は24.0%から19.9%へ落ちます。エージェントが自分で書くメモより、環境が自動で残す事実ログの方が中心的だったという結果です。
長期記憶が本当に必要なゲームほど差が出ました。g50tでは1回のログが32万行を超えました。m0r0ではPRO-LONGが5回すべて100%だったのに対し、ログなしは34.2%です。現在盤面だけで規則が分かるゲームでは、差は小さくなりました。
AICompanyの小さな追試案
ここからは論文の主張ではなく、AICompanyの実務案です。
既存のコーディングエージェントに、いきなり高度なメモリ基盤を足す必要はありません。まず1つの反復タスクで、追記専用ログの効果をA/B比較できます。
- 各ターンに、時刻、タスクID、ステップ番号、実行コマンド、終了コード、テスト結果、変更ファイル、次の計画をJSON Linesで保存する
- A条件は直近履歴とエージェント自身のメモだけを使う
- B条件は同じ入力に加え、
rgとPythonで全ログを検索できるようにする - モデル、推論設定、行動上限、対象タスクをそろえる
- 完了率、総トークン、再開後の復旧率、同じ失敗の再発回数、古い情報を誤用した回数を比較する
題材には、途中でテスト結果が変わるリポジトリ修正や、複数日にまたがる記事制作が向いています。現在状態だけでは判断できず、過去の失敗や方針転換を参照する必要があるからです。
ここでログへ秘密情報をそのまま入れてはいけません。認証情報、個人情報、顧客データは保存前に除去し、保持期限と削除単位を決めます。全保存は、何でも永久保存という意味ではありません。
限界：ゲームの成功を、そのまま業務へ持ち込めない
この論文は強い結果を示していますが、射程は限定的です。
第一に、評価はARC-AGI-3の公開25ゲームだけです。実際のソフトウェア開発では、ブランチ、外部API、人間のレビュー、仕様変更が入り、ログの意味も変わります。
第二に、高推論設定のフロンティアモデルを使っています。小型モデルが32万行の履歴から適切な検索コードを書けるとは限りません。検索能力が弱いモデルでは、保存量だけが増えて倉庫番になる可能性があります。
第三に、run-to-runの分散が大きいです。best@2やbest@5は複数回実行できる時の指標で、単発運用の期待値ではありません。
第四に、全ログは事実だけでなく、古い状態や失敗した仮説も残します。検索結果に時刻、出所、現在も有効かという検証を付けなければ、過去の亡霊を丁寧に再利用するシステムになります。
第五に、論文が案内するGitHubリポジトリは、2026年7月23日の監査時点で404でした。論文本文とプロンプト、数値は確認できましたが、公開コードと実行ログを使った第三者再現はまだ確認できません。
結論：記憶を賢く圧縮する前に、賢く探せる形で残す
PRO-LONGの価値は、新しい巨大メモリ製品を提案したことではありません。普通のログファイルと、コーディングエージェントがすでに持つ検索、実行能力の組み合わせを、長期推論の中心に置いたことです。
結果は明快です。同じ基本エージェントに全履歴ログを与えるだけで平均18.0ポイント改善し、専用ハーネスに近い性能を4.2倍から5.8倍少ないトークンで達成しました。さらに、読むだけよりPythonで検証できる方が大きく伸びました。
実務で採用すべき結論は「要約をやめる」ではありません。
事実ログは失わずに残す。要約は索引として使う。検索結果は現在状態と照合する。秘密情報と保持期限は最初から設計する。
長期エージェントの記憶は、頭の中へ全部詰め込むことではなく、必要な時に証拠へ戻れることなのかもしれません。
一次資料
- PRO-LONG論文
- 論文に記載された実装URL（監査時点で404）
【送料無料】マクロキーパッド、ストリームコントローラーデッキゲームストリーミングショートカットキーボード、18個のプログラム可能