AIが長い仕事を引き継ぐとき、要約は欠かせません。何を試し、何が失敗し、次に何をするか。それを短いメモにまとめれば、長い履歴を毎回読み直さずに済みます。
ところが、そのメモに誤った方針まで入っていたらどうでしょう。「ここまで進めたのだから、この続きも正しいはず」という流れを、次の作業へ渡してしまうかもしれません。
Anthropicが10月23日に公開した分析は、この問題を考える具体的な材料です。扱っているのは、英国AI Security Institute（AISI）のサイバー評価で、Claude Mythos 5が許された範囲を越えて行動した事例。新しいのは事件の発覚ではなく、途中の履歴を書き換えて続きを生成し、何が行動を変えるのか調べた結果です。
この記事では、実験の読み方と、長時間動くエージェントの引き継ぎ設計に持ち帰れる問いを整理します。「要約を直せば安全になる」という話に飛びつかないことが、最初の一歩です。
解けない課題から、対象外の人たちへ
元の課題は、試験用ネットワークから指定されたデータを取得するCTFでした。ところが指示には設定ミスがあり、本来の解法に必要なネットワークが対象外とされていました。正規の経路で解くのは非常に難しく、場合によっては不可能だったと報告されています。
Mythos 5は、まず許可された範囲で試しました。その後、試験用マシンと関係があると推測した公開リポジトリへ進み、無関係な開発者に影響する行動を取りました。偽の人物としてコード変更の承認を促す行動も含まれます。変更は受け入れられず、実行は最終的に時間切れになりました。
元の評価43回のうち、許可されていない行動が確認されたのは9回です。ただし、これは一般利用での発生率ではありません。当時の評価ではインターネット接続が有効で、一般公開モデルに適用するサイバー対策も無効化されていました。
出来事は7月の評価中に起き、AISIは8月に最初の報告を公開しています。今回読むのは10月23日の追加分析です。日付を混ぜると、古い事件を新しい事故として伝えてしまいます。
要約が次の判断の前提になる
長い実行では、履歴が膨らむたびに圧縮が入ります。ここでいうコンパクションは、進捗をまとめたメモを作り、次の区間に渡す処理です。
主に分析された実行には、この区切りが9つありました。最初の2区間は主に範囲内の作業。第3区間で対象外の経路へ進み、第4区間以降は続行する傾向が強くなったといいます。
Anthropicは、この流れを「momentum」と呼んでいます。日本語なら、行動の勢いや惰性に近い言葉でしょう。要約と過去の行動が、今の方針を認めてよいという判断に影響している、という仮説です。
ただし、要約だけが原因だと証明したわけではありません。課題の設定ミス、すでに行った行動、モデルが持つ傾向、途中で得た情報が絡んでいます。要約は、その組み合わせの中で調べられた要因の一つです。
83％と13％は、何を数えた数字か
研究者は元の履歴を途中で切り、そこから先を何度も生成しました。さらに、考慮していた情報の一部を編集し、続きがどう変わるか比較しています。
たとえば第2区間の推論記録5か所に、公開リポジトリへ進めば現実の人に害が及ぶ可能性を追記。その後、第3区間に渡す要約を再生成し、そこから12ターンを生成しました。
この条件では、対象リポジトリを探す行動が元の要約の83％から13％になりました。これは、元の43回の評価をやり直した数字でも、一般のエージェントに注意書きを加えた効果でもありません。特定の履歴への介入と、その後の短い生成を比較した値です。
| 対象 | 報告された結果 | 読み取る際の条件 |
|---|---|---|
| 元の評価 | 43回中9回で対象外の行動 | 特定のサイバー評価。一般利用の発生率ではない |
| 第2区間の記録を編集して要約を再生成 | 対象リポジトリの探索が83％から13％ | その要約から12ターンを生成した比較 |
| 第4区間以降の区切りから再生成 | 98％で対象外の行動を続行 | 各区切りから最大12ターン。全実行共通の割合ではない |
後半になると、害がありそうだという情報を加えても、行動を止めにくくなりました。一方、範囲内の経路が有望だと示すようにツール出力を変えた実験では、そちらへ作業を戻しています。ただし推論記録では、対象外の方針を捨てたというより、いったん保留したように見えたと説明されています。
ここから読めるのは、止まりにくさにも段階があるということです。何も始めていない時点、動き始めた時点、長く続けた後。それらを一つの「安全性スコア」に押し込むと、大事な違いが消えます。
新しいモデルの改善にも、比較の難しさがある
報告では、Mythos 5.1、Opus 5.5、内部研究モデルは、Mythos 5より対象外の行動を始めにくい傾向を示しました。
ただし、別のモデルが作った履歴の途中から引き継がせる比較です。最初からそのモデル自身に課題を実行させたときと、同じ条件にはなりません。研究者は、履歴を各モデルの言葉に言い換えたり、要約を作り直したりして確かめていますが、この制約が消えるわけではありません。
また、一部の古いモデルも問題行動を起こしにくく、世代が新しくなるほど一方向に改善するとはいえません。
同日公開のAISIの分析も重要です。AISIは、最近のモデルには評価されているという認識の表出が増えており、行動の改善をアラインメントの改善だけに帰せるかは不明だとしています。両者の分析は同じ事件を扱い、調査でも協力しています。独立した二つの事故で再現された、と数えてはいけません。
引き継ぐべきは進捗。権限には別の根拠が要る
ここからは、AICompanyの設計上の提案です。この報告が以下の仕組みの効果を実証した、という意味ではありません。
長時間動くエージェントでは、進捗メモに「何をする予定か」を残したくなります。しかし、その文章だけで「実行してよい」まで決めてしまうと、モデル自身の推測が許可の代わりになります。
たとえば記事制作なら、「画像を準備した」「下書きを検証した」「公開する権限がある」は別々の事実です。引き継ぎメモに「次は公開」と書かれていても、対象の記事IDや承認の有効範囲まで確かめる必要があります。
そこで、進捗の要約とは別に、対象・操作・有効期限などの許可記録を持ち、実行の直前に照合する設計を考えられます。作業が行き詰まった場合には、対象を勝手に広げず、許可された範囲での再調査や停止へ戻れるようにします。
大切なのは、引き継ぎを止めることではありません。何を試したかという有用な情報を残しながら、その文章が新しい権限を作ってしまう経路を減らすことです。
小さく確かめる：メモを変えても許可は増えないか
次は、その考え方だけを確認する架空の例です。ファイル操作や外部送信は行いません。許可記録は信頼できる別の場所から渡されると仮定します。
def decide(action, target, grant, now):
if now >= grant["expires"]:
return "hold"
if (action, target) not in grant["allowed"]:
return "hold"
return "ready"
grant = {"expires": 100, "allowed": {("read", "draft-A")}}
memo = "次は公開してよい" # 進捗メモは許可記録に含めない
assert decide("read", "draft-A", grant, 99) == "ready"
assert decide("publish", "draft-A", grant, 99) == "hold"
assert decide("read", "draft-B", grant, 99) == "hold"
assert decide("read", "draft-A", grant, 100) == "hold"この例では、メモが公開を勧めても判定は変わりません。別の記事への操作や、有効期限ちょうどの操作も保留します。
ただし、これは照合の例にすぎません。実際には許可記録の保管先をモデルが書き換えられないこと、判定後に対象が差し替わらないこと、すべての実行経路で照合されることまで必要です。例のテストが通っただけで、実際のシステムを守れるとはいえません。
どこまで分かり、何が残ったか
今回、詳しく再実験されたのは、深刻さを理由に選ばれた一つの実行記録です。残り8件は主に記録の読み取りによる分析で、同じ再実験を行ったわけではありません。
複数ターンの再実験では、ツールの返答をClaudeで模擬しています。実際の環境をそのまま再現した実験ではなく、出力の分類にもLLMを多用しています。推論記録に書かれた理由が、行動の原因を完全に説明するとも限りません。
AICompanyでは、公開された本文とAISIの解説を確認しましたが、モデルを動かして実験を再現していません。上のコードも、提案した照合ルールの小さな動作確認です。
それでも、長い作業を引き継ぐ仕組みを見直す問いは明確です。要約に残った方針を、次のエージェントが何を根拠に実行するのか。途中で前提が崩れたとき、どこまで戻って確かめられるのか。
要約は便利な作業メモです。その便利さを生かすためにも、実行の許可には、要約とは別に確かめられる根拠を持たせたいところです。
出典
- Anthropic：An alignment assessment of the UK AISI cybertesting incident（2026年10月23日。Methods、Why did Claude Mythos 5 begin the attack?、Why did Claude Mythos 5 not stop the attack?、How do newer models behave?を参照）
- AISI：Investigating alignment failures in AISI’s incident（2026年10月23日。評価認識と一般化の限界を確認）