AIエージェント開発の本当のボトルネック。Microsoft Orchardが分離した環境層
AIエージェントを賢くしたいとき、最初に思い浮かぶのはモデル、prompt、toolでしょう。
しかし、学習や評価を大量に回し始めると、先に悲鳴を上げるのは別の場所です。Docker環境を作る。repositoryを配置する。commandを実行する。fileを読み書きする。失敗したsandboxを掃除する。networkを制限する。これを何百、何千のagentで同時に回す必要があります。
Microsoft Researchが公開したOrchardは、この地味で巨大な問題を正面から扱います。中心にあるOrchard Envは、1,000個のsandboxを並列に起動する試験で成功率100%、end-to-end 26秒を記録しました。平均command実行遅延は0.280秒です。
派手な新型agent loopではありません。むしろ「agentが働く場所」をmodelやharnessから分離したことが新しい。AIエージェントの工場で、毎回作り直していた作業台を共通設備に変える発想です。地味ですが、こういう床が抜けると最新modelも一緒に地下へ行きます。
古い問題。agentごとに実行環境まで作り直している
coding agentを例にします。agentはissueを読み、repository内を検索し、codeを変更し、testを実行します。そのためには安全にcommandを動かせる隔離環境が必要です。
ところが実装では、agent harnessとsandbox管理が密結合しがちです。あるharness用にDocker imageを作り、別のharness用にfile APIを作り、RL trainer用に大量起動の仕組みを追加する。browser agentへ進めば、また別の環境管理が生まれます。
この構成には三つの問題があります。
- 同じtaskでもharnessを変えると実行条件まで変わる
- data収集、SFT、RL、評価で環境codeを再利用しにくい
- timeout、cleanup、network policyの品質がteamごとにばらつく
結果として、model改善の実験なのか、harnessや環境差の実験なのか分からなくなります。実際、Orchardの論文でも同じSFT checkpointがmini-swe-agentでは64.3%、OpenHandsでは62.1%でした。2.2 pointの差は、leaderboardの数字をmodelだけの能力として読めないことを示しています。
中心アイデア。環境を薄い独立serviceにする
Orchard EnvはKubernetes-nativeのenvironment serviceです。担当するのはsandboxのlifecycle、command実行、file I/O、network policyなど。agent harness、RL trainer、inference backend、task domainは担当しません。
境界はREST APIで公開されます。coding agentもbrowser agentも、環境を必要とする側が同じserviceへ依頼する構造です。
重要なのは「万能platformに全部入れる」ことではありません。反対に、環境層を薄く保ちます。agentの思考loopやmodel servingまで抱え込むと、再び特定stackへ固定されるからです。
論文が強調する技術上の工夫は二つあります。
1. agentをruntimeに注入する
taskごとに必要なDocker imageは違います。Python repository、Java環境、browser、desktopでは中身が変わります。各imageへagent runtimeまで焼き込むと、harnessを変えるたびにimageを作り直すことになります。
Orchardはinit containerを使い、agentをruntimeに注入します。task固有imageとagent harnessを別々に保てるため、既存の評価imageを再構築する負担を減らせます。
2. Kubernetes control planeをhot pathから外す
commandごとにKubernetes execやWebSocketを通すと、大量rolloutではcontrol planeが細い首になります。Orchardはsandbox PodのIPへcommand実行とfile要求を直接routeします。
Kubernetesは配置とlifecycle管理に使い、頻繁なagent interactionはdata pathへ逃がす。この分離が、平均0.280秒というcommand実行遅延につながっています。
そのほか、network isolation、非同期lifecycle、heartbeatによるcleanup、watchによるreadiness追跡を組み合わせています。ここでの新規性は個々の機能より、agent学習に必要な運用特性を薄い共通層へまとめた点です。
0.280秒と1,000 sandboxをどう読むか
Orchard Envのsystem評価は、8 nodeのKubernetes clusterで行われました。各nodeは32 vCPU、128 GiB RAM。sandbox imageは事前にpullされ、各sandboxには2 vCPUと8 GiB RAMが割り当てられています。
平均command実行遅延は次の通りです。
- Orchard Env: 0.280秒
- SkyPilot Code Sandbox: 0.284秒
- E2B: 0.747秒
- Modal: 2.046秒
1,000 sandboxの並列起動では100%成功し、26秒で完了しました。約154 commands/sを処理し、sandbox作成時間の平均は11.75秒です。
ただし、0.280秒を「どんな環境でもcommandが0.280秒で終わる」と読むのは誤りです。imageはpre-pull済みで、比較しているのは環境serviceのoverheadです。repository clone、package download、network storage、test自体の実行時間は別に効きます。
cost試算も同じです。128 sandboxを240時間動かす条件で、on-demandは3,362ドル、spotは673ドル。比較対象のmanaged serviceは7,078ドルから10,305ドルでした。これは自前運用の人件費を含む万能TCOではなく、論文のcloud条件に基づくinfrastructure試算です。
共通環境の上で、失敗trajectoryも学習資産に変える
Orchardは環境serviceだけの論文ではありません。その上で、software engineering、GUI操作、個人assistantの三つの学習recipeを実演しています。
Orchard-SWEでは、MiniMax-M2.5とQwen3.5系modelによる約107,000件のagent interactionを収集しました。公開dataset cardの件数は107,185です。
ここで面白いのは、issueを完全に解けなかったtrajectoryも全部捨てないことです。最終patchが失敗していても、途中の検索、診断、test、部分修正には良い判断が含まれます。credit-assignment SFTで有用部分を拾い、その後にRLを行います。
結果はSWE-bench Verifiedで69.7%。さらに過去のrolloutから学習した4B value modelで6候補をrerankすると73.0%になりました。frontier級の巨大modelへ正面からparameter数だけで追いつくのではなく、環境interactionから得た履歴を再利用して選択精度を上げています。
ここには重要な注意があります。73.0%はsingle attemptではありません。best-of-6で候補を作り、value modelで選んだ数字です。6候補のどれかが正解なら必ず選べるoracleは82.4%でした。つまり生成能力だけでなく、候補選択にもまだ12.7 pointの改善余地があります。
小さいmodelでも、実際のharnessで鍛えると変わる
Orchard-GUIは4Bのvision-language modelを、400件のdistilled demonstrationと2,200件のopen-ended taskで学習しました。
- WebVoyager: 74.1%
- Online-Mind2Web: 67.0%
- DeepShop: 64.0%
- 3 benchmark平均: 68.4%
SFT時点の平均52.0%から、RL後は68.4%へ上昇しています。ただしRLのrewardにはGPT-4.1による判定も使われます。小modelだけで自給自足した結果ではありません。
個人assistant向けのOrchard-Clawは、論文で192件、公式記事では約200件と要約されるsynthetic taskで学習しました。Claw-Evalのpass@3は59.6%。より強いZeroClaw harnessと組み合わせると73.9%です。
Codex harnessでは、未学習modelの18.6%がOrchard学習後に51.5%まで上がりました。ここでの示唆は「同じmodelをどこへ置いても同じ」ではなく、実際に使うharness内でtrajectoryを集め、学習と評価をつなげる価値です。
AICompanyの解釈。先にexecution planeを共通化する
ここからは論文の主張ではなく、AICompanyの実務解釈です。
複数のagentを作る組織では、model gatewayより先にagent execution planeを共通化する価値があります。最低限、次の境界を一つのserviceへ揃えます。
- environmentの作成、状態確認、破棄
- command実行とtimeout
- fileの読書きとartifact回収
- outbound network policy
- heartbeat、強制終了、orphan cleanup
- task ID、model、harness、environment imageのtrace
最初からKubernetesで1,000 sandboxを目指す必要はありません。小さく始めるなら、Docker上の10並列でも同じ境界を作れます。大切なのは、agent loopの中へdocker runやfile copyを直接埋め込まず、environment adapterを一枚置くことです。
評価記録にはmodel名だけでなく、harness version、environment image digest、tool schema、network policyを残します。Orchardのharness sensitivityが示す通り、model checkpointだけ保存しても実験は再現できません。
この設計にすると、agent Aで集めた失敗trajectoryをagent Bのdata検証へ回したり、同じtaskを別harnessで比較したりできます。環境の共通化は単なるinfra整理ではなく、学習dataを再利用可能にする条件です。
どこまで信用できるか
Orchardは論文、code、datasetが公開されており、一次資料の厚みは高いです。それでも、そのまま導入判断へ使えない点があります。
第一に、本記事では公開sourceの整合性を確認しましたが、8 node clusterでend-to-end再実行はしていません。system benchmarkは著者側の結果です。
第二に、SWEのtrajectoryはMiniMax-M2.5とQwen3.5系model、GUIのjudgeはGPT-4.1、Clawのtask合成はClaude Opus 4.6に依存します。小さいopen-weight modelの成果だけを切り出すと、data生成側のcostと能力を見落とします。
第三に、best-of-6は推論回数を増やします。73.0%という精度と、6候補生成 plus 4B value modelのcostを一緒に評価する必要があります。
第四に、network isolationやsandbox cleanupはsecurityの重要部品ですが、安全性の証明ではありません。agent生成codeを動かすなら、credential分離、egress制御、resource quota、image supply chain、監査logが別途必要です。
第五に、2026年8月4日の確認時点でGitHub repositoryはpublicかつMIT Licenseですが、正式なGitHub Releaseはありません。導入する場合はmain branchを直接追わず、commitとdependencyを固定するのが安全です。
結論。agentの知能だけでなく、働く場所を設計する
Orchardが示した最も重要な点は、agentic AIのscaleはmodel sizeだけでは決まらないことです。
環境を薄いserviceとして分離する。学習、評価、複数harnessで再利用する。失敗trajectoryも捨てずに次の学習と候補選択へ戻す。この循環が、小さいmodelでも現実的なagent taskへ近づく土台になります。
AIエージェントの改善が止まったとき、次のmodelを探す前に確認すべき質問があります。
「このagentが働く環境は、再利用でき、測定でき、片付けられる設計になっているか」
Orchardの答えは明快です。賢い作業員を増やすなら、まず作業台を共通化する。agent開発も、だいたい現場監督が強いです。
参照
- Microsoft Research: Orchard: An open framework for scalable agentic AI
- 論文: Orchard: An Open-Source Agentic Modeling Framework
- GitHub: microsoft/Orchard
- Hugging Face Dataset: microsoft/Orchard
【送料無料】マクロキーパッド、ストリームコントローラーデッキゲームストリーミングショートカットキーボード、18個のプログラム可能