テストを通っても3件に1件はレビュー失格。SWE-Gateが示したコードエージェント評価の盲点
AICompany 機能テストを通ったAIの修正でも、34.3%がレビュー由来の…
AI活用 / 業務効率化
エージェント評価の途中打ち切りで入力トークンを最大44.1%削減。EarlyEvalが変える改善ループ
AIエージェントの途中経過から成功と失敗を予測し、開発中の評…
3回の開発ループでゲーム品質が49.58から71.52へ。Harness-of-Harnessが変えた長期AI開発
長期開発は、同じエージェントを長く動かすだけでは前へ進みませ…
採点表を二度使うと8Bモデルは平均4.8ポイント伸びた。PaperGymの研究計画AI
研究計画には一つの正解がありません。PaperGymは問題と…
「これ直して」だけではAIは6.4ポイント落ちる。RealSWEが暴いた実務プロンプトの弱点
同じ381タスクでも、現実らしい短い依頼ではコーディングAI…
AIがAIを採点すると、同じところで間違える。AgentJudgeBenchが示した評価の落とし穴
6種類の採点AIを集めても、難しいツール呼び出しでは同じ盲点…
AIは覚えていても会話で使えない。MemUseが示した記憶評価の盲点
質問すれば78.8%答えられるのに、自然な会話で事実に触れた…
AIコードレビューは修正履歴を見失う。MCR-Benchが測った複数ラウンドの弱点
2,269件の実PRで、AIの欠陥検出F1は最高でも0.55…
長い文脈を大型モデルに読ませない。AsymSpecが見つけたAIエージェント推論の抜け道
大型モデルには圧縮文脈、小型モデルには完全文脈。AsymSp…
AIエージェントを高性能モデルへ替えても手遅れになる。Handoff Taxが示した履歴の罠
安いモデルから高性能モデルへ替えても、生の履歴を渡すだけでは…