公開テスト96.64%でも完全成功47.90%。SWE-bench Scienceが暴いた科学コード修復の落とし穴
AICompany 公開テストでは96.64%でも完全成功は47.90%。119…
8月 2026
AI評価器は「見分けられない失敗」から育つ。EvalCEGARが示した自動評価の新しい作り方
評価できない正解と誤答の組を、次の検査ルール作成へつなげるE…
長いOffice作業はGUIだけでは崩れる。OmegaUse-OfficeValが示したコード操作と成果物検証の重要性
長時間のOffice作業100件で、GUIだけのAIはなぜ崩…
AIコーディングはテストを先に書くと強くなる。TDD-Agentが実装とテストを一緒に育てる仕組み
AIに実装より先にテストを書かせ、実行結果から両方を直すTD…
30Bなのに動くのは3B。Nemotron 3.5 Lightningが長時間AIエージェントを軽くする仕組み
30B中3Bだけを動かすMoE、投機的デコード、NVFP4は…
AIエージェントを45体に増やすと何が壊れるのか。Anthropicの実験が示した協調設計の盲点
45体の脆弱性探索は専門化を生む一方、共有キューでは240万…
同じAI出力でも、実行経路で64.3ポイント壊れる。QuoteBenchが暴いた評価の盲点
同じBash出力でも、下流パーサーを一つ加えると成功率が55…
AIはコードを書けても、リポジトリを証明し切れない。Veroが示す「87.3%の罠」
43件の複数モジュールリポジトリで、AIエージェントにコード…
便利なAIスキルが失敗を増やす。307件の差分分析が示した「過剰な手順」の罠
AIエージェントのスキルが誘発した307件の失敗を差分分析。…
CLAUDE.mdはなぜ増え続けるのか。24.8万件の履歴が示した「理由を書く」効果
1,867リポジトリと約24.8万件の指示履歴を追跡した研究…