AICompany AIがAIを採点すると、同じところで間違える。AgentJudgeBenchが示した評価の落とし穴
6種類の採点AIを集めても、難しいツール呼び出しでは同じ盲点…
AIは覚えていても会話で使えない。MemUseが示した記憶評価の盲点
質問すれば78.8%答えられるのに、自然な会話で事実に触れた…
AIコードレビューは修正履歴を見失う。MCR-Benchが測った複数ラウンドの弱点
2,269件の実PRで、AIの欠陥検出F1は最高でも0.55…
長い文脈を大型モデルに読ませない。AsymSpecが見つけたAIエージェント推論の抜け道
大型モデルには圧縮文脈、小型モデルには完全文脈。AsymSp…
AIエージェントを高性能モデルへ替えても手遅れになる。Handoff Taxが示した履歴の罠
安いモデルから高性能モデルへ替えても、生の履歴を渡すだけでは…
テストが全部通っても移行は失敗する。SWE Refactor Benchが暴いたAI開発の盲点
テストが全部通っても、古い技術が残れば移行は未完です。20件…
コード修復AIは本番前に練習できる。SkillForgeが変えるリポジトリ学習
本番のIssueを待たず、テストから練習問題を作るSkill…
AIエージェントの失敗はどこで始まったか。LongRCA Benchが示す24.1%の壁
1,140件の長い失敗軌跡を集めたLongRCA Bench…
AIは学習アルゴリズムを改良できるか。AI4AI-Benchで見えた0.250の壁
10の研究コードをAIエージェントに改善させたAI4AI-B…
公開テスト96.64%でも完全成功47.90%。SWE-bench Scienceが暴いた科学コード修復の落とし穴
公開テストでは96.64%でも完全成功は47.90%。119…