返回 返回
模型邮件每日6条一手
arXiv发布的一项新的长周期软件工程任务基准测试,每项任务都是在单一代码库上的一系列依赖步骤,研究发现在九个前沿模型中,表现最强的模型解决率仅为18.5%,其69项任务中有38项未被任何模型解决
Xiangkai Zeng、Zheng Liu 和 Zihao Lin 在他们于 2026 年 11 月 4 日提交至 arXiv:2611.07166 的论文《多步 SWE:编码代理能否在长期内持续构建自己的代码?》中测量了 18.5% 的解决率以及 69 项任务中有 38 项未被任何模型解决的事实。这些数字代表了九个前沿模型中最强模型在多步 SWE 基准测试上的表现,该基准测试包含 69 项软件工程任务。
已核实 2026-11-09
知情者可追踪为何重要
多步骤工程任务的低成功率表明,即使是前沿模型在处理真实软件项目所需的持续推理能力方面仍然存在困难。
更多模型
- AI模型如今已能在国际数学奥林匹克竞赛中夺金,但斯坦福《2026年AI指数报告》发现,它们在一项大多数孩子很早就掌握的任务上仍会出错。在ClockBench的180种表盘设计、720道题目测试中,表现最好的模型 GPT-5.4 High正确读出模拟时钟时间的比例仅为50.6%,而人类为90.1%
- 闭源与开源AI模型的性能差距在2024年一度几乎抹平后再度拉开。截至2026年3月,斯坦福《2026年AI指数》显示,Arena排行榜上顶尖闭源模型相对顶尖开源模型领先3.3%,高于2024年8月的0.5%
- 斯坦福大学2026年AI指数报告追踪AI模型在GPQA Diamond基准上的表现——这是一套专为抵抗谷歌搜索而设计的博士级化学和物理题。2025年,模型在该基准上的平均准确率达到93%,而专家人类验证者的基线为81.2%——AI模型现已在GPQA Diamond上超越博士级专家12个百分点