返回 返回
模型邮件每日6条一手
Epoch AI与METR推出的新基准MirrorCode发现,表现最好的AI模型仅凭行为表现重建真实软件的正确率达56%,而约八个月前顶尖模型的正确率约为30%
Epoch AI和METR推出了MirrorCode，这是一个用于长周期编码任务的基准测试，AI代理必须在无法访问源代码的情况下复制现有软件的功能。AI解决方案通过匹配原始程序在端到端测试中的输出来进行评估。最强的AI模型在该基准测试中获得了56%的分数，该基准测试包括25个涵盖各种计算领域的目标程序。
已核实 2026-09-09
知情者可追踪为何重要
从软件行为重建软件是一项漫长而艰巨的工作，而人工智能在这方面正迅速改进。
更多模型
- AI模型如今已能在国际数学奥林匹克竞赛中夺金,但斯坦福《2026年AI指数报告》发现,它们在一项大多数孩子很早就掌握的任务上仍会出错。在ClockBench的180种表盘设计、720道题目测试中,表现最好的模型 GPT-5.4 High正确读出模拟时钟时间的比例仅为50.6%,而人类为90.1%
- 闭源与开源AI模型的性能差距在2024年一度几乎抹平后再度拉开。截至2026年3月，斯坦福《2026年AI指数》显示，Arena排行榜上顶尖闭源模型相对顶尖开源模型领先3.3%，高于2024年8月的0.5%
- 斯坦福大学2026年AI指数报告追踪AI模型在GPQA Diamond基准上的表现——这是一套专为抵抗谷歌搜索而设计的博士级化学和物理题。2025年,模型在该基准上的平均准确率达到93%,而专家人类验证者的基线为81.2%——AI模型现已在GPQA Diamond上超越博士级专家12个百分点