返回 返回
模型邮件每日6条一手
AI基准测试通常只对单个模型的单次运行打分,但一项覆盖21个大语言模型、16项基准测试(涵盖编程、推理、医学和智能体任务)的新研究发现,若同时修正单模型偏差和单次运行偏差,真实可达到的性能 比标准单模型基准分数高82%
Fowler 等人于2026年在 arXiv 上发表的一项研究，检查了21个大型语言模型 (LLM) 在16个基准测试中的表现，涵盖了编码、推理和医学等任务。该研究引入了“能力前沿”（Capability Frontier）来纠正单模型评估的低估和嘈杂样本的过高估计。研究发现，纠正单模型和单次运行偏差后，可实现性能比标准单模型基准分数提高了82%。
已核实 2026-09-13
知情者可追踪为何重要
标准测试可能低估了人工智能的能力，因此单一基准分数充其量只是一个粗略的指导。
更多模型
- AI模型如今已能在国际数学奥林匹克竞赛中夺金,但斯坦福《2026年AI指数报告》发现,它们在一项大多数孩子很早就掌握的任务上仍会出错。在ClockBench的180种表盘设计、720道题目测试中,表现最好的模型 GPT-5.4 High正确读出模拟时钟时间的比例仅为50.6%,而人类为90.1%
- 闭源与开源AI模型的性能差距在2024年一度几乎抹平后再度拉开。截至2026年3月，斯坦福《2026年AI指数》显示，Arena排行榜上顶尖闭源模型相对顶尖开源模型领先3.3%，高于2024年8月的0.5%
- 斯坦福大学2026年AI指数报告追踪AI模型在GPQA Diamond基准上的表现——这是一套专为抵抗谷歌搜索而设计的博士级化学和物理题。2025年,模型在该基准上的平均准确率达到93%,而专家人类验证者的基线为81.2%——AI模型现已在GPQA Diamond上超越博士级专家12个百分点