El nuevo banco de pruebas MirrorCode de Epoch AI y METR halló que el mejor modelo de IA reconstruyó correctamente software real solo a partir de su comportamiento en el 56% de los casos, frente a cerca del 30% de los modelos líderes unos ocho meses antes El mejor modelo de IA resuelve el 56% de las pruebas de programación más duras de Epoch AI, frente al 30% hace 8 meses
Epoch AI y METR introdujeron MirrorCode, un benchmark para tareas de codificación de largo horizonte donde los agentes de IA deben replicar la funcionalidad del software existente sin acceso a su código fuente. Las soluciones de IA se evalúan haciendo coincidir la salida del programa original en pruebas de extremo a extremo. El modelo de IA más fuerte obtuvo un 56% en el benchmark, que incluye 25 programas objetivo que abarcan varias áreas de computación.
Verificado 2026-09-09
Síguelo con IniciadoPor qué importa
Reconstruir software a partir de cómo se comporta es un trabajo largo y difícil, y la IA está mejorando rápidamente en ello.
Más sobre Modelos
- Los modelos de IA ya pueden ganar el oro en la Olimpiada Internacional de Matemáticas, pero el AI Index 2026 de Stanford halló que aún fallan en una tarea que la mayoría de los niños dominan pronto. En los 180 diseños de reloj y 720 preguntas de ClockBench, el mejor modelo, GPT-5.4 High, leyó correctamente relojes analógicos solo el 50,6 % de las veces, frente al 90,1 % de los humanos
- Tras casi cerrarse brevemente en 2024, la brecha de rendimiento entre los mejores modelos de IA de pesos cerrados y abiertos volvió a ampliarse en el ranking Arena. A marzo de 2026, el AI Index 2026 de Stanford encuentra que el mejor modelo cerrado lidera al mejor modelo abierto por un 3,3 %, frente a una ventaja del 0,5 % en agosto de 2024
- El Índice de IA 2026 de Stanford hace seguimiento del desempeño de los modelos de IA en GPQA Diamond, un conjunto de preguntas de química y física de nivel doctoral diseñadas para resistir las búsquedas en Google. La precisión media de los modelos en esta prueba alcanzó el 93 % en 2025, frente a una referencia de validadores humanos expertos de 81,2 % -- los modelos de IA ya superan a los expertos con doctorado por 12 puntos en GPQA Diamond
GRATIS · SIN TARJETA
Datos como este, seis días a la semana
The Daily Receipts entre semana, The Weekly Brief los sábados — seis datos con fuente al día por email, dos más que la web gratuita. Cada uno trazado hasta el documento del que salió. Gratis.
Quiero el brief diario gratisGratis · Sin tarjeta · Date de baja cuando quieras
Únete ahora y empiezas con 100 Receipts en The Receipts Ledger — tu primer paso hacia un año gratis de Iniciado o Pro. Cómo funciona →
Ver la edición de hoy →