Un nuevo benchmark de arXiv de tareas largas de ingeniería de software, cada una una cadena de pasos dependientes en una única base de código, encontró que entre nueve modelos de frontera el más fuerte alcanzó una tasa de resolución de solo 18,5 %, y 38 de sus 69 tareas no fueron resueltas por ningún modelo
La tasa de resolución del 18,5 % y el hecho de que 38 de 69 tareas no fueron resueltas por ningún modelo fueron medidos por Xiangkai Zeng, Zheng Liu y Zihao Lin en su artículo "Multi-step SWE: Can Coding Agents Keep Building on Their Own Code Over Long Horizons?" presentado el 4 de noviembre de 2026 en arXiv:2611.07166. Estos números representan el rendimiento del más fuerte de nueve modelos de vanguardia en el benchmark Multi-step SWE, que consta de 69 tareas de ingeniería de software.
Verificado 2026-11-09
Síguelo con IniciadoPor qué importa
The low success rate on multi-step engineering tasks reveals that even frontier models still struggle with the kind of sustained reasoning real software projects demand.
Esta frase está en inglés, el idioma en el que se escribió.
Más sobre Modelos
- Los modelos de IA ya pueden ganar el oro en la Olimpiada Internacional de Matemáticas, pero el AI Index 2026 de Stanford halló que aún fallan en una tarea que la mayoría de los niños dominan pronto. En los 180 diseños de reloj y 720 preguntas de ClockBench, el mejor modelo, GPT-5.4 High, leyó correctamente relojes analógicos solo el 50,6 % de las veces, frente al 90,1 % de los humanos
- Tras casi cerrarse brevemente en 2024, la brecha de rendimiento entre los mejores modelos de IA de pesos cerrados y abiertos volvió a ampliarse en el ranking Arena. A marzo de 2026, el AI Index 2026 de Stanford encuentra que el mejor modelo cerrado lidera al mejor modelo abierto por un 3,3 %, frente a una ventaja del 0,5 % en agosto de 2024
- El Índice de IA 2026 de Stanford hace seguimiento del desempeño de los modelos de IA en GPQA Diamond, un conjunto de preguntas de química y física de nivel doctoral diseñadas para resistir las búsquedas en Google. La precisión media de los modelos en esta prueba alcanzó el 93 % en 2025, frente a una referencia de validadores humanos expertos de 81,2 % -- los modelos de IA ya superan a los expertos con doctorado por 12 puntos en GPQA Diamond
GRATIS · SIN TARJETA
Datos como este, seis días a la semana
The Daily Receipts entre semana, The Weekly Brief los sábados — seis datos con fuente al día por email, dos más que la web gratuita. Cada uno trazado hasta el documento del que salió. Gratis.
Quiero el brief diario gratisGratis · Sin tarjeta · Date de baja cuando quieras
Únete ahora y empiezas con 100 Receipts en The Receipts Ledger — tu primer paso hacia un año gratis de Iniciado o Pro. Cómo funciona →
Ver la edición de hoy →