Los benchmarks de IA suelen evaluar un solo modelo en una sola ejecución, pero un nuevo estudio con 21 LLM en 16 benchmarks —programación, razonamiento, medicina y tareas agénticas— halló que, corrigiendo el sesgo de modelo único y ejecución única, el rendimiento realmente alcanzable es un 82% superior a las puntuaciones de referencia de un solo modelo

Un estudio publicado en arXiv por Fowler et al. examinó 21 grandes modelos de lenguaje (LLM) en 16 puntos de referencia que cubren tareas como codificación, razonamiento y medicina. El estudio introdujo la "Frontera de Capacidad" (Capability Frontier) para corregir la subestimación de la evaluación de un solo modelo y la sobreestimación de muestras ruidosas. Encontró que corregir los sesgos de un solo modelo y de una sola ejecución revela una mejora del 82 % en el rendimiento alcanzable en comparación con las puntuaciones de referencia estándar de un solo modelo.