Ein neuer arXiv-Benchmark für langwierige Software-Engineering-Aufgaben, bei denen jede eine Kette abhängiger Schritte an einer einzigen Codebasis darstellt, ergab, dass über neun Frontier-Modelle hinweg das stärkste nur eine Lösungsrate von 18,5 % erreichte, und 38 seiner 69 Aufgaben wurden von keinem Modell gelöst
Die Lösungsrate von 18,5 % und die Tatsache, dass 38 von 69 Aufgaben von keinem Modell gelöst wurden, wurden von Xiangkai Zeng, Zheng Liu und Zihao Lin in ihrem am 4. November 2026 bei arXiv:2611.07166 eingereichten Papier „Multi-step SWE: Can Coding Agents Keep Building on Their Own Code Over Long Horizons?“ gemessen. Diese Zahlen repräsentieren die Leistung des stärksten von neun führenden Modellen auf dem Multi-step SWE-Benchmark, der aus 69 Software-Engineering-Aufgaben besteht.
Geprüft 2026-11-09
Mit Insider verfolgenWarum das zählt
Die niedrige Erfolgsrate bei mehrstufigen Engineering-Aufgaben zeigt, dass selbst Frontier-Modelle noch Schwierigkeiten mit der Art von anhaltendem Denken haben, die echte Softwareprojekte erfordern.
Mehr zu Modelle
- KI-Modelle können inzwischen Gold bei der Internationalen Mathematikolympiade gewinnen, doch Stanfords AI Index 2026 zeigt, dass sie an einer Aufgabe scheitern, die die meisten Kinder früh beherrschen. Bei den 180 Zifferblatt-Designs und 720 Fragen von ClockBench las das beste Modell, GPT-5.4 High, analoge Uhren nur in 50,6 % der Fälle korrekt ab, gegenüber 90,1 % bei Menschen
- Nachdem die Lücke 2024 kurz fast geschlossen war, hat sich der Leistungsabstand zwischen den besten Closed-Weight- und Open-Weight-KI-Modellen auf dem Arena-Leaderboard wieder vergrößert. Stand März 2026 führt laut Stanfords 2026 AI Index das beste Closed-Modell das beste Open-Modell um 3,3 %, gegenüber einem Vorsprung von 0,5 % im August 2024
- Stanfords KI-Index 2026 verfolgt, wie KI-Modelle bei GPQA Diamond abschneiden, einem Satz von Chemie- und Physikfragen auf Doktorandenniveau, die bewusst so gestaltet sind, dass Google-Suchen nicht weiterhelfen. Die mittlere Modellgenauigkeit bei diesem Benchmark erreichte 2025 93 %, verglichen mit einer Basislinie menschlicher Expertenvalidierer von 81,2 % -- KI-Modelle schlagen promovierte Experten nun um 12 Punkte bei GPQA Diamond
KOSTENLOS · KEINE KARTE
Fakten wie diese, sechs Tage die Woche
The Daily Receipts an Werktagen, The Weekly Brief am Samstag — sechs belegte Fakten pro Tag per E-Mail, zwei mehr als die kostenlose Website zeigt. Jeder bis zur Quelle belegt. Kostenlos.
Tägliches Gratis-Briefing holenKostenlos · Keine Karte · Jederzeit abbestellbar
Treten Sie jetzt bei, und Sie starten mit 100 Receipts in The Receipts Ledger — Ihr erster Schritt zu einem kostenlosen Jahr Insider oder Pro. So funktioniert es →
Die heutige Ausgabe ansehen →