Der neue MirrorCode-Benchmark von Epoch AI und METR ergab, dass das beste KI-Modell echte Software allein anhand ihres Verhaltens in 56 % der Fälle korrekt nachbaute, gegenüber rund 30 % bei führenden Modellen etwa acht Monate zuvor
Epoch AI und METR führten MirrorCode ein, einen Benchmark für langwierige Kodierungsaufgaben, bei denen KI-Agenten die Funktionalität bestehender Software ohne Zugriff auf deren Quellcode replizieren müssen. Die KI-Lösungen werden bewertet, indem sie die Ausgabe des Originalprogramms bei End-to-End-Tests abgleichen. Das stärkste KI-Modell erreichte 56 % über den Benchmark, der 25 Zielprogramme aus verschiedenen Computerbereichen umfasst.
Geprüft 2026-09-09
Mit Insider verfolgenWarum das zählt
Software aus ihrem Verhalten neu aufzubauen ist eine lange, harte Arbeit, und KI verbessert sich dabei schnell.
Mehr zu Modelle
- KI-Modelle können inzwischen Gold bei der Internationalen Mathematikolympiade gewinnen, doch Stanfords AI Index 2026 zeigt, dass sie an einer Aufgabe scheitern, die die meisten Kinder früh beherrschen. Bei den 180 Zifferblatt-Designs und 720 Fragen von ClockBench las das beste Modell, GPT-5.4 High, analoge Uhren nur in 50,6 % der Fälle korrekt ab, gegenüber 90,1 % bei Menschen
- Nachdem die Lücke 2024 kurz fast geschlossen war, hat sich der Leistungsabstand zwischen den besten Closed-Weight- und Open-Weight-KI-Modellen auf dem Arena-Leaderboard wieder vergrößert. Stand März 2026 führt laut Stanfords 2026 AI Index das beste Closed-Modell das beste Open-Modell um 3,3 %, gegenüber einem Vorsprung von 0,5 % im August 2024
- Stanfords KI-Index 2026 verfolgt, wie KI-Modelle bei GPQA Diamond abschneiden, einem Satz von Chemie- und Physikfragen auf Doktorandenniveau, die bewusst so gestaltet sind, dass Google-Suchen nicht weiterhelfen. Die mittlere Modellgenauigkeit bei diesem Benchmark erreichte 2025 93 %, verglichen mit einer Basislinie menschlicher Expertenvalidierer von 81,2 % -- KI-Modelle schlagen promovierte Experten nun um 12 Punkte bei GPQA Diamond
KOSTENLOS · KEINE KARTE
Fakten wie diese, sechs Tage die Woche
The Daily Receipts an Werktagen, The Weekly Brief am Samstag — sechs belegte Fakten pro Tag per E-Mail, zwei mehr als die kostenlose Website zeigt. Jeder bis zur Quelle belegt. Kostenlos.
Tägliches Gratis-Briefing holenKostenlos · Keine Karte · Jederzeit abbestellbar
Treten Sie jetzt bei, und Sie starten mit 100 Receipts in The Receipts Ledger — Ihr erster Schritt zu einem kostenlosen Jahr Insider oder Pro. So funktioniert es →
Die heutige Ausgabe ansehen →