Epoch AI legt einen Trend durch jene Modelle, deren Kontextfenster am Tag ihrer Veröffentlichung zu den zehn längsten zählten, und findet, dass das Kontextfenster an der Spitze seit Mitte 2023 jedes Jahr rund 30-mal so lang wird wie im Vorjahr

Epoch AI analysierte die Kontextfenstergrößen von großen Sprachmodellen (LLMs), die sich auf die Anzahl der Tokens beziehen, die ein LLM pro Abfrage aufnehmen kann. Sie identifizierten Modelle mit den zehn längsten Kontextfenstern zum Zeitpunkt ihrer Veröffentlichung und passten ein lineares Modell an diese Daten an. Diese Analyse zeigt, dass das Frontier-Kontextfenster seit Mitte 2023 jährlich um etwa das 30-fache erweitert wurde.