GPT-6 weiter hinter Fable 5.1 nach Überarbeitung des „Intelligence Index“

Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.

Der wohl meistbeachtete Vergleichsmaßstab für KI-Modelle bekommt ein Update. Artificial Analysis hat soeben Version 4.2 seines Intelligence Index vorgestellt, jener aggregierten Kennzahl, an der sich Labs, Investor:innen und Entwickler:innen orientieren, wenn sie die Leistungsfähigkeit von Sprachmodellen einordnen wollen.

Die Neuerungen zielen auf realistischere Aufgaben und auf einen höheren Anteil geheimer Testdaten. An der Spitze der Rangliste ändert sich dadurch allerdings nichts: Anthropics Claude Fable 5.1 führt weiterhin, OpenAIs GPT-6 Astra folgt auf Rang zwei. In der alten Version (4.1) sorgte das Ranking erst diese Woche für Aufregung, weil GPT-6 beim Launch von OpenAI-Vertretern als Beginn der AGI-Ära bezeichnet wurde; bei Artificial Analysis landete das neue LLM dann aber nur auf Platz 5.

Zwischenschritt vor Version 5

Das Analysehaus bezeichnet v4.2 selbst als Zwischenupdate. Seit dem Start von Index v4 im Jänner sind acht Monate vergangen, in denen das Team Änderungen bewusst zurückgehalten hat, um die Vergleichbarkeit über mehrere große Modellstarts hinweg zu erhalten. Weil sich die Frontier zuletzt schnell bewegt hat, zieht Artificial Analysis nun einzelne Bausteine der geplanten Version 5 vor. Weitere inkrementelle Releases sollen folgen.

Was neu im Index steckt

Zwei Benchmarks kommen hinzu, einer fällt weg.

• AA-Briefcase: Die hauseigene Evaluierung mit geheim gehaltenem Testset prüft Modelle an realistischer agentischer Wissensarbeit. Branchenexpert:innen haben dafür mehrwöchige Projekte konstruiert, die aus vielen miteinander verknüpften Teilaufgaben und tausenden Quelldateien bestehen. Bewertet wird über eine Kombination aus Rubriken und paarweisen Vergleichen, und zwar entlang von drei Achsen: nachweisbarer Aufgabenerfolg, analytische Qualität und Qualität der Aufbereitung.
• GDP.pdf: Der von Surge AI entwickelte Test misst das Verständnis professioneller Dokumente über 100 PDFs aus zehn Branchen hinweg. Die Modelle müssen Belege aus insgesamt 4.592 Seiten zusammenführen, inklusive Text, Tabellen, Diagrammen, Fußnoten und Ausschlüssen. Die Antworten werden gegen 1.275 von Expert:innen formulierte Einzelkriterien geprüft, und die Leitkennzahl All-pass Rate zählt eine Aufgabe nur dann als gelöst, wenn sämtliche Kriterien erfüllt sind.
• GPQA Diamond: Der Test für wissenschaftliches Reasoning fliegt aus dem Index, weil er inzwischen gesättigt ist und kaum noch zwischen Spitzenmodellen differenziert.

Dazu kommt eine strukturelle Änderung: 40 Prozent der Indexgewichtung entfallen jetzt auf private, zurückgehaltene Testsets, doppelt so viel wie in v4.1. Neben AA-Briefcase zählen dazu AA-Omniscience sowie die Lösungen für CritPt. Damit soll es für Labs schwieriger werden, gezielt auf Benchmarks hin zu optimieren. Für Version 5 kündigt Artificial Analysis eine weitere Erhöhung dieses Anteils an.

Auch an der Bewertungsinfrastruktur wurde geschraubt. AA-LCR liegt in Version 1.1 mit eigenem Grading-System-Prompt und bereinigten Antwortschlüsseln vor, bei GDPval-AA v2 und AA-Briefcase wurde das Sampling verbessert und die Elo-Skala neu verankert, damit Ratings stabil bleiben, wenn neue Modelle dazukommen. Bei SciCode wurde die Sandbox robuster gemacht, sodass langsamer, aber korrekter Code nicht mehr als Fehlschlag gewertet wird.

Anthropic vorn, OpenAI dahinter

Am oberen Ende der Tabelle bleibt es bei der bekannten Reihenfolge. Claude Fable 5.1 führt den Index an, das Modell war kürzlich als bislang leistungsfähigstes und zugleich teureres Angebot von Anthropic gestartet. Dahinter liegt GPT-6 Astra, das gegenüber dem Vorgänger GPT-5.6 Sol um vier Punkte zulegt. Der Abstand zur Spitze bleibt damit bestehen, obwohl OpenAI das Modell beim Start als Schritt in Richtung AGI positioniert hatte. Schon unmittelbar nach der Veröffentlichung war Astra in den Benchmarks hinter den Spitzenmodellen von Anthropic und Meta gelandet, daran ändert auch die überarbeitete Methodik nichts.

Als drittplatziertes Lab führt Artificial Analysis Meta, dahinter folgen SpaceXAI, Moonshot mit Kimi, Z.AI und Google.

Stärken in den Einzeldisziplinen

Ein differenzierteres Bild ergibt sich beim Blick auf die neuen Teiltests.

• AA-Briefcase: Hier liegen Claude Fable 5.1 und Opus 5 vorn, dahinter GPT-6 Astra und Muse Spark 1.3. Astra verbessert sich gegenüber GPT-5.6 Sol um rund 85 Elo-Punkte, ein deutlicher Sprung bei agentischer Wissensarbeit.
• GDP.pdf: In der Dokumentenanalyse dreht sich das Verhältnis. OpenAI führt mit GPT-6 Astra bei 33,2 Prozent, GPT-5.6 Sol kommt auf 28,2 Prozent, Claude Fable 5.1 auf 26,2 Prozent. Die niedrigen Absolutwerte zeigen, wie hart das Kriterium ist, alle Teilanforderungen einer Aufgabe zu erfüllen.
• Kosten: Die aktualisierte Pareto-Front bei den Kosten pro Aufgabe teilen sich vier Labs, nämlich Anthropic, OpenAI, Meta und Z.AI.
• Token-Effizienz: GPT-6 Astra dominiert die Output-Token-Front und arbeitet damit sparsamer als fast jedes andere Modell nahe der Intelligenz-Frontier. An den Enden der Kurve liegen Claude Fable 5.1, Grok 4.5 und Gemini 3.5 Flash-Lite, wobei Modelle unter 25 Indexpunkten ausgenommen sind.

Für die Praxis bedeutet das: Wer agentische Projektarbeit über viele verknüpfte Schritte braucht, findet die stärksten Ergebnisse derzeit bei Anthropic. Wer große Dokumentenbestände auswerten oder auf Token-Kosten achten will, hat mit GPT-6 Astra ein starkes Argument in der Hand. Die Details zur Methodik hat Artificial Analysis in seiner Benchmarking-Dokumentation veröffentlicht.