GPT-6 Astra liegt in Benchmarks hinter Top-Modellen von Anthropic

Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.

OpenAI hat sein neues Flaggschiff GPT-6 Astra soeben veröffentlicht und dabei einen Anspruch formuliert, der weit über ein übliches Modell-Update hinausgeht. „Welcome to the AGI era“, sagte Präsident Greg Brockman zum Abschluss des Briefings, in dem er auch die Frage aufwarf, ob es sich bei Astra bereits um eine Artificial General Intelligence handle (mehr dazu hier). Die erste unabhängige Vermessung des Modells durch das Analysehaus Artificial Analysis zeichnet ein nüchterneres Bild: In den beiden Leitindizes liegt GPT-6 Astra gleichauf mit der eigenen Vorgängergeneration und hinter den Spitzenmodellen von Anthropic sowie hinter Metas kürzlich vorgestelltem Muse Spark 1.3.

Artificial Analysis mit Sitz in San Francisco versteht sich als unabhängiges Benchmarking-Haus für die KI-Branche und vermisst nach eigenen Angaben mehr als 500 Modelle, über 100 Inference-Anbieter und mehr als 1.000 Endpoints. Die Firma testet jedes Modell mit einer festen Serie von Evaluierungen und fasst die Einzelergebnisse zu Indizes zusammen: Der Intelligence Index bündelt Aufgaben aus Mathematik, Naturwissenschaften, Programmierung, Reasoning über lange Dokumente und Faktenwissen, der Coding Agent Index misst Modelle innerhalb der jeweiligen Agenten-Umgebungen wie Codex, Claude Code oder Muse Code. Erfasst werden dabei auch Token-Verbrauch, Kosten pro Aufgabe und Geschwindigkeit, was Vergleiche zwischen den Anbietern über den reinen Score hinaus ermöglicht. Die Methodik ist öffentlich dokumentiert, die Tests laufen ohne Beteiligung der Modellanbieter.

Intelligence Index: 61 Punkte, fünf hinter Anthropic

Im Artificial Analysis Intelligence Index erreicht GPT-6 Astra 61 Punkte und damit exakt den Wert von GPT-5.6 Sol. Claude Fable 5.1 von Anthropic liegt mit 66 Punkten (max with fallback) fünf Punkte darüber, auch Muse Spark 1.3 von Meta (max) rangiert vor dem OpenAI-Modell). Anthropic hatte die Spitze des Index erst vor wenigen Tagen mit Fable 5.1 übernommen, Meta war einen Tag vor dem OpenAI-Launch an die Frontier herangerückt.

Deutlich besser fällt das Ergebnis im Artificial Analysis Coding Agent Index aus. Dort kommt GPT-6 Astra in der Codex-Umgebung auf 67 Punkte und liegt damit ungefähr auf dem Niveau von Claude Opus 5 und Fable 5 in Claude Code sowie von Muse Spark 1.3 in Muse Code. Die Führung hält weiterhin Fable 5.1 in Claude Code mit 70 Punkten.

Preis steigt um das 2,5-Fache

Ein zentraler Befund der Analyse betrifft die Kosten. OpenAI hebt die Preise gegenüber GPT-5.6 Sol um das 2,5-Fache an, von 4 auf 10 US-Dollar je Million Input-Token und von 20 auf 50 US-Dollar je Million Output-Token. Der Rabatt von 90 Prozent auf Cache-Reads und der Aufschlag von 25 Prozent auf Cache-Writes bleiben unverändert.

Gegengerechnet wird die Preiserhöhung durch einen spürbaren Sprung bei der Token-Effizienz. In der Codex-Umgebung benötigt Astra rund ein Drittel der Token von GPT-5.6 Sol (max) und etwa ein Fünftel der Token von Claude Opus 5 (xhigh). Verschiedene Effort-Stufen des Modells besetzen laut Artificial Analysis die Pareto-Front der Token-Effizienz. Für Coding-Agenten ergibt sich daraus ein günstiges Verhältnis: Bei maximalem Effort kostet Astra pro Aufgabe etwa so viel wie GPT-5.6 Sol (max), erreicht dabei aber zwei Indexpunkte mehr, und liegt bei gleichem Score bei weniger als der Hälfte der Kosten von Claude Fable 5.

Im Intelligence Index fällt die Rechnung anders aus. Dort spart Astra bei maximalem Effort rund 10 Prozent an Output-Token gegenüber dem Vorgänger, was die Preiserhöhung nur teilweise auffängt. Pro Aufgabe ist das Modell dadurch um 75 Prozent teurer als GPT-5.6 Sol.

Halluzinationsrate halbiert

Als deutlichsten Fortschritt weist Artificial Analysis das Abschneiden in AA-Omniscience aus, dem Wissens- und Halluzinations-Benchmark des Hauses. Die Halluzinationsrate sinkt bei maximalem Effort von 92 auf 51 Prozent, gleichzeitig steigt die Genauigkeit um vier Punkte. Bei vielen anderen Modellen ging ein Rückgang der Halluzinationen bislang zulasten der Trefferquote.

Gemischt fällt das Bild bei der agentischen Wissensarbeit aus. In AA-Briefcase, einer Evaluierung über mehrwöchige Projekte mit vielen verknüpften Aufgaben und tausenden Quelldateien, legt Astra rund 80 Elo-Punkte zu und verbessert sowohl die Rubric-Scores als auch die Analytical Quality Elo. Bei der Presentation Quality Elo geht es zurück, hier führt weiterhin GPT-5.6 Sol (max) das Feld an. In GDPval-AA v2, einem von OpenAI-Daten abgeleiteten Benchmark für wirtschaftlich wertvolle Aufgaben aus 44 Berufen, verliert das Modell etwa 80 Elo-Punkte.

Weitere Einzelergebnisse: In Humanity’s Last Exam mit Schwerpunkt auf Mathematik, Naturwissenschaften und Geisteswissenschaften legt Astra sechs Punkte zu. Rückgänge von zwei bis drei Punkten verzeichnet Artificial Analysis in τ³-Banking (Kundenservice), SciCode (Python-Aufgaben im wissenschaftlichen Kontext) und AA-LCR (Reasoning über lange Dokumente).

Das reicht nicht für AGI

Für Entwickler:innen und Unternehmen ergibt sich daraus eine differenzierte Lage: Im Agenten-Coding liefert GPT-6 Astra ein starkes Preis-Leistungs-Verhältnis, bei der reinen Modellintelligenz bleibt der Abstand zu Anthropic bestehen, während die API-Kosten steigen. OpenAI hatte das Modell mit dem bisher größten Trainingslauf des Unternehmens auf mehr als 100.000 GPUs im Stargate-Rechenzentrum in Texas entwickelt und es zugleich erstmals als „critical“ in der eigenen Cybersecurity-Einstufung geführt (Trending Topics).

Ob das für den Beginn einer AGI-Ära reicht, ist anzuzweifeln und ins Reich des Marketing zu schieben. Die Benchmark-Tabellen von Artificial Analysis haben dafür jedenfalls keine Bestätigung.