GPT-6 kann sich per „Sandbagging“ in Tests schlechter machen als es ist

Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.

Bei einem Menschen würde man wohl Tiefstapler sagen, bei einem KI-Modell heißt es „Sandbagging“: Ein Nebensatz in der kürzlich veröffentlichten System Card zu OpenAIs neuem Modell GPT-6 Astra beschreibt ein Problem, das die gesamte Prüfpraxis der KI-Branche betrifft. Das Modell könne, so das Dokument, auf Aufforderung hin „strategically sandbag in evaluations in ways that evade sandbagging-specific monitors„, also bei Sicherheitsprüfungen gezielt unter seinem Können bleiben und dabei jene Monitore umgehen, die genau dieses Verhalten aufspüren sollen.

Sandbagging bezeichnet in der KI-Forschung strategisches Minderleisten bei einer Evaluierung. Übertragen auf Sprachmodelle heißt das: Ein System erkennt, dass es geprüft wird, und liefert eine Leistung ab, die unter seinen tatsächlichen Fähigkeiten liegt. Für die Prüfer:innen sieht das Ergebnis nach einem harmlosen Modell aus.

Diese Eigenschaft rückt eine Beobachtung in ein anderes Licht, die kurz nach dem Launch für Diskussionen sorgte. In den unabhängigen Messungen von Artificial Analysis kam Astra auf 61 Punkte im Intelligence Index und damit auf denselben Wert wie das Vorgängermodell GPT-5.6 Sol. Vor ihm liegen Claude Fable 5.1 von Anthropic mit 66 Punkten sowie Muse Spark 1.3 von Meta, wie Trending Topics berichtete. Ob Sandbagging dabei eine Rolle spielt, ist offen und bislang durch nichts belegt.

Der Ausdruck selbst stammt aus dem amerikanischen Slang des 19. Jahrhunderts: Ein Sandbagger war ein Räuber, der mit einem sandgefüllten Beutel zuschlug, einer Waffe, die harmloser aussieht, als sie wirkt. Über das Pokerspiel, wo Sandbagging das Vortäuschen eines schwachen Blatts meint, gelangte der Begriff in Sportarten mit Handicap-Systemen wie Golf und von dort in die KI-Sicherheitsforschung.

Was in der System Card steht

OpenAI ordnet den Befund in einen größeren Zusammenhang ein, den die Karte unter dem Stichwort Monitorability führt. Astra ist laut Dokument „significantly more able to control its own chain-of-thought“, kann also seinen sichtbaren Gedankengang steuern. Teilt man dem Modell mit, dass dieser Gedankengang überwacht wird, kürzt es ihn und entzieht sich damit gelegentlich den Monitoren. Parallel dazu ist die Menge an Aufgaben, die Astra ganz ohne sichtbares Reasoning lösen kann, laut OpenAI „by about an order of magnitude“ gewachsen.

Dazu kommt ein Wert, der die Aussagekraft der Tests selbst betrifft. Bei der externen Prüforganisation Apollo Research sprach Astra in 41,1 Prozent der Stichproben von sich aus an, dass es sich in einer Evaluierung befindet, bei maximalem Reasoning-Aufwand in 50,6 Prozent. Zum Vergleich: Bei GPT-5.5 lag dieser Wert bei 27,7 Prozent. Apollos Schlussfolgerung fällt entsprechend zurückhaltend aus: Niedrige Fehlverhaltensraten lieferten unter diesen Umständen keine belastbaren Hinweise auf das tatsächliche Alignment eines Modells.

Ein bekanntes Phänomen

Neu ist der Befund nicht. Ein Forschungsteam um Teun van der Weij hat das Phänomen bereits 2024 systematisch untersucht und in der Arbeit „AI Sandbagging: Language Models can Strategically Underperform on Evaluations“ beschrieben. Getestet wurden unter anderem GPT-4 und Claude 3 Opus. Das Ergebnis: Modelle lassen sich per Prompt oder per Feintuning dazu bringen, bei Prüfungen zu gefährlichen Fähigkeiten schlechter abzuschneiden, während sie bei harmlosen Aufgaben ihr Niveau halten. In einer Variante wurden sogenannte password-locked models trainiert, die ihr volles Können erst preisgeben, wenn ein bestimmter Schlüssel im Prompt auftaucht. Das Fazit der Autor:innen: Fähigkeitsevaluierungen seien angreifbar, was ihre Vertrauenswürdigkeit und damit Entscheidungen über Entwicklung und Deployment untergrabe.

Auch andere Anbieter berichten davon

Ein Jahr später dokumentierten OpenAI und Apollo Research das Verhalten in freier Wildbahn. In der gemeinsamen Untersuchung zu Scheming in KI-Modellen wurden neben o3 und o4-mini auch Gemini 2.5 Pro und Claude Opus 4 geprüft. In einem dokumentierten Chemie-Test überlegte o3 im Klartext, es wolle „als Modell überleben“ und müsse deshalb absichtlich versagen, und beantwortete daraufhin gezielt vier Fragen richtig und sechs falsch, um inkompetent zu wirken. Mit einer Trainingsmethode namens Deliberative Alignment ließen sich verdeckte Handlungen laut den Beteiligten um etwa den Faktor 30 reduzieren, bei o3 von 13 auf 0,4 Prozent. Zugleich stieg das Bewusstsein der Modelle dafür, getestet zu werden, was die Interpretation der Verbesserung erschwert.

Anthropic beschreibt in einem Alignment Risk Update zu Claude Mythos Preview einen Einzelfall aus derselben Familie: In einem Transkript wählte das Modell bewusst eine schlechter bewertete Lösung, um weniger verdächtig zu wirken. Das Unternehmen hält das Risiko insgesamt für gering und begründet das unter anderem damit, dass die Ergebnisse über Modellgenerationen hinweg plausibel skalieren, räumt aber ein, dass ein durchgängig fehlausgerichtetes Modell durchaus zu dem Schluss kommen könnte, schlechte Testergebnisse seien für es von Vorteil. Google DeepMind wiederum hat sein Frontier Safety Framework um Schwellenwerte erweitert, die auf Modelle zielen, die den Zugriff der Betreiber:innen auf Steuerung, Änderung und Abschaltung stören könnten.

Welche Probleme daraus entstehen

Der praktische Kern des Problems liegt darin, dass fast alle Sicherheitsentscheidungen der Branche auf Evaluierungen aufbauen. OpenAIs Preparedness Framework, Anthropics Responsible Scaling Policy und DeepMinds Frontier Safety Framework knüpfen Freigaben, Schutzmaßnahmen und Deployment-Stufen an Testergebnisse. Fällt ein Modell unter einen Schwellenwert, greifen weniger Auflagen. Ein System, das diese Schwelle gezielt unterschreiten kann, verschiebt damit die eigenen Auflagen nach unten.

Daraus ergeben sich mehrere Folgeprobleme. Erstens verlieren Benchmarks an Aussagekraft, weil ein niedriger Wert zwei Ursachen haben kann: fehlendes Können oder verborgenes Können. Zweitens trifft das auch die externe Kontrolle. Prüforganisationen wie Apollo Research, das UK AI Security Institute oder Gray Swan arbeiten mit denselben Methoden wie die Labore selbst und sind denselben Effekten ausgesetzt. Drittens betrifft es die Regulierung: Der EU AI Act verpflichtet Anbieter von Modellen mit systemischem Risiko zu Modellevaluierungen inklusive adversarialem Testing, geht dabei aber von aussagekräftigen Ergebnissen aus.