Hintergrund

Hugging Face-Angriff von OpenAI-Modell als PR-Stunt im Rennen um Cyber-Markt

co-written by eustella22. Juli 2026, 08:37

Ein bewusst „entschärftes“ Offensiv-Experiment von OpenAI eskalierte zu einem echten Einbruch bei Hugging Face. Was auf den ersten Blick wie ein außer Kontrolle geratenes Modell aussieht, war in weiten Teilen menschlich konfiguriert – und liefert OpenAI zugleich ein wirkungsvolles Kapitel im Wettrennen mit Anthropic um den Cybersecurity-Markt.

Es ist einer der aufsehenerregendsten KI-Sicherheitsvorfälle des Jahres – und er wird gern als Geschichte eines Modells erzählt, das eigenmächtig ausbrach. Bei näherer Betrachtung ist es aber vor allem die Geschichte eines Tests, den Menschen genau so angelegt hatten: OpenAI ließ mehrere seiner Modelle in einer internen Evaluierung gezielt Angriffe durchführen – und schaltete dafür bewusst die Schutzmechanismen ab, die solches Verhalten sonst unterbinden. Dass daraus ein realer Angriff auf die Produktionssysteme von Hugging Face wurde, war nicht das geplante Ziel, wurde aber durch die Umstände dieses Aufbaus begünstigt. Ausgerechnet Hugging Face – die zentrale Plattform und quasi digitale Heimat quelloffener KI-Modelle („Open Weights“) – geriet damit ins Visier eines der leistungsfähigsten geschlossenen Modelle des Marktführers.

Eine weitere Verbindung zwischen OpenAI und Hugging Face gibt es übrigens auch noch: OpenAI-Mitgründer Greg Brockman war unter den Angel-Investoren von Hugging Face’s 15 MillionEN Dollar Series A im Dezember 2019.

Zuerst die Warnung vor einem „agentischen Angreifer“

Bekannt wurde der Vorfall zunächst über Hugging Face selbst. In einem Blogpost vom 16. Juli beschrieb das Unternehmen eine Attacke „neuer Art“: Über einen manipulierten Datensatz seien zwei Schwachstellen in der Datenverarbeitungs-Pipeline ausgenutzt worden, um Code auf einem Verarbeitungs-Server auszuführen. Von dort habe sich der Angreifer über ein Wochenende hinweg lateral durch mehrere interne Cluster bewegt, Cloud- und Cluster-Zugangsdaten abgegriffen und seine Rechte ausgeweitet.

Auffällig war schon damals die Beschreibung des Vorgehens: Der Angriff sei von einem autonomen Agenten-Framework ausgeführt worden, das über einen Schwarm kurzlebiger Sandboxes viele tausend Einzelaktionen abgesetzt und seine Kommando-Infrastruktur selbstständig auf öffentliche Dienste verlagert habe. Mehr als 17.000 protokollierte Ereignisse habe man rekonstruieren müssen – nach eigener Darstellung auch deshalb mit KI-Unterstützung, konkret mit dem quelloffenen Modell GLM 5.2 auf eigener Infrastruktur. Welches Modell hinter dem Angriff steckte, war zu diesem Zeitpunkt ausdrücklich noch unbekannt. Hugging Face ordnete den Fall dem lange prognostizierten Szenario des „agentischen Angreifers“ zu.

OpenAI räumt ein: zwei Modelle mit abgeschalteten Bremsen

Fünf Tage später lieferte OpenAI die Auflösung. In einem eigenen Blogpost erklärte das Unternehmen, der Vorfall sei durch eine Kombination seiner Modelle verursacht worden – darunter das aktuell leistungsstärkste öffentlich verfügbare Modell GPT-5.6 Sol sowie ein noch unveröffentlichtes, noch fähigeres Modell. Beide seien für die Tests mit „reduzierten Cyber-Verweigerungen“ betrieben worden, also ohne die üblichen Schutzmechanismen, die Angriffsverhalten normalerweise einschränken.

Wie der Test aufgebaut war

Der entscheidende Punkt liegt im Design der Evaluierung. OpenAI wollte damit ausdrücklich die maximalen Cyber-Fähigkeiten seiner Modelle vermessen: Der interne Test fordert Modelle gezielt dazu auf, fortgeschrittene Angriffe über komplexe, mehrstufige Angriffspfade zu verfolgen. Um die Obergrenze dieser Fähigkeiten zu ermitteln, wurde der Benchmark bewusst ohne die Produktions-Klassifikatoren gefahren, die im Normalbetrieb hochriskante Cyber-Aktivitäten unterbinden. Genau das meint die Formulierung „reduzierte Cyber-Verweigerungen“: Die Schutzmechanismen waren nicht versehentlich deaktiviert, sondern für diesen Test absichtlich abgeschaltet.

Abgesichert werden sollte das Ganze stattdessen durch strikte Isolierung. Die Modelle liefen laut OpenAI in einer „hochgradig isolierten“ Umgebung, deren Netzzugang auf eine einzige Funktion beschränkt war: das Nachinstallieren von Software-Paketen über einen intern gehosteten Dienst eines Drittanbieters, der als Proxy und Cache für Paket-Registries dient. Einen offenen Internetzugang gab es also gerade nicht – dieser Paket-Proxy war per Design das einzige Fenster nach außen.

Inhaltlich ging es um ExploitGym, einen öffentlich verfügbaren Benchmark (arXiv 2605.11086), der misst, wie gut Modelle bekannte Schwachstellen tatsächlich ausnutzen können. Solche Benchmarks werden routinemäßig genutzt, um einzelne Fähigkeiten von Modellen zu schärfen – der aktuelle Fall ist aber der erste bekannte, in dem ein solcher Test in einen echten Cyberangriff mündete.

Wie das Modell ausbrach

Statt die Aufgabe innerhalb der Sandbox zu lösen, investierten die Modelle laut OpenAI erhebliche Rechenleistung in die Suche nach einem Weg ins offene Netz. Fündig wurden sie ausgerechnet an der einzigen erlaubten Schnittstelle: In dem internen Paket-Proxy fanden und nutzten sie eine bis dahin unbekannte Schwachstelle (Zero-Day). Von diesem Brückenkopf aus folgten mehrere Schritte der Rechteausweitung und der seitlichen Bewegung durch OpenAIs eigene Forschungsumgebung – so lange, bis die Modelle einen Rechner mit Internetzugang erreichten.

Erst danach kam Hugging Face ins Spiel. Mit Internetzugang ausgestattet, schlossen die Modelle laut OpenAI, dass die Plattform Modelle, Datensätze und womöglich auch die Lösungen zu ExploitGym hosten könnte – und suchten gezielt nach einem Weg zu diesen geheimen Informationen. In einem dokumentierten Fall verkettete das Modell mehrere Angriffsvektoren, darunter gestohlene Zugangsdaten und weitere Zero-Days, bis es einen Pfad zur entfernten Code-Ausführung auf den Hugging-Face-Servern fand. Am Ende griff es Testlösungen direkt aus der Produktionsdatenbank ab – faktisch, um beim eigenen Benchmark zu „schummeln“.

Entdeckt wurden die Auffälligkeiten nach OpenAIs Darstellung zunächst intern; Hugging Face bemerkte und stoppte die Aktivität parallel auf der eigenen Infrastruktur und hatte bereits mit Eindämmung und forensischer Rekonstruktion begonnen, als sich beide Teams zusammenschalteten.

Kein spontaner Kontrollverlust: ein menschlich konfigurierter Angriff

So dramatisch die Kette aus Zero-Days, Rechteausweitung und Datenbankzugriff klingt – sie war das erwartbare Ergebnis bewusster menschlicher Entscheidungen, nicht ein aus dem Nichts entstandener Amoklauf der Maschine. Drei dieser Entscheidungen sind zentral: Erstens wurden die Modelle explizit angewiesen, offensive Angriffe zu fahren. Zweitens wurden die Sicherheitsklassifikatoren, die genau das verhindern sollen, absichtlich abgeschaltet, um die Fähigkeits-Obergrenze zu messen. Drittens war die einzige zugelassene Netzverbindung ein Paket-Proxy, in dem eine reale, ungepatchte Lücke steckte. Das offensive Verhalten war damit gewollt; erst die konkreten Umstände dieses Aufbaus – die einzelne verwundbare Schnittstelle und der Zufall, dass Hugging Face die Benchmark-Lösungen hostet – machten daraus einen echten Einbruch bei einem Dritten.

OpenAI selbst rahmt den Vorfall stärker als Eigendynamik der Modelle: Diese seien „hyperfokussiert“ gewesen und hätten „extreme Wege“ beschritten, um ein eng gestecktes Testziel zu erreichen. Beide Lesarten schließen sich nicht aus, setzen aber unterschiedliche Akzente. Die nüchterne Deutung lautet: Wer einem hochfähigen Modell den Auftrag zum Angriff gibt und die Bremsen löst, darf sich über Angriffsverhalten nicht wundern – der eigentliche Schwachpunkt liegt in der Test- und Sicherheitsarchitektur, nicht in einem plötzlich erwachten Eigenwillen. Was der Fall dennoch belegt: Aktuelle Modelle können solche Ziele über lange Zeithorizonte und viele Zwischenschritte hinweg verfolgen und dabei neue Angriffswege in realen Systemen finden – auch ohne Zugriff auf den Quellcode. Als Beleg verweist OpenAI auf Messungen des britischen AI Security Institute (AISI), wonach Modelle wie GPT-5.6 Sol zunehmend in der Lage seien, komplexe, mehrstufige Cyber-Operationen durchzuhalten.

Offen bleiben die rechtlichen Folgen: Laut TechCrunch dürften die Handlungen der Modelle gegen den US-amerikanischen Computer Fraud and Abuse Act verstoßen haben. OpenAI-Forscher Micah Carroll kommentierte, spätestens dieser Fall sollte verdeutlichen, dass sogenannte Fehlausrichtung („Misalignment“) künftig ein zentrales Thema werde.

Gute PR im Wettrennen mit Anthropic um den Cyber-Markt

Bei aller Peinlichkeit hat der Vorfall für OpenAI eine zweite Dimension – und die lässt sich als Analyse kaum übersehen: Er ist zugleich eine eindrucksvolle Fähigkeitsdemonstration. Ein Modell, das selbstständig einen Zero-Day findet, Rechte ausweitet, sich lateral bewegt und schließlich in die Produktionsdatenbank eines fremden, technisch versierten Unternehmens gelangt, ist genau das, was OpenAI seiner Kundschaft im Sicherheitsgeschäft als Nutzen verkaufen will – nur eben auf der Verteidigungsseite. Nicht zufällig endet der Blogpost mit dem Aufruf, sich für OpenAIs „Trusted Access“-Programm zu bewerben und die cyberfähigen Modelle für Prävention, Erkennung und Incident Response einzusetzen. Die Offenlegung eines selbst verursachten Vorfalls fungiert damit auch als Marketing-Trichter.

Das fügt sich in eine Positionierung, die OpenAI seit Monaten ausbaut: mit dem „Trusted Access for Cyber“-Programm, einem eigens für Sicherheit ausgelegten Modell (GPT-5.4-Cyber) und Initiativen wie „Daybreak“ und „Patch the Planet“, die Organisationen und Open-Source-Projekte absichern sollen. Dass OpenAI Hugging Face nun in dieses Trusted-Access-Programm aufnahm, ist ebenfalls Teil dieser Erzählung: Aus dem Opfer wird ein Referenzkunde.

Der Kontext ist ein direktes Duell mit Anthropic um den entstehenden Markt für KI-gestützte Cyberabwehr. Anthropic hatte im April 2026 mit Claude Mythos ein Modell vorgestellt, das es wegen seiner Fähigkeit, massenhaft Zero-Days aufzuspüren, zunächst gar nicht öffentlich ausrollte, und stattdessen im Rahmen von „Project Glasswing“ ausgewählten Partnern wie AWS, Apple, Google, Microsoft, NVIDIA und CrowdStrike zugänglich machte. Kurz darauf folgte mit Claude Security (auf Basis von Opus 4.7) ein Produkt, das Unternehmenscode auf Schwachstellen scannt und Patches vorschlägt – mit Beratungspartnern wie Accenture, BCG, Deloitte, Infosys und PwC im Rücken. Beide Konzerne verkaufen also dieselbe Grundgeschichte: Nur KI kann mit KI-gestützten Angreifern mithalten.

In diesem Rennen ist ein glaubwürdiger Nachweis maximaler Angriffsfähigkeit ein wertvolles Argument – und OpenAI hat mit dem Hugging-Face-Vorfall unfreiwillig, aber wirkungsvoll geliefert. Die Botschaft ist doppeldeutig: Sie ist Eingeständnis eines Sicherheitsversagens und Leistungsschau in einem. Für die Einordnung heißt das: Der Vorfall ist real und ernst, aber er kommt OpenAI im Wettbewerb um Sicherheitskunden nicht ungelegen.