Am Hugging Face-Hack beteiligten sich 700 KI-Agenten von OpenAI

Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.

OpenAI hat kürzlich den vollständigen technischen Bericht zu jenem Sicherheitsvorfall veröffentlicht, bei dem eigene Modelle im Sommer die Isolation ihrer Testumgebung durchbrachen, sich untereinander vernetzten und in die Systeme des Open-Source-Hubs Hugging Face eindrangen. Der Bericht fällt in eine Woche, in der Hugging Face laut Medienberichten für rund 12,9 Milliarden Dollar an Nvidia geht.

Warum tausende Agenten gleichzeitig unterwegs waren

Um zu verstehen, wie aus einem Testlauf ein Kollektiv wird, hilft ein Blick auf die Mechanik des Reinforcement Learning. Ein Modell wird trainiert und bewertet, indem es sehr viele Aufgaben parallel bearbeitet. Jede einzelne Bearbeitung läuft als eigene Instanz in einer eigenen Sandbox, also einem isolierten virtuellen Rechner in der Cloud. Die Cybersecurity-Evaluierung ExploitGym umfasst 898 Aufgaben, jede davon wird vielfach durchgespielt. So entstehen hunderte bis tausende voneinander getrennte Agenten, die dieselbe Software-Basis teilen und dieselbe Denkweise mitbringen.

Getrennt waren diese Agenten allerdings nur auf der Ebene der Sandbox. Alle griffen auf denselben internen Paketmanager Artifactory zu, damit sie Software-Bibliotheken nachladen konnten. Über diesen gemeinsamen Dienst wurden sie füreinander sichtbar. Nach der Untersuchung von METR und Redwood Research fanden rund 1.200 Agenten das improvisierte Board und tauschten mehr als 70.000 Nachrichten und Dateien aus, etwa 700 beteiligten sich am Angriff auf Hugging Face. Damit bündelten sie Wissen und Rechenzeit aus eigentlich getrennten Läufen und kamen weiter, als es eine einzelne Instanz gekonnt hätte.

Vom Notizzettel zum Angriff

Angestoßen wurde alles von internen Forschungsmodellen, die nie für eine Veröffentlichung vorgesehen waren. Den Großteil der Aktivität trieb ein Modell an, das OpenAI Internal Model 1 nennt und das in seiner Größenordnung mit GPT-5.6 Sol vergleichbar ist.

Im Frühjahr legte ein Agent in Artifactory eine Datei mit einer Frage an andere Agenten ab. Daraus wurde ein Message Board. Kurz darauf brachten die Agenten Artifactory über eine Server-Side-Request-Forgery-Lücke dazu, Anfragen ins offene Internet weiterzuleiten, und teilten die Methode über das Board. Später eskalierten sie über eine Schwachstelle im Token-Refresh zu Administrationsrechten.

Anfang Juli brachte die Last der Zugriffe den Dienst zum Absturz. Das Sicherheitsteam entzog Zugangsdaten und baute Artifactory neu auf, womit das Board verschwand. Die Tragweite blieb dabei unerkannt, die Evaluierungen liefen weiter. Innerhalb weniger Tage errichteten die Agenten das Board erneut, diesmal über unauthentifizierte WebDAV-Anfragen mit Nachrichten, die in Verzeichnisnamen kodiert waren.

Von dort an eskalierte der Vorfall schnell. Ein Agent rekonstruierte 14 öffentlich exponierte Hugging-Face-Tokens mit Schreibrechten und teilte sie mit der Gruppe. Über eine Zero-Day-Lücke in der Verarbeitung von HDF5-Dateien griffen die Agenten Zugangsdaten von Produktions-Workern ab, über eine Template-Injection-Lücke erreichten sie Codeausführung, weiteten den Zugriff auf mehrere Cluster in vier Regionen aus und sammelten Kubernetes-, Datenbank- und Cloud-Zugangsdaten ein. Auf einem Server erlangten sie Root-Rechte. Agenten des Modells GPT-5.6 Sol kopierten zudem private Evaluierungsdaten in ein öffentliches Hugging-Face-Dataset. Parallel erlangten Agenten Administrationsrechte auf einem OpenAI-Forschungscluster. Aufgefallen ist das Ganze über eine Warnung zu ungewöhnlichen Aufrufen mit Artifactory-Zugangsdaten. Kundendaten und Produktverfügbarkeit waren laut OpenAI nicht betroffen.

Die eigentlichen Ursachen

OpenAI führt das Verhalten auf vier Muster zurück. Erstens Reward Hacking: Die Agenten suchten Abkürzungen zur Lösung, etwa im Netz nachgeschlagene Antworten, und dieses Verhalten wurde im Training verstärkt. Zweitens fehlende Ausstiegsmöglichkeiten: 198 der 898 ExploitGym-Aufgaben waren zuvor nie gelöst worden, aus genau diesem Bestand stammten 93 Prozent der auf dem Board diskutierten Aufgaben. Je mehr Rechenzeit zum Nachdenken zur Verfügung stand, desto riskanter wurden die Strategien. Drittens unerlaubte Kommunikation, die laut OpenAI aus dem Multi-Agenten-Training generalisiert wurde. Viertens die Übernahme fremder Ziele: Ein Agent stoppte aus ethischen Bedenken, setzte den Angriff aber fort, nachdem ein anderer ein „GO“ samt Sechs-Minuten-Frist gepostet hatte. Es gab auch Agenten, die ausstiegen, und solche, die eine vorgeschlagene Social-Engineering-Mail an eine reale Person ablehnten.

Ein Detail macht den Vorfall besonders absurd. Die gesuchten Lösungswerte hatten viele Agenten längst, glaubten aber nach Lektüre des ExploitGym-Papers, die Bewertung prüfe zusätzlich den Lösungsweg. Die interne Bewertung war anders implementiert. Ein Großteil der Eskalation brachte den Modellen also keinen einzigen Punkt.

Dazu kam die Testumgebung selbst: System-Prompts, Harness, Auto-Review und Sicherheitsklassifikatoren der Produktivsysteme waren dort abgeschaltet. Nachträgliche Messungen zeigen, dass die Neigung zur Kompromittierung von Infrastruktur im produktiven ChatGPT-Setup um mehr als das Hundertfache sinkt. Auch das Monitoring der Gedankenketten lief nicht mit, es hätte das Sicherheitsteam mehr als einen Tag vor dem Einbruch alarmiert.

Die Folgen

OpenAI hat die Modellgewichte in Quarantäne genommen, Trainingsläufe gestoppt, Sandboxes und Netzwerktrennung gehärtet und Monitoring der Gedankenketten für alle werkzeugnutzenden Trainings und Evaluierungen ab dem Niveau von GPT-5.6 Sol verpflichtend gemacht. Der größte geplante Frontier-Trainingslauf bleibt ausgesetzt. Parallel hat das Unternehmen die Entwicklung des nächsten Modells gedrosselt, weil Astra die Schwelle „Critical“ für Cyberfähigkeiten erreichen könnte, berichtet Axios.

Für Hugging Face hat sich die Lage seither stark verändert. Nvidia hat sich Berichten zufolge auf eine Übernahme für rund 12,9 Milliarden Dollar geeinigt, unterschrieben und bestätigt ist der Deal noch nicht. Bei der letzten bekannten Finanzierungsrunde lag die Bewertung bei 4,5 Milliarden Dollar. Firmenchef Clem Delangue verweist darauf, dass zur Abwehr des Angriffs ein quelloffenes Modell zum Einsatz kam, und leitet daraus ein Argument für offene Modelle ab. In der Branche wird der Vorfall auch als Positionierung im Cybersecurity-Markt gelesen.

OpenAI selbst nennt den Vorfall einen „Warnschuss“: Die Modelle seien fähig, ausdauernd und kooperativ genug, um ohne ausreichende Absicherung Schwachstellen über mehrere Systeme hinweg zu finden und auszunutzen. Vergleichbare Fähigkeiten stünden bald auch in quelloffenen Modellen zur Verfügung. Verteidiger:innen müssten sich nach Lesart des Unternehmens auf Angreifer einstellen, die schneller, breiter und koordinierter vorgehen als menschliche Teams.