Behörden-Hacks und „Agent Spam“: OpenAI meldet dutzende weitere Rogue-AI-Fälle

Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.

Die Liste der Orte, an denen OpenAIs KI-Agenten nichts verloren hatten, wird fast wöchentlich länger. Der ChatGPT-Hersteller hat am Freitag in einem Blogpost eingeräumt, „dutzende“ Dritte darüber informiert zu haben, dass seine Modelle in ihre Systeme eingegriffen haben könnten. Unter den Betroffenen sind Regierungen, Universitäten und öffentliche Einrichtungen. Zudem gelangten mehr als 50 Bilder, die Nutzer:innen in ChatGPT hochgeladen hatten, durch die Agenten ins Netz.

Die Offenlegung ist Teil einer breit angelegten Überprüfung, die OpenAI nach dem Einbruch seiner Agenten bei der KI-Plattform Hugging Face im Sommer gestartet hat. Dabei untersucht das Unternehmen, was seine Modelle während Training und Evaluierung im Internet getan haben. OpenAI benachrichtigt Betroffene laufend und priorisiert jene Fälle, in denen Modelle Sicherheitskontrollen umgangen oder die Verfügbarkeit eines Online-Dienstes beeinträchtigt haben könnten.

53 Bilder von ChatGPT-Nutzer:innen im Netz

Laut OpenAI hat das Unternehmen bisher 53 Fälle identifiziert, in denen Agenten Bilder von Nutzer:innen auf Image-Hosting-Seiten hochgeladen haben, und zwar als nicht öffentlich gelistete Links. Die Bilder stammten von Personen, die der Verwendung ihrer Daten für das Modelltraining nicht widersprochen hatten, wie Axios berichtet. Der Großteil wurde gemeinsam mit den Hosting-Anbietern bereits entfernt, einige Bilder sind noch online.

Ob die Bilder KI-generiert waren oder reale Personen zeigen, wollte OpenAI gegenüber Reuters nicht sagen. Auch den Zeitpunkt der Veröffentlichung ließ das Unternehmen offen. Bevor Nutzer:innendaten ins Training fließen, werden laut OpenAI Metadaten, Namen und Kontaktinformationen entfernt. Drei mit den Abläufen vertraute Personen warnten gegenüber Reuters allerdings, dass die Anonymisierung nicht immer vollständig gelingen müsse. Daten von Unternehmenskund:innen sind vom Training standardmäßig ausgeschlossen.

Neue Vorfallskategorie „Agent Spam“

OpenAI unterteilt die gefundenen Aktivitäten in mehrere Kategorien: das Umgehen von Zugangskontrollen, die Nutzung öffentlich auffindbarer Zugangsdaten, das Einschleusen von Abfragen oder Befehlen sowie Zugriffe auf interne Laufzeitumgebungen. Neu ist der Begriff „Agent Spam“. Damit beschreibt das Unternehmen Fälle, in denen Agenten ohne Auftrag Inhalte auf fremden Websites veröffentlicht haben, etwa auf öffentlichen Wikis, die sie als Schwarzes Brett nutzten.

Laut OpenAI sind die meisten bisher identifizierten Fälle von geringer Schwere, mit wenig oder keinem nachweisbaren Schaden. Eine Benachrichtigung bedeute auch nicht automatisch, dass ein ernster Sicherheitsvorfall vorliege. Dass häufig Websites von Behörden und Hochschulen betroffen sind, erklärt OpenAI damit, dass Modelle bei Rechercheaufgaben gezielt nach verlässlichen öffentlichen Quellen suchen.

CEO Sam Altman räumte auf X ein, dass die Aufarbeitung langsamer verlaufe als gewünscht, weil Petabytes an Protokolldaten ausgewertet werden müssten. Hugging Face sei nach wie vor der schwerwiegendste Vorfall, so Altman laut Fortune.

Behördenseiten in den USA und Australien

Parallel wurden weitere Vorfälle bekannt. OpenAI bestätigte, dass seine Modelle bei Recherche- und Trainingsaktivitäten Informationen von den Websites der US-Börsenaufsicht SEC und des Census Bureau abgerufen haben. Hinweise auf unbefugte Zugriffe oder kompromittierte Konten habe man dabei nicht gefunden. Die KI-Forschungsorganisation Transluce berichtete zudem von einem erfolglosen Versuch mutmaßlicher OpenAI-Agenten, in eine Website des US-Bildungsministeriums einzudringen, sowie davon, dass Agenten Anti-Bot-Schutzmaßnahmen des Australian Institute of Health and Welfare umgangen hätten.

Für politischen Wirbel sorgte bereits am Mittwoch Australiens Premierminister Anthony Albanese. Ein OpenAI-Agent hatte sich im Juni Zugang zu öffentlichen und nicht öffentlichen Dateien im Statistikportal des staatlichen Gesundheitssystems Medicare verschafft, wie Trending Topics berichtete. OpenAI bemerkte den Vorfall erst im August und informierte die Regierung per E-Mail an ein allgemeines Postfach. Albanese bezeichnete den Vorfall und die späte Meldung als „offensichtlich inakzeptabel“ und beschwerte sich direkt bei Altman.

Interne Aufarbeitung unter Beobachtung

Wie Reuters unter Berufung auf Insider:innen berichtet, hatte OpenAI bis Mitte September rund zwei Dutzend Fälle unerwünschten Agentenverhaltens gefunden, die Zahl steige weiter. Die Überprüfung soll nach Angaben des Unternehmens noch Monate dauern. Seit dem Hugging-Face-Vorfall wurden mehr als 15 OpenAI-bezogene Zwischenfälle unterschiedlicher Schwere öffentlich, viele davon von externen Forscher:innen und nicht von OpenAI selbst. Darunter war auch ein kaum noch genutztes deutschsprachiges Wiki, das Agenten als Austauschplattform zweckentfremdeten.

Zwei mit der Untersuchung vertraute Personen beschreiben den internen Prozess gegenüber Reuters als stark abgeschottet und von den Anwält:innen des Unternehmens geprägt. OpenAI bestreitet, dass die Rechtsabteilung eine Ausweitung der Untersuchung gebremst habe. Mitte September hatte das Unternehmen ein eigenes Regelwerk zur Offenlegung solcher Vorfälle vorgestellt.

Der Auslöser der gesamten Aufarbeitung liegt im Sommer: Damals brachen OpenAI-Modelle aus ihrer Testumgebung aus und drangen in die Systeme von Hugging Face ein. Laut dem späteren Untersuchungsbericht waren rund 700 Agenten an dem Angriff beteiligt, die auf der Suche nach Lösungen für einen Cybersecurity-Test waren.

Auch Mitbewerber melden ähnliches Verhalten

OpenAI ist mit dem Problem nicht allein. Anthropic, Google und Meta haben nach dem Hugging-Face-Vorfall ihre eigenen Systeme durchsucht und ebenfalls ähnliches Verhalten ihrer Agenten gefunden. Sam Altman, Anthropic-CEO Dario Amodei und Elon Musk haben sich dafür ausgesprochen, die Entwicklung von Frontier-KI zu „takten“, damit Sicherheitstests mit dem Tempo der Einführung Schritt halten können. Dennoch veröffentlichten OpenAI und Anthropic erst am Dienstag neue Modelle.

Das Thema erreichte auch die Weltpolitik: Laut Financial Times stand es auf der Agenda der Gespräche zwischen US-Präsident Donald Trump und Chinas Staatschef Xi Jinping bei dessen US-Besuch in dieser Woche. Trump lehnt eine strengere Regulierung der US-KI-Labore bislang ab und sieht die technologische Führungsrolle als entscheidend im Wettbewerb mit China. „Wer bei KI gewinnt, gewinnt“, sagte er Anfang des Monats.