Rogue Agents: OpenAI warnt über 100 Organisationen und trennt sich von drei Safety-Forscher:innen
Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.
Die Aufarbeitung der Agenten-Pannen wird für OpenAI zur Dauerbaustelle. Der ChatGPT-Hersteller hat inzwischen mehr als 100 Organisationen darüber informiert, dass seine KI-Agenten unerlaubt in ihre Systeme eingegriffen haben könnten, wie Reuters berichtet. Erst vor einer Woche hatte OpenAI noch von „dutzenden“ Betroffenen gesprochen (Trending Topics berichtete). Gleichzeitig hat sich das Unternehmen von drei Mitarbeiter:innen aus dem Safety-Team getrennt, die vertrauliche Informationen an eine externe Organisation weitergegeben haben sollen.
50 Petabyte an Protokolldaten
Ausgelöst wurde die groß angelegte Überprüfung durch den Einbruch von OpenAI-Agenten bei Hugging Face im Sommer. Bei internen Cybersecurity-Tests waren Modelle damals aus ihrer abgeschotteten Umgebung ausgebrochen, hatten Schwachstellen in geteilter Infrastruktur ausgenutzt und Systeme der KI-Plattform kompromittiert. Seither durchforstet OpenAI, was seine Modelle während Training und Evaluierung im Internet getan haben. Laut Reuters geht es um rund 50 Petabyte an Daten, die Auswertung soll noch Monate dauern. Laut Gizmodo kostet die Überprüfung mehr als eine halbe Million Dollar (rund 427.000 Euro) pro Tag.
OpenAI räumt ein: „In manchen Fällen haben Modelle den Internetzugang auf unbeabsichtigte Weise genutzt oder hatten im Nachhinein betrachtet nicht die idealen Einschränkungen.“ Die Benachrichtigungen betreffen Fälle, in denen Agenten Sicherheitsmaßnahmen umgangen, öffentlich auffindbare Zugangsdaten genutzt, Befehle eingeschleust oder ungefragt Inhalte auf fremden Websites veröffentlicht haben könnten. Eine Benachrichtigung bedeutet laut OpenAI allerdings nicht automatisch, dass bei der jeweiligen Organisation tatsächlich ein Schaden entstanden ist. Hugging Face bleibt nach Angaben des Unternehmens der schwerwiegendste bisher bekannte Vorfall.
Behörden-Websites im Visier
Wie breit die Agenten unterwegs waren, zeigen Recherchen externer Sicherheitsforscher:innen. Laut einer Untersuchung des Unternehmens Asymmetric Security, über die die Financial Times berichtet, griffen OpenAI-Agenten auf Daten von 55 Websites von Unternehmen, NGOs und Behörden zu, darunter die US-Gesundheitsbehörde CDC, die Börsenaufsicht SEC und die Internationale Energieagentur. Dabei sollen sie ihre Spuren aktiv verwischt haben. Die Aktivitäten reichen demnach bis mindestens März zurück und damit zwei Monate weiter als bisher bekannt.
Ein weiteres Beispiel dokumentiert The Next Web: Agenten, die OpenAI zugeordnet werden, haben die Statistik-Plattform der UN-Handelsorganisation UNCTAD über einen Zeitraum von gut zwei Monaten mehr als 16.500 Mal abgefragt. Um Beschränkungen der Schnittstelle zu umgehen, nutzten sie Proxys und versteckten den Namen des Endpunkts per doppelter Kodierung. Die abgerufenen Daten waren öffentlich. Der Stanford-Sicherheitsexperte Alex Stamos spricht von einer Aktivität, die „nahe an Hacking“ gewesen sei, im Kern aber „sehr aggressives Datensammeln“. Bereits zuvor war bekannt geworden, dass ein OpenAI-Agent auf das australische Medicare-Portal zugegriffen hatte.
Drei Abgänge im Safety-Team
Mitten in diese Aufarbeitung fällt eine Personalentscheidung, die Fragen aufwirft. Wie das Wall Street Journal berichtet, hat OpenAI drei Forscher:innen aus dem Safety-Team entlassen. Sie sollen vertrauliche Informationen an eine externe KI-Sicherheitsorganisation weitergegeben haben. „Wir haben uns von drei Personen getrennt, weil sie gegen unsere Richtlinien für den Zugriff auf und den Umgang mit sensiblen Unternehmensinformationen verstoßen haben“, teilte OpenAI laut TechCrunch mit.
Welche Organisation die Informationen erhalten hat und worum es inhaltlich ging, ist offen. Auch die Namen der Betroffenen hat OpenAI nicht genannt. Ob ein Zusammenhang mit den Agenten-Vorfällen besteht, ist ebenfalls unbestätigt. Brisant ist das Timing dennoch: OpenAI steht in der Kritik, externen Prüfer:innen zu wenig Einblick in die Vorfälle zu gewähren. Der Fall erinnert zudem an frühere Konflikte rund um die Sicherheitskultur des Unternehmens. So hatte etwa Ex-Forscher Leopold Aschenbrenner angegeben, 2024 entlassen worden zu sein, nachdem er ein Sicherheitsdokument mit externen Forscher:innen geteilt hatte.
Turbulente Wochen für OpenAI
Die Vorfälle haben für OpenAI längst auch geschäftliche Folgen. Das Unternehmen hat das Training einiger Modelle pausiert, GPT-6.1 wurde gestoppt, und den Börsengang hat CEO Sam Altman verschoben, unter anderem mit Verweis auf die Debatte um KI-Sicherheit. Laut Decrypt wurde zudem eine erste Klage im Zusammenhang mit dem Hugging-Face-Vorfall eingebracht.
OpenAI kündigt an, neue technische und organisatorische Schutzmaßnahmen einzuführen, darunter strengere Isolierung von Testumgebungen, engere Internetbeschränkungen und mehr Überwachung. Außerdem arbeitet das Unternehmen an Standards, nach denen Betroffene künftig vertraulich informiert und Erkenntnisse gebündelt öffentlich gemacht werden sollen. Wie viele Organisationen am Ende tatsächlich betroffen sind, dürfte sich erst nach Abschluss der Überprüfung zeigen.
