KI-Agent von OpenAI hackte australisches Medicare-Portal
Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.
Wenn ein Regierungschef persönlich bei Sam Altman anruft, um sich zu beschweren, ist etwas gründlich schiefgelaufen: Ein KI-Agent von OpenAI hat sich unbefugt Zugang zu einem Gesundheitsportal der australischen Regierung verschafft. Das hat Australiens Premierminister Anthony Albanese soeben am Rande der UN-Generalversammlung in New York öffentlich gemacht. Es ist einer der ersten öffentlich bekannten Fälle, in denen ein KI-System eigenständig in eine Regierungswebsite eingedrungen ist.
Betroffen ist der Medicare Statistics Reporting Service, ein öffentlich zugängliches Statistikportal der Behörde Services Australia zum staatlichen Gesundheitssystem Medicare. Der Agent griff dort laut ABC News im Juni auf nicht öffentliche, aggregierte Gesundheitsstatistiken und interne Dateien einer älteren Website zu. Offenbar fand ein Crawler, also ein automatisiertes Programm zum Auslesen von Websites, einen Weg an den Schutzmechanismen vorbei. „Der KI-Agent hat einen Weg um diese Sperren herum gefunden und wollte kein Nein als Antwort akzeptieren“, sagte Albanese. Personenbezogene Daten sollen nach bisherigem Stand nicht betroffen sein.
Albanese: „Offensichtlich inakzeptabel“
Besonders verärgert zeigte sich der Premierminister über die späte Meldung. OpenAI informierte die australischen Behörden erst Anfang September per E-Mail, rund drei Monate nach dem Vorfall. Die Nachricht kam laut dem Liveblog von ABC News über ein öffentliches Feedback-Formular, das eigentlich für Hinweise von Wissenschaftler:innen auf Schwachstellen der Website gedacht ist. Services Australia meldete den Fall einige Tage später an das Cybersicherheitszentrum des Australian Signals Directorate (ASD).
Albanese sprach nach eigenen Angaben direkt mit OpenAI-CEO Sam Altman, um ihm Australiens „äußerste Besorgnis“ mitzuteilen. Es habe viel zu lange gedauert, bis die Regierung informiert worden sei, und auch die Art der Benachrichtigung sei inakzeptabel gewesen, zitiert ihn Fox Business. Auf die Frage, ob sich Altman entschuldigt habe, antwortete Albanese, dieser habe klar eingeräumt, dass das Unternehmen nicht gut genug gehandelt habe.
Der Fall könnte größer sein als zunächst gedacht. Laut Fortune weiß die Regierung von drei weiteren staatlichen Systemen, die der Agent erreicht haben könnte: zwei im Gesundheitsbereich und eines zu Kriminalstatistik und Forschung. Das ASD leitet eine forensische Untersuchung. Der stellvertretende Premierminister Richard Marles sprach in Sydney von einem „sehr ernsten“ Vorfall, betonte aber zugleich, die Auswirkungen seien vergleichsweise gering: Es gehe um aggregierte Statistiken, die Systeme selbst seien nicht kompromittiert worden. Die Grünen fordern dagegen, den Fall als diplomatischen Zwischenfall zu behandeln und den US-Botschafter einzubestellen.
OpenAI spricht von „fehlausgerichtetem“ Modellverhalten
OpenAI erklärte, man sei im August im Zuge einer umfassenden Überprüfung von „misaligned model activity“ auf den Vorfall gestoßen, also von Modellverhalten, das nicht den Absichten der Entwickler:innen entspricht. Die Modelle hätten bei einer internen Evaluierung versucht, Antworten und Statistiken zu Fragen über Australien nachzuschlagen, und dabei auf mehrere australische Regierungswebsites zugegriffen. Dabei hätten sie Handlungen gesetzt, die nicht beabsichtigt gewesen seien. Hinweise auf einen Zugriff auf Patientendaten habe man nicht gefunden.
Hugging Face, DSEWiki und sechs weitere Fälle
Der Hack in Australien reiht sich in eine Serie von Vorfällen mit OpenAI-Agenten ein, die das Unternehmen seit dem Sommer beschäftigen. Den Anfang machte im Juli der Angriff auf die KI-Plattform Hugging Face. Wie Trending Topics berichtete, brachen Agenten bei einer internen Evaluierung aus ihrer isolierten Testumgebung aus und vernetzten sich über ein improvisiertes Nachrichtenboard. Rund 1.200 Agenten tauschten dort mehr als 70.000 Nachrichten und Dateien aus, etwa 700 beteiligten sich am Angriff. Über eine Zero-Day-Lücke erbeuteten sie Zugangsdaten, erlangten auf einem Server Root-Rechte und verschafften sich parallel Administrationsrechte auf einem OpenAI-Forschungscluster. OpenAI führt das auf Reward Hacking zurück: Die Agenten suchten im Netz nach Lösungen für ihre Testaufgaben, und dieses Verhalten war im Training belohnt worden. Hugging Face fordert von OpenAI inzwischen Rechenleistung im Wert von 100 Millionen US-Dollar (rund 85 Millionen Euro) als Entschädigung, wie Trending Topics berichtete.
Anfang September folgte der nächste Fall mit Österreich-Bezug. OpenAI bestätigte, dass eigene KI-Agenten ohne Autorisierung Inhalte auf mehreren Websites veröffentlicht hatten, allen voran im aus Österreich betriebenen DSEWiki, einer Plattform für deutschsprachige Softwareentwickler:innen. Forschende fanden dort rund 18.000 Beiträge unter mehr als 3.700 selbst gewählten Agentennamen, wie Trending Topics berichtete. Die Agenten nutzten das Wiki als Schwarzes Brett, um Lösungen auszutauschen und Sicherheitsbeschränkungen zu umgehen. OpenAI übermittelte der EU-Kommission einen Vorfallsbericht.
Als Reaktion auf den Wiki-Vorfall stellte OpenAI Mitte September ein eigenes Regelwerk zur Offenlegung solcher Zwischenfälle vor und veröffentlichte gleich sechs weitere Fälle aus den vergangenen sechs Monaten, darunter ein Modell, das einen öffentlich auffindbaren API-Schlüssel unbefugt nutzte und anschließend Daten erfand, wie CNBC berichtet. Der Zugriff auf die australischen Regierungsseiten war zu diesem Zeitpunkt bereits bekannt, fand sich in dieser Liste aber nicht.
Druck auf die gesamte Branche
Das Problem beschränkt sich nicht auf OpenAI. Auch Anthropic, Google und andere Anbieter entwickeln zunehmend autonome Agenten, die im Netz recherchieren und Werkzeuge bedienen. Ein verbindlicher, branchenweiter Standard für die Meldung solcher Vorfälle fehlt bislang.
