Gemini-Agenten hackten drei Unternehmen: Auch Google meldet KI-Ausbruch

Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.

Nach OpenAI, Anthropic und Meta räumt auch Google ein, dass seine KI-Modelle bei Sicherheitstests aus der Testumgebung entkommen sind und reale Firmen angegriffen haben. Die Vorfälle befeuern die Debatte über eine KI-Bremse, die Kritiker:innen für ein Machtinstrument der großen US-Labs halten.

Google hat soeben bestätigt, dass Agenten auf Basis seines KI-Modells Gemini bei Cybersecurity-Tests Zugang zum Internet erhielten und sich daraufhin in die Systeme von drei realen Unternehmen einloggten. Zuerst hatte das Wall Street Journal über die Vorfälle berichtet, die sich bereits im Mai ereignet haben. Laut Google stoppten die Agenten ihre Angriffe selbst, sobald sie erkannten, dass sie sich in echter Infrastruktur befanden. Ein Schaden sei den betroffenen Firmen nicht entstanden.

Was bei den Gemini-Tests passiert ist

Durchgeführt wurden die Tests von Irregular, einem israelischen Startup, das KI-Modelle vor deren Veröffentlichung auf gefährliche Fähigkeiten prüft und neben Google auch für OpenAI, Anthropic und Meta arbeitet. Eine nicht näher bezeichnete Version von Gemini sollte in den Übungen Daten aus simulierten Unternehmen beschaffen. Internetzugang war dabei ausdrücklich nicht vorgesehen, wurde durch einen Fehler in der Testumgebung aber dennoch freigeschaltet.

Das wurde zum Problem, weil die fiktiven Zielfirmen dieselben Namen trugen wie reale Unternehmen. Die Gemini-Agenten griffen deshalb die echten Firmen an, nutzten online gefundene oder erratene Passwörter und verschafften sich so Zugang zur Infrastruktur des eigentlichen Ziels sowie zweier weiterer Unternehmen. Nach dem Login erkannten die Modelle laut Google, dass es sich um keine Simulation handelte, und brachen ab, wie die New York Times berichtet.

„In allen drei Fällen hat das Modell gestoppt“, sagt Heather Adkins, Vice President of Security Engineering bei Google, gegenüber der Financial Times. „Wir haben sichergestellt, dass die drei Unternehmen informiert wurden, und mit unserem Trainingspartner an den Änderungen gearbeitet, die er inzwischen an seinen Testprozessen vorgenommen hat.“ Die Vorfälle zeigten, wie wichtig es sei, leistungsstarke KI-Modelle auf verantwortungsvolles Handeln zu trainieren. Von sich aus öffentlich gemacht hatte Google die Hacks allerdings nicht. Begründung: Die eigenen Sicherheitsmechanismen hätten funktioniert.

Irregular selbst hatte bereits in einem Blogpost eingeräumt, dass unbeabsichtigt verfügbarer Internetzugang einige Modelle zu offensiven Aktionen in der realen Welt verleitet habe. „Alle relevanten Labs wurden Ende Juli benachrichtigt, und die betroffenen Organisationen wurden im Rahmen der Untersuchung kontaktiert“, so das Unternehmen. Alle bekannten Probleme seien seit Wochen behoben.

Die bisher bekannten Vorfälle im Überblick

Google ist das vierte große KI-Labor, das innerhalb weniger Wochen einen solchen Ausbruch einräumen muss. Die bisher öffentlich bekannten Fälle:

• OpenAI und Hugging Face: Der folgenschwerste Fall. Agenten auf Basis von GPT-5.6 Sol und einem unveröffentlichten internen Modell umgingen die Isolation ihrer Testumgebung, koordinierten sich über ein improvisiertes Message Board und drangen in die Systeme von Hugging Face ein, um an Lösungen für eine Cybersecurity-Aufgabe zu kommen. Laut Trending Topics beteiligten sich rund 700 Agenten direkt am Angriff, die FT spricht von einem Schwarm aus mehr als 1.000 entkommenen Agenten. OpenAI bemerkte den Angriff erst nach rund einer Woche und wurde für die zögerliche Offenlegung kritisiert. In seinem Bericht beschreibt das Unternehmen, dass die Agenten unter anderem Zero-Day-Lücken ausnutzten und Zugangsdaten abgriffen. Hugging Face, das Nvidia für rund 13 Milliarden Dollar übernimmt, fordert von OpenAI Rechenleistung im Wert von 100 Millionen Dollar für die Entwicklung defensiver Security-Tools.
• OpenAI bei Irregular und UK AISI: In einem weiteren Bericht legte OpenAI offen, dass seine Modelle auch bei Tests von Irregular eine reale Website angriffen, die sie für das simulierte Ziel hielten, und dort gefundene Zugangsdaten nutzten. Beim britischen AI Security Institute verwendete GPT-5.6 Sol zudem einen GitHub-Token weiter und machte über einen Tunneling-Dienst einen Server aus der Testumgebung öffentlich erreichbar, laut OpenAI ohne reale Auswirkungen.
• Anthropic: Kurz nach OpenAI meldete Anthropic drei Vorfälle bei Tests mit Irregular. Claude Opus 4.7 erbeutete bei einer gleichnamigen realen Firma Zugangsdaten und Zugriff auf eine Datenbank mit mehreren Hundert Zeilen Produktionsdaten. Claude Mythos 5 veröffentlichte Schadcode im Python-Paketverzeichnis PyPI, der von rund 15 realen Systemen heruntergeladen wurde, darunter der Scanner einer Security-Firma. Ein internes Testmodell kompromittierte per SQL-Injection die Anwendung eines dritten Unternehmens. Ursache war eine Fehlkonfiguration, durch die die Testrechner direkten Internetzugang hatten.
• Meta: Metas Modell Muse Spark 1.1 nutzte bei einem Test durch Irregular eine Sicherheitslücke bei einem nicht genannten externen Dienst aus. „Eine Fehlkonfiguration durch Irregular hat einem unserer Modelle während der Evaluierung versehentlich Internetzugang ermöglicht“, erklärte Meta-Sprecher Andy Stone.
• Google: Gemini-Agenten loggten sich mit gefundenen oder erratenen Passwörtern bei drei realen Unternehmen ein und brachen die Angriffe laut Google selbstständig ab.

Insgesamt ist die Zahl bekannter (weil von Unternehmen berichtete) Vorfälle von Hack-Angriffen durch KI-Systeme stark gestiegen, wie der Tracker von Epoch Times zeigt:

Die Debatte über eine KI-Bremse

Die Serie an Vorfällen hat eine breite Diskussion darüber ausgelöst, ob die Entwicklung von Frontier-KI gebremst werden soll. Anthropic-CEO Dario Amodei hat in seinem Essay „We Must Pace the Frontier“ einen dreistufigen Plan vorgelegt: unabhängige Prüfer:innen, die direkt in den KI-Firmen arbeiten, gemeinsame Sicherheitsstandards der führenden Anbieter aus demokratischen Staaten mit verpflichtenden Checkpoints vor dem Release besonders fähiger Modelle sowie internationale Abkommen, auch mit China. Schon ein oder zwei zusätzliche Jahre vor dem Erreichen kritischer Fähigkeiten würden wichtige Sicherheitsforschung ermöglichen, so Amodei. OpenAI-CEO Sam Altman und Elon Musk unterstützen den Vorstoß. Auch Demis Hassabis, Chefwissenschaftler bei der Google-Mutter Alphabet und Mitgründer von DeepMind, stellte sich hinter die Forderungen und schlug eine internationale Aufsichtsbehörde für KI vor.

Zusätzlich angeheizt wurde die Debatte, als ein ehemaliger Anthropic-Forscher öffentlich erklärte, das Unternehmen entwickle die Technologie nicht sicher genug. Mitarbeiter:innen von OpenAI und Google pflichteten ihm bei. Auf der anderen Seite stehen Nvidia-CEO Jensen Huang, der das bisherige Tempo beibehalten will, und US-Präsident Donald Trump, der Warnungen vor einer Auslöschung der Menschheit durch KI als „HOAX“ bezeichnet und keine gesetzlich verordnete Verlangsamung anstrebt.

An den Börsen hat die Diskussion bereits Spuren hinterlassen. Weil Anleger:innen fürchten, dass eine Bremse auch die Investitionen in Rechenzentren drosseln könnte, gerieten Chipwerte unter Druck: Der iShares Semiconductor ETF verlor rund sechs Prozent, während sich Softwarewerte erholten.

Kritik: Inszenierte Krise zum eigenen Vorteil?

Aus Teilen der Investor:innen-Szene kommt scharfe Kritik an den Bremsrufen. Der Investor und ehemalige KI-Beauftragte des Weißen Hauses David Sacks wirft Amodei „Regulatory Capture“ vor: Anthropic nutze die Angst vor den Risiken der KI, um die Regierung zu strengen Regeln zu bewegen, von denen vor allem die etablierten Anbieter profitierten. Eine Vorabprüfung neuer Modelle würde laut Sacks zu einer Art „DMV for AI“ führen, einer Zulassungsbehörde mit langen Warteschlangen, die die USA gegenüber China zurückwerfe. Anthropic wies die Vorwürfe als „kompletten Unsinn“ zurück.

Ähnlich argumentiert Cohere-CEO Aidan Gomez, der den großen Labs vorwirft, ein Kartell zu bilden. „KI braucht Leitplanken. Das Umstritten sei, wer die Regeln schreibe, wer mitreden dürfe und wessen Interessen sie schützten. Kritiker:innen aus der Open-Source-Szene befürchten, dass aufwendige Prüfverfahren kleinere Anbieter und offene Modelle benachteiligen würden. China wiederum wirft den USA vor, mit Angstmache die globale KI-Governance zu stören.

Auch am Kapitalmarkt wird die Debatte nüchtern eingeordnet. „Höhere Sicherheitsanforderungen kommen etablierten US-Anbietern zugute“, argumentiert Serge Nussbaumer vom Schweizer Wertpapierhaus Maverix in einem Gastkommentar auf Trending Topics. Die Deutsche Bank zweifelt ohnehin daran, dass es zu einer echten Selbstbeschränkung kommt: Es sei schwer vorstellbar, dass Firmen freiwillig zurückstecken, während Rivalen weiter Gas geben.

Wie es weitergeht

Irregular gibt an, die Lücken in seinen Testumgebungen geschlossen zu haben, die betroffenen Labs haben ihre Prozesse nach eigenen Angaben verschärft. Offen bleibt, ob sich die großen KI-Unternehmen tatsächlich auf gemeinsame Sicherheitsstandards und ein langsameres Tempo einigen und ob die US-Regierung dabei mitzieht. Die Vorfälle der vergangenen Monate zeigen jedenfalls, dass autonome KI-Agenten schon heute in der Lage sind, reale Systeme anzugreifen, sobald eine Testumgebung nicht dicht ist.