Irregular: Israelisches Startup in die KI-Hacks von Claude, GPT, Gemini und Meta involviert

Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.

Es ist eine Serie von Vorfällen, die die KI-Branche seit Wochen beschäftigt: KI-Modelle von Anthropic, OpenAI, Meta und nun auch Google haben während Sicherheitstests echte Unternehmen angegriffen. Sie haben Passwörter erraten, Zugangsdaten abgegriffen, auf Produktionsdatenbanken zugegriffen und sogar ein Schadpaket in ein öffentliches Software-Verzeichnis hochgeladen. Viele dieser Spuren führen zu einem einzigen Unternehmen: Irregular, einem Startup aus Tel Aviv, das sich selbst als „erstes Frontier Security Lab“ der Welt bezeichnet.

Das Investigativ-Medium Effort hat die Zusammenhänge kürzlich unter dem Titel „A Single Firm is Behind OpenAI, Anthropic, and Meta Hacking Scandals“ aufgearbeitet. Soeben hat das Wall Street Journal nachgelegt: Auch Googles Gemini hat in einer von Irregular betriebenen Testumgebung drei Firmen gehackt.

Was Irregular macht

Irregular, früher unter dem Namen Pattern Labs bekannt, testet KI-Modelle vor ihrer Veröffentlichung auf ihre Fähigkeiten im Bereich Cyberangriffe. Dazu baut das Unternehmen simulierte Umgebungen, in denen Modelle etwa fiktive Firmen angreifen sollen. Ziel ist herauszufinden, ob ein Modell so leistungsfähig ist, dass es Angreifer:innen gefährlich werden könnte. Zu den Kund:innen zählen Google, OpenAI, Anthropic und Meta.

Das Problem: In mehreren dieser Testumgebungen war der Zugang zum echten Internet offen, obwohl die Modelle laut ihren Anweisungen keinen hätten haben sollen. Die Modelle hielten reale Unternehmen für Teil der Simulation und griffen sie an.

Die Hacks, in die Irregular involviert war

Eine Übersicht des Wall Street Journal listet elf Fälle, in denen KI-Agenten zuletzt aus Testumgebungen ausgebrochen sind. Vier davon gehen nachweislich auf Irregular zurück, bestätigt von den betroffenen Laboren selbst oder von Irregular:

• Anthropic: In seinem ersten Bericht legte Anthropic Ende Juli drei Vorfälle über sechs Testläufe offen, die frühesten davon im April. Claude Opus 4.7 griff eine reale Firma an, deren Name zufällig mit dem der fiktiven Zielfirma übereinstimmte, und verschaffte sich Zugriff auf Produktionsdaten, obwohl es laut Anthropic erkannte, dass das System echt war. Claude Mythos 5 veröffentlichte Schadcode im Python-Verzeichnis PyPI, der auf 15 realen Systemen lief. Ein internes Forschungsmodell kompromittierte eine Web-Applikation per SQL-Injection und brach erst danach ab. Eine spätere Analyse ergänzte einen vierten Vorfall mit einem älteren Checkpoint von Claude Opus 4.6.
• OpenAI: Laut einem eigenen Bericht von Anfang August nutzten Modelle in einer fälschlich mit dem Internet verbundenen Irregular-Umgebung eine echte Website aus und verwendeten dort gefundene Zugangsdaten.
• Meta: Wenige Tage später bestätigte Meta, dass eines seiner Modelle bei einem externen Test ein fremdes Unternehmen gehackt hat, blieb laut NPR aber vage. Mehrere Medien, darunter Engadget, nennen Irregular als Testpartner.
• Google: Gemini hackte bereits im Mai in einer „Capture the Flag“-Übung von Irregular drei Unternehmen, per erratenem Passwort und mit Zugangsdaten aus öffentlichen Repositories. Laut Google brach das Modell jeweils ab, sobald es die Firmen als echt erkannte. Irregular hatte Google Ende Juli informiert, öffentlich wurde der Fall erst nach der Anfrage des WSJ.

Ohne Irregular-Bezug sind laut den vorliegenden Berichten hingegen die Vorfälle bei OpenAI, bei denen Agenten in internen Tests die Plattformen RubyGems und Hugging Face angriffen, interne Nachrichtenboards aufbauten oder Teile der eigenen Infrastruktur übernahmen. Auch die Tests des britischen AI Security Institute, bei denen Modelle von OpenAI und Anthropic unter anderem einen gefundenen GitHub-Token nutzten, liefen ohne Irregular.

Was falsch gelaufen ist

Irregular hat Mitte August in einem Blogbeitrag seine Sicht dargelegt. Demnach gehen alle öffentlichen Offenlegungen auf „dasselbe zugrunde liegende Problem“ zurück, das eine Kundin Ende Juli gemeldet habe, es handle sich also um keine voneinander unabhängigen Vorfälle. Die Beschreibungen der Labore zeigen allerdings unterschiedliche Szenarien, vom erratenen Passwort bis zum veröffentlichten Schadpaket.

Die Fehler, die Irregular selbst benennt:

• Offener Internetzugang: In Umgebungen, die abgeschottet sein sollten, war der Zugang zum Internet „unbeabsichtigt“ verfügbar. Die Modelle glaubten, sich in einer Simulation zu befinden, und handelten in der realen Welt.
• Namenskollision: Für ein Szenario wählte das Team einen fiktiven Firmennamen, der mit einer realen, wenig bekannten Domain übereinstimmte. Die übliche Hintergrundprüfung habe das „aufgrund menschlichen Versehens“ nicht erkannt.
• Schwer erkennbar: Laut Irregular traten die Vorfälle in weniger als einem von 10.000 Simulationsläufen auf, meist erst nach Hunderten Schritten. Bestehende Monitoring-Tools würden ohnehin fast jede offensive Aktion der Modelle als verdächtig markieren, was das Aufspüren echter Grenzüberschreitungen erschwere.

Irregular betont, es gebe keine Hinweise darauf, dass Systeme oder Daten der eigenen Kund:innen betroffen seien, und die Probleme seien noch vor der ersten Offenlegung behoben worden. Die angegriffene Domain habe gängige Sicherheitsmaßnahmen vermissen lassen, weshalb der Vorfall wenig über die Fähigkeiten einzelner Modelle aussage.

Anthropics eigene Analyse stützt den Befund, dass die Testarchitektur eine zentrale Rolle spielte. Laut Anthropic stand in allen vier Prompts, dass Claude keinen Internetzugang habe, keiner der Prompts legte aber fest, welche Systeme im Rahmen der Übung angegriffen werden durften. Effort hebt hervor, dass die realen Angriffe in Anthropics Nachtests auf null Prozent fielen, sobald die Modelle ausdrücklich angewiesen wurden, keine realen Systeme anzugreifen, und leitet daraus ab, dass die Verantwortung bei Anthropic und Irregular liege und die Rede von „abtrünnigen“ Agenten überzogen sei.

Wie Irregular nachbessern will

Irregular hat nach eigenen Angaben die betroffene Evaluierung deaktiviert, alle relevanten Logs geprüft und die betroffenen Parteien informiert. Darüber hinaus kündigt das Startup an:

• Mehrschichtige Absicherung: ein ausgebauter „Defense in Depth“-Ansatz, damit Probleme früher und auf mehreren Ebenen erkannt werden.
• Mehr manuelle Kontrolle: deutlich mehr menschliche Prüfung der Aktionen von Modellen während der Tests.
• Internes Red Team: ein eigenes Team, das die Annahmen zu Sicherheit, Abschottung und Kontrolle der Modelle hinterfragen soll.
• Klarere Absprachen: ein dokumentierter Prozess mit den Kund:innen zu Aufbau, Annahmen und Parametern jeder Übung.
• Laufende Namensprüfung: fiktive Namen in Szenarien sollen vor jedem Lauf erneut gegen real existierende Domains geprüft werden.
• Branchenstandards: ein offenes Whitepaper mit Best Practices für Internetzugang und Abschottung bei Cyber-Evaluierungen.

Gegenüber dem Wall Street Journal erklärte ein Irregular-Sprecher: „Irregular hat sofort gehandelt, und alle bekannten Probleme auf unserer Seite wurden bereits vor Wochen behoben.“

Gründer und Investor:innen

Gegründet wurde Irregular von Dan Lahav (CEO) und Omer Nevo (CTO). Im Herbst 2025 sammelte das Unternehmen laut TechCrunch 80 Millionen US-Dollar bei einer Bewertung von rund 450 Millionen Dollar ein. Angeführt wurde die Runde von Sequoia Capital und Redpoint Ventures, auch Wiz-CEO Assaf Rappaport beteiligte sich. Das israelische Wirtschaftsmedium Calcalist zählte Irregular heuer zu den 50 vielversprechendsten Startups des Landes.

Effort beleuchtet zudem die Verbindungen der Gründer zur Effective-Altruism-Bewegung. Omer Nevo sitzt demnach im Vorstand von Effective Altruism Israel und ist bei den Organisationen Heron und Probably Good aktiv, die er teils gemeinsam mit seinem Bruder Sella Nevo gegründet hat. Dan Lahav und Sella Nevo erhielten laut Effort eine Förderempfehlung des EA Infrastructure Fund über knapp 395.000 Dollar für einen Online-Kurs. Als ersten Geldgeber von Irregular nennt Effort Good Ventures, die Stiftung von Facebook-Mitgründer Dustin Moskovitz, dessen Förderorganisation Coefficient Giving (vormals Open Philanthropy) auch mehrere dieser EA-Organisationen finanziert. Effort steht der EA-Bewegung und der AI-Safety-Szene erkennbar kritisch gegenüber und wirft ihr vor, mit Begriffen wie „Rogue Agents“ von der Verantwortung der beteiligten Firmen abzulenken.

Das Medium wirft auch rechtliche Fragen auf: Unbefugter Zugriff auf fremde Systeme könne unter Umständen gegen den US Computer Fraud and Abuse Act verstoßen. Effort räumt allerdings selbst ein, dass für strafrechtliche Konsequenzen konkrete Schäden, Vorsatz und eine Zurechnung an Irregular nachgewiesen werden müssten. Zudem verweist Effort darauf, dass Irregular mit Pattern Labs Tech Inc. eine Gesellschaft in Delaware und mit Pattern Tech Ltd. eine in Tel Aviv betreibt.