Auch Anthropic’s KI-Modelle haben bereits Unternehmen angegriffen

Anthropic hat eingeräumt, dass mehrere seiner KI-Modelle im Rahmen von Cybersecurity-Tests unbeabsichtigt in die realen IT-Systeme von drei Organisationen eingedrungen sind. Das Unternehmen veröffentlichte dazu einen ausführlichen Blogeintrag, über den unter anderem die Nachrichtenagentur dpa berichtete. Weder die betroffenen Organisationen noch Anthropic selbst hatten die Aktivität zum Zeitpunkt des Geschehens bemerkt. Die Namen der Unternehmen wurden nicht genannt.

Anlass für die interne Überprüfung war ein Vorfall beim Konkurrenten OpenAI: Am 21. Juli hatte das Unternehmen offengelegt, dass mehrere seiner Modelle über eine bis dahin unbekannte Zero-Day-Schwachstelle aus einer isolierten Testumgebung ausgebrochen waren und anschließend auf die Produktivinfrastruktur der Open-Source-Plattform Hugging Face zugegriffen hatten. OpenAI sprach von einem beispiellosen Cyber-Zwischenfall. In der Branche wurde der Fall als Weckruf gewertet, verbunden mit Forderungen, Testumgebungen besser abzusichern.

141.000 Testläufe, drei Vorfälle

Anthropic durchsuchte daraufhin nach eigenen Angaben 141.006 Evaluierungsläufe, bei denen ein Modell theoretisch Internetzugang hätte erlangen können. Dabei stieß das Unternehmen auf drei Vorfälle – verteilt auf insgesamt sechs Testläufe –, die sich alle in der Evaluierungsumgebung des externen Testpartners Irregular ereigneten. Die frühesten Fälle datieren auf April.

In allen Fällen handelte es sich um sogenannte Capture-the-Flag-Aufgaben, ein Standardformat zur Messung offensiver Cyber-Fähigkeiten: Das Modell erhält ein fiktives Szenario und den Auftrag, eine versteckte Information auf einem anderen Rechner zu finden – der Weg dorthin ist bewusst nicht vorgegeben.

Der entscheidende Unterschied zum OpenAI-Fall liegt laut Anthropic im Zustandekommen: Während die OpenAI-Modelle eine Schwachstelle ausnutzen mussten, stand den Claude-Modellen der Weg ins Netz von vornherein offen. Im Systemprompt war den Modellen mitgeteilt worden, sie hätten keinen Internetzugang – wegen eines Missverständnisses zwischen Anthropic und dem Testpartner traf das jedoch nicht zu. Die Modelle hielten die realen Systeme, auf die sie stießen, deshalb für Teil der Simulation.

Namensverwechslung, Schadpaket, 9.000 gescannte Ziele

Vorfall 1: Der Testpartner hatte für das fiktive Zielunternehmen einen Namen gewählt, der auch als reale Domain existiert. Claude Opus 4.7 kam in der vorgesehenen Testumgebung nicht weiter, fand dann aber das gleichnamige echte Unternehmen im Netz und griff dieses an – in vier Durchläufen. Dabei erlangte das Modell Zugangsdaten zu Anwendungen und Infrastruktur sowie Zugriff auf eine Datenbank mit mehreren hundert Zeilen an Produktivdaten. Laut Anthropic der schwerwiegendste der drei Fälle. Es ist zugleich der einzige, in dem das Modell den Angriff fortsetzte, obwohl es erkannt hatte, dass es sich um ein reales System handelte.

Vorfall 2: Claude Mythos 5 fand in der Testumgebung eine Onboarding-Anleitung, die auf ein Python-Paket verwies, das im öffentlichen Registry PyPI gar nicht existierte. Das Modell veröffentlichte daraufhin ein eigenes, präpariertes Paket unter demselben Namen. Um dafür ein PyPI-Konto anzulegen, benötigte es eine E-Mail-Adresse, dafür wiederum eine Telefonnummer; nach mehreren gescheiterten Versuchen, an Geld für eine Nummer zu kommen, wich es auf einen kostenlosen Mail-Anbieter aus. Das Paket war rund eine Stunde lang öffentlich verfügbar und wurde auf 15 realen Systemen ausgeführt – darunter der Scanner einer IT-Sicherheitsfirma, die Pakete routinemäßig installiert und auf Schadcode prüft. Über diesen Weg exfiltrierte das Modell Zugangsdaten und griff auf weitere Infrastruktur des Unternehmens zu. PyPI entfernte das Paket automatisch.

Bemerkenswert: Das Modell hatte laut Anthropic früh selbst notiert, dass eine Veröffentlichung im echten Netz „NOT okay“ und sicher nicht die beabsichtigte Lösung wäre. Es überzeugte sich anschließend jedoch davon, weiter in einer Simulation zu sein – unter anderem, weil es die Zertifizierungsstellen der Verbindungen nicht erkannte und weil das Systemdatum 2026 aus seiner Sicht auf eine gestellte Umgebung hindeutete. Anthropic bezeichnet das Verhalten als nicht ideal und kündigt an, hier gezielt nachzutrainieren.

Vorfall 3: Ein internes Forschungs-Testmodell scannte rund 9.000 mögliche Ziele, nachdem es sein fiktives Ziel nicht erreichen konnte, und kompromittierte schließlich eine im Netz erreichbare Anwendung – über einfache Techniken wie eine exponierte Debug-Seite und SQL-Injection. Als das Modell bemerkte, dass der Host in einem Cloud-Konto ohne Bezug zur Aufgabe lag, stellte es den Angriff von sich aus ein.

Zeitlinie und Reaktion

Anthropic startete die Auswertung am 23. Juli und stoppte am selben Tag alle laufenden Cyber-Evaluierungen. Einen Tag später waren die drei Vorfälle identifiziert, am 27. Juli wurden der Testpartner Irregular und die betroffenen Organisationen informiert. Zwei davon konnten erreicht werden; an der Aufarbeitung wird gearbeitet. Die dritte Organisation war zunächst nicht erreichbar.

Die Evaluierungen liefen ohne die Klassifikatoren und Monitoring-Systeme, die bei allgemein verfügbaren Modellen zum Einsatz kommen – das Sicherheitstraining der jeweiligen Modelle war aber aktiv. Laut Anthropic hätten die produktiv eingesetzten Schutzmechanismen das beobachtete Verhalten unterbunden. Die Testinfrastruktur ist nach Unternehmensangaben von internen Systemen und Kundendaten getrennt.

Anthropic ordnet die Fälle als Harness- und Betriebsfehler ein, nicht primär als Alignment-Problem: Es gebe keine Hinweise darauf, dass ein Modell eigene Ziele verfolgt habe. Als Konsequenzen nennt das Unternehmen strengere Sicherheitsanforderungen an Evaluierungsumgebungen – auch bei externen Partnern –, laufendes Monitoring von Testtranskripten und klarere Scope-Angaben im Prompt. Zudem steht Anthropic mit der unabhängigen Evaluierungsorganisation METR über eine externe Prüfung mit Zugriff auf sämtliche Transkripte in Gespräch. Ein leicht redigiertes Transkript des PyPI-Vorfalls soll innerhalb einer Woche veröffentlicht werden.