Anthropic stoppte Biowaffen-nahe Forschung und Waffenentwicklung bei Claude

Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.

Der KI-Anbieter Anthropic hat kürzlich seinen bisher umfangreichsten Bericht über den Missbrauch der eigenen Modelle veröffentlicht. Darin beschreibt das Unternehmen unter anderem fünf Fälle, in denen Wissenschaftler:innen Claude für biologische Forschung eingesetzt haben, die potenziell zur Entwicklung von Biowaffen beitragen könnte. Der Threat-Intelligence-Report umfasst rund 150 Seiten und deckt Aktivitäten über einen Zeitraum von etwa acht Monaten ab.

Bemerkenswert ist vor allem, wie Anthropic mit der Unsicherheit umgeht. Das Unternehmen räumt ein, dass es in keinem der Fälle feststellen konnte, ob die Forschung legitimen oder schädlichen Zwecken diente. Biologische Grundlagenforschung, die zu Impfstoffen führen kann, ist methodisch oft dieselbe, die auch das Design gefährlicher Erreger ermöglicht. Angesichts dieser Ambivalenz habe man sich für den vorsichtigeren Weg entschieden, weil die Folgen eines übersehenen Missbrauchs gravierend sein könnten, berichtet die New York Times.

Chikungunya, Vogelgrippe und Orthopoxviren

Zu den dokumentierten Fällen zählt laut Bericht ein Förderantrag, in dem es um Chikungunya-Viren ging, inklusive Modifikationen zur Steigerung der Übertragbarkeit und zur Umgehung der Immunantwort. Der Antrag stand im Zusammenhang mit einem militärischen Forschungsinstitut. Weitere Fälle betrafen wochenlange Studienplanung und Datenanalyse rund um hochpathogene Vogelgrippe sowie Arbeiten zu Orthopoxviren, Giftstoffen und toxinbezogenen Verbindungen.

Die Schutzmechanismen von Claude blockierten die sensiblen Anfragen und verwehrten den Zugang zu leistungsfähigeren Modellversionen. In mindestens einem Fall wichen die Beteiligten daraufhin auf ein Konkurrenzmodell mit schwächeren Schutzvorkehrungen aus. Anthropic sperrte die betroffenen Accounts und teilte die Erkenntnisse mit Behörden und anderen KI-Anbietern.

Anthropic verzichtet im Bericht bewusst darauf, Institutionen, Länder oder Personen zu benennen. Begründung: Man behaupte nicht, dass die Betroffenen Schaden anrichten wollten, und eine Identifizierung könnte sie selbst gefährden. Jacob Klein, der bei Anthropic für Threat Intelligence zuständig ist, beschreibt die Fälle als deutlich subtiler als das gängige Klischee. Niemand schreibe in den Chat, dass er eine Biowaffe bauen wolle.

Der Bericht legt damit auch ein strukturelles Problem offen: In einem Überprüfungszeitraum von 30 Tagen identifizierte Anthropic 35 Forschungsvorhaben staatsnaher Institutionen, von denen der Großteil legitime zivile Wissenschaft betraf. Ein Klassifikator könne nicht gleichzeitig Nutzen ermöglichen und Schaden verhindern, heißt es sinngemäß im Report.

Andrew Weber, Senior Fellow beim Council on Strategic Risks, der den Bericht vor Veröffentlichung gelesen hat, nennt die Befunde gegenüber der New York Times „chilling examples of state-sponsored biological weapons developers tapping into the rapidly advancing capabilities“ führender KI-Modelle.

Neu im Bericht: konventionelle Waffen

Erstmals dokumentiert Anthropic auch Versuche, Claude für die Entwicklung konventioneller Waffen einzusetzen. Insgesamt sechs Fälle werden beschrieben:

• China: In drei Fällen nutzten Entwickler:innen Claude Code als Ersatz für Software-Engineers, um an Steuerungs- und Leitsystemen für Waffenplattformen zu arbeiten.
• Russland: In zwei Fällen setzten freiberuflich agierende Akteur:innen das Modell für die Entwicklung autonomer Kamikaze-Drohnenschwärme ein.
• Jemen: Eine Zelle im Norden des Landes arbeitete mit Claude an drei Waffenprogrammen, darunter eine gelenkte Rakete (offenbar erfolglos getestet), eine mehrstufige ballistische Rakete mit angestrebter Reichweite von über 2.000 Kilometern sowie Varianten eines Hyperschall-Gleitflugkörpers. Der Bericht nennt die Beteiligten nicht beim Namen, aus dem Kontext geht jedoch hervor, dass es sich um die vom Iran unterstützte Huthi-Miliz handelt.

Überwachung, Propaganda und Cyberangriffe

Der größere Teil des Reports befasst sich mit bereits bekannten Missbrauchsmustern. Dazu zählen staatsnahe Akteur:innen aus China und dem Iran, die Dissident:innen und Diaspora-Communities überwachen. In Mali baute ein einzelner Berater ein System namens Lakana 360 auf, das rund 25 Millionen SIM-Karten aller drei Mobilfunkanbieter des Landes erfassen sollte, unter Umgehung richterlicher Anordnungen. Iranische Akteur:innen verbreiteten eine schädliche Firefox-Erweiterung, die Social-Media-Identitäten abgriff. In China automatisierte eine Einheit für Religionsangelegenheiten die Arbeit von Analyst:innen, eine andere Operation bewertete Social-Media-Posts nach politischer Sensibilität und markierte Personen zur „Kontrolle“.

Im Bereich Einflussoperationen beschreibt Anthropic russische Staatsmedien, die mit Claude Online-Propaganda erzeugten, die wie unabhängige Berichterstattung aussehen sollte, inklusive erfundener Behauptungen über eine Wahl in Moldau. Dazu kommen eine französische Digitalagentur mit rund 70 gefälschten Nachrichtenseiten in 20 Sprachen sowie eine Plattform zur Wahlmanipulation in Malaysia mit etwa 1.000 Fake-Accounts auf X.

Im Cyber-Bereich listet der Bericht unter anderem eine der Gruppe Midnight Blizzard zugeschriebene russische Spionagekampagne gegen ukrainische und europäische Regierungsstellen auf, dazu kriminelle Gruppen, die es gezielt auf die KI-Lieferkette selbst abgesehen haben, etwa durch den Diebstahl von API-Keys. Anthropic hatte schon zuvor über KI-gestützte Erpressungsversuche und autonome Angriffe auf Unternehmen berichtet.

Die Kernaussage des Reports fasst Anthropic selbst so zusammen: Anspruchsvolle Angriffe erforderten keine anspruchsvollen Angreifer:innen mehr. KI senke Aufwand und Qualifikationsschwelle so weit, dass Einzelpersonen Operationen durchführen können, für die früher ganze Teams nötig waren. Was die Akteursgruppen noch unterscheide, sei die Absicht.