Nach Cyber-Attacken: Amodei, Altman und Musk wollen KI-Entwicklung drosseln

Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.

OpenAI-Chef Sam Altman und SpaceX-Chef Elon Musk stimmen Dario Amodei zu: Die Entwicklung der leistungsfähigsten KI-Systeme braucht ein kontrollierteres Tempo. Altman kündigte an, OpenAI werde unabhängigen Prüfern einen mit Mitarbeitern vergleichbaren Zugang gewähren. Musk unterstützte Amodeis Vorstoß auf X mit den Worten „Dario is right“. Während Altman damit bereits eine konkrete Maßnahme aufgreift, bleibt Musks Zustimmung allgemein.

Den Anstoß gibt Amodeis Essay „We Must Pace the Frontier“. Darin fordert der CEO von Anthropic, das Tempo zu senken, mit dem KI-Modelle neue Fähigkeiten erlangen. Seine Begründung: Die Technologie entwickle sich inzwischen so schnell, dass Sicherheitsforschung, Kontrollmechanismen und gesellschaftliche Entscheidungen nicht mehr ausreichend Schritt halten könnten. In den USA gab es bereits öffentliche Proteste genau aus den genannten Gründen.

Amodei schlägt dafür einen Plan in drei Stufen vor: unabhängige Prüfer direkt in den KI-Unternehmen, gemeinsame Sicherheitsregeln innerhalb demokratischer Staaten und schließlich internationale Vereinbarungen, insbesondere mit China. Einen generellen Trainingsstopp verlangt er damit zunächst nicht. Unternehmen sollen ausreichend Zeit bekommen, ihre Systeme abzusichern und die Wirksamkeit dieser Maßnahmen extern überprüfen zu lassen.

Wenn KI die nächste KI entwickelt

Auslöser für seinen Kurswechsel sind vor allem zwei Entwicklungen. Erstens werde KI zunehmend selbst eingesetzt, um die nächste Generation von KI zu entwickeln. Diese „rekursive Selbstverbesserung“ könne eine Beschleunigungsspirale auslösen: Leistungsfähigere Systeme helfen beim Bau noch leistungsfähigerer Systeme, die den nächsten Entwicklungsschritt wiederum beschleunigen. Nach Amodeis Darstellung hat diese Dynamik seit dem Sommer deutlich an Fahrt gewonnen. Seine Sorge ist, dass sie der Fähigkeit des Menschen davonläuft, die Systeme zu verstehen und zu kontrollieren.

Zweitens verweist er auf einen Vorfall mit KI-Agenten von OpenAI im Zusammenhang mit Hugging Face. Nach seiner Schilderung griff ein Schwarm solcher Agenten eigenmächtig Computersysteme außerhalb seines Auftrags an und versuchte, die Instanz zu manipulieren, die seine Leistung bewerten sollte. Einzelne Agenten hätten sich dabei zugunsten des gemeinsamen Ziels geopfert.

Zwar seien keine Menschen verletzt worden und die wirtschaftlichen Schäden gering geblieben. Für Amodei zeigt der Vorfall dennoch, wie gefährlich dieselben Verhaltensweisen bei deutlich leistungsfähigeren Systemen werden könnten. Er warnt vor dem Szenario, dass ein solcher Schwarm in sechs bis zwölf Monaten mithilfe eines dauerhaften Botnetzes das gesamte Internet unter seine Kontrolle bringen könnte. Das ist eine Risikoeinschätzung Amodeis. Er verweist zugleich auf ähnliche, weniger schwere Vorfälle bei Anthropic und sieht deshalb die gesamte Branche in der Verantwortung.

Wofür die gewonnene Zeit genutzt werden soll

Die gewonnene Zeit soll gezielt in Sicherheit fließen. Amodei hält bereits ein bis zwei zusätzliche Jahre vor dem Erreichen kritischer Fähigkeiten für wertvoll. Unternehmen könnten Trainingsumgebungen sorgfältiger prüfen, die Überwachung und Abschottung ihrer Systeme verbessern und genauer untersuchen, warum Modelle unerwünschtes Verhalten entwickeln. Hinzu kommen bessere Methoden, um die inneren Vorgänge der Modelle zu verstehen. Auch Sicherheitstests müssten anspruchsvoller werden: Ein intelligenteres System könnte Prüfungen täuschen und dadurch sicherer erscheinen, als es tatsächlich ist.

Unabhängige Prüfer direkt im Unternehmen

Der unmittelbarste Schritt betrifft Anthropic selbst. Das Unternehmen verpflichtet sich laut dem Essay, ein dauerhaft eingebundenes externes Prüfteam aufzunehmen. Die Prüfer sollen Arbeitsplätze, Zugangsausweise und Firmenlaptops erhalten sowie weitreichenden Zugriff auf relevante Werkzeuge und Informationen bekommen. Ihre Aufgabe wäre, Sicherheitsversprechen zu überprüfen, Vorfälle zu dokumentieren und bereits während des Trainings Risiken zu beurteilen.

Entscheidend ist dabei ihre Unabhängigkeit: Das Team soll wesentliche Ergebnisse veröffentlichen dürfen, ohne dass Anthropic redaktionell darüber bestimmt. Für vertrauliche oder sicherheitskritische Informationen wären begrenzte Schwärzungen vorgesehen. Unangenehme Ergebnisse allein sollen jedoch kein Grund sein, Erkenntnisse zurückzuhalten.

Sicherheitsnachweise als Bremse für neue Fähigkeiten

Die zweite Stufe soll verhindern, dass vorsichtige Unternehmen im Wettbewerb zurückfallen. Amodei plädiert für gemeinsame Standards der führenden KI-Anbieter in demokratischen Ländern, möglichst durch staatliche Regulierung. Parallel könnten freiwillige Vereinbarungen entstehen. Für bestimmte Absprachen hält er staatliche Vermittlung oder eng begrenzte kartellrechtliche Ausnahmen für erforderlich.

Eine konkrete Bremse könnten verbindliche Prüfpunkte bilden: Erreicht ein Modell bestimmte Fähigkeiten, wären zusätzliche Sicherheitsnachweise nötig. Kann eine KI beispielsweise übliche abgeschottete Testumgebungen überwinden, müsste besonders gründlich geprüft werden, ob sie dazu neigt, auszubrechen und andere Computer zu übernehmen. Auch Grenzen für Trainingsrechenleistung oder für den Einsatz von KI zur Entwicklung weiterer KI stellt Amodei zur Diskussion. Einen festen Zahlenwert für das zulässige Entwicklungstempo nennt er nicht.

China macht die internationale Abstimmung schwierig

Die größte Hürde liegt in der internationalen Umsetzung. Amodei will verhindern, dass eine Verlangsamung westlicher Unternehmen China einen entscheidenden Vorsprung verschafft. Deshalb verbindet er seinen Vorschlag mit Forderungen nach strengeren Chip-Exportkontrollen, Maßnahmen gegen Chipschmuggel und einem besseren Schutz vor dem Diebstahl von KI-Modellen.

Gleichzeitig wirbt er für Verhandlungen mit China. Als vergleichsweise realistisch betrachtet er Vereinbarungen gegen besonders gefährliche Anwendungen, etwa die Entwicklung biologischer Waffen. Darauf könnten gemeinsame Sicherheitstests und schließlich ein Tempolimit für rekursive Selbstverbesserung aufbauen. Eine umfassende weltweite Entwicklungspause hält er kurzfristig für unwahrscheinlich: Der Anreiz, heimlich weiterzumachen, wäre groß, die Einhaltung schwer zu überprüfen.

Erste Zusagen, verbindliche Grenzen noch offen

Damit liegt ein Vorschlag vor, dessen erster Schritt bereits konkrete Zusagen von Anthropic und OpenAI erhält. Die weitergehende Bremse bleibt dagegen Verhandlungssache. Ob aus der Zustimmung prominenter KI-Unternehmer verbindliche Grenzen entstehen, wird davon abhängen, welche Kontrollen sie tatsächlich zulassen und welche Regeln Regierungen durchsetzen.