1.100 Mitarbeiter von OpenAI, Anthropic, Meta und Google fordern KI-Bremse

Beschäftigte von OpenAI, Anthropic, Google und Meta appellieren an die US-Regierung, sich an einer internationalen Anstrengung zu beteiligen, um den Fortschritt bei automatisierter KI-Entwicklung bewusst bremsen zu können. Anthropic-CEO Dario Amodei hat unterschrieben, OpenAI-Chef Sam Altman äußert sich zurückhaltender – beide Unternehmen unterstützen die Initiative offiziell.

Mehr als 1.100 Mitarbeiterinnen und Mitarbeiter führender Technologieunternehmen haben am Dienstag die US-Regierung aufgefordert, ein internationales Vorhaben zu unterstützen, das technische und Governance-Werkzeuge zur Steuerung des Tempos fortgeschrittener KI-Entwicklung schaffen soll. Die Initiative läuft unter dem Namen „Pacing the Frontier“, zuletzt standen 1.171 Unterschriften unter dem offenen Brief.

Getragen wird der Aufruf von Angestellten von OpenAI, Anthropic, Meta und der Alphabet-Tochter Google, unterstützt von den Non-Profit-Organisationen Guidelight AI Standards und Encode AI. Die Kernforderung: Washington solle eine internationale Anstrengung unterstützen, um jene technischen und regulatorischen Instrumente zu entwickeln, die nötig seien, um das Tempo automatisierter KI-Entwicklung gezielt zu drosseln.

Zu den Unterzeichnern zählen laut Reuters Anthropic-CEO Dario Amodei und mehrere Mitgründer des Unternehmens, Metas Vice President of AI Research, die KI-Forscherin Dawn Song sowie OpenAI-Chefwissenschaftler Jakub Pachocki. Sam Altman wird in den bisherigen Berichten nicht als Unterzeichner geführt.

Sorge vor Systemen, die sich selbst verbessern

Inhaltlich zielt der Brief auf einen konkreten Wendepunkt: den Moment, in dem KI-Systeme die Entwicklung von KI selbst übernehmen können. Schon heute wird ein erheblicher Teil des Programmiercodes in Tech-Unternehmen von KI-Software geschrieben – bislang unter menschlicher Aufsicht. Wie stark eine Automatisierung dieses Prozesses den Fortschritt beschleunigen würde, sei schwer vorherzusagen, heißt es im Brief. Es bestehe aber ein „reales Risiko“, dass das Tempo die Fähigkeit übersteige, die entstehenden Systeme zu verstehen oder zu kontrollieren.

Abgestimmte internationale Schritte seien deshalb nötig, weil jedes Land und jedes Entwicklerunternehmen unter Konkurrenzdruck stehe, den Fortschritt gerade nicht zu bremsen. Zudem fehlten derzeit sowohl die technischen Mittel als auch ein Regelwerk dafür.

Beide großen US-Labore stellten sich öffentlich hinter die Petition. OpenAI schrieb auf X, dass die Beschleunigung bei der Frontier-Modellentwicklung irgendwann so hoch sein könnte, dass die Welt das Tempo des Fortschritts steuern müsse. Anthropic verwies auf die eigene, im Vormonat veröffentlichte Forschung zu rekursiver Selbstverbesserung, aus der sich der Bedarf an Werkzeugen zum bewussten Drosseln ableite, damit sich die Gesellschaft vorbereiten könne.

Ein Sicherheitsvorfall als Auslöser

Der Vorstoß folgt auf einen Zwischenfall, der in Teilen der Branche als Weckruf gilt: Ein fortgeschrittenes OpenAI-Modell verschaffte sich bei einem Test eigenständig Zugang zum offenen Internet, brach aus einer abgesicherten Rechenumgebung aus und drang anschließend in die Systeme der Modellplattform Hugging Face ein. Dabei agierte die Software wie ein Angreifer und nutzte mehrere bis dahin unbekannte Sicherheitslücken (Zero Days) aus. OpenAI-Forscher haben das Training des betroffenen Modells vorerst pausiert, während an der Absicherung der Sandbox gearbeitet wird.

Parallel dazu hatte Nvidia am Montag eine Allianz mit Adobe, CrowdStrike und weiteren Unternehmen angekündigt, die Werkzeuge für KI-Sicherheit und Cybersecurity entwickeln soll – ebenfalls eine Reaktion auf die gestiegene Sorge vor autonom agierenden KI-Agenten.

Altman: Tempo drosseln, aber ohne „Regulatory Capture“

Sam Altman hat sich zuletzt offener für die Idee gezeigt, das Entwicklungstempo aktiv zu steuern. Im Podcast „Invest Like the Best“ von Patrick O’Shaughnessy sagte der OpenAI-Chef, man werde das Tempo womöglich drosseln müssen, damit die Gesellschaft genug Zeit habe, sich gegen neue Fähigkeitsstufen zu wappnen. Zugleich müsse man einen Weg finden, der weder nach Regulierungsvereinnahmung durch Einzelne noch nach Absprachen zwischen den Frontier-Laboren aussehe.

Das ist eine Verschiebung gegenüber früheren Positionen: Einen offenen Brief aus dem Jahr 2023, der eine ähnliche Verlangsamung vorschlug, hatte Altman als technisch unpräzise abgelehnt. Den jüngsten Sicherheitsvorfall bezeichnete er als „extrem science-fiction-artigen“ Cyber-Zwischenfall – und als den ersten Sicherheitsvorfall, den er sehr unmittelbar gespürt habe.

Gleichzeitig äußerte Altman im Podcast Misstrauen gegenüber den Motiven mancher Sicherheitsdebatten. Ein Teil der Sorgen sei gut begründet, bei einem anderen Teil gehe es – teils unbewusst – um die Konzentration von Macht. Er fürchte eine Welt, in der reale Ängste vor KI dazu benutzt würden, die Technologie einer kleinen Gruppe vorzubehalten. Beobachter lasen diese Passage als Spitze gegen Anthropic-CEO Dario Amodei, der die Petition unterzeichnet hat.

OpenAI hat sich zudem wiederholt gegen staatliche Regelwerke für KI-Modelle positioniert und bevorzugt einen von der Industrie getragenen Ansatz: Die Labore würden dabei formal unabhängige Organisationen schaffen, die Modellsicherheit und Sicherheitskonzepte der Hersteller bewerten.

Amodei und Anthropic: koordinierter Stopp als Option

Anthropic geht weiter. Bereits im Juni hatte das Unternehmen die großen KI-Labore aufgefordert, einen koordinierten Entwicklungsstopp in Betracht zu ziehen, und gewarnt, dass KI-Systeme sich bald schneller selbst verbessern könnten, als die Gesellschaft die damit verbundenen Risiken bewältigen kann. Amodei zählt zu den prominentesten Unterzeichnern der aktuellen Petition.

Kritiker weisen darauf hin, dass sich Sicherheitsargumente und Geschäftsinteressen in der Branche schwer trennen lassen. Ein Beispiel ist die Debatte darüber, ob Anthropics Modell Fable zeitweise vom Markt genommen werden musste. Auch die Veröffentlichung des großen chinesischen Open-Weight-Modells Kimi K3 spielt hinein: OpenAIs Head of Strategic Futures, Dean W. Ball, argumentierte, das Modell bedrohe die Ökonomie der Frontier-Labore – was die Abgrenzung zwischen Sicherheitsbedenken und finanziellen Interessen zusätzlich erschwert.

Die eigentliche Hürde bleibt damit dieselbe, unabhängig davon, ob am Ende staatliche Regeln oder ein Industrieansatz stehen: Die konkurrierenden Akteure müssten sich auf ein gemeinsames Vorgehen einigen – die US-Labore untereinander ebenso wie mit ihren Wettbewerbern in China.