Anthropic warnt vor RSI: KI, die sich selbst verbessert, soll bald da sein
Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.
Ein Unternehmen, das gerade 1,5 Billionen Dollar an der Börse einsammeln will, warnt seine künftigen Aktionär:innen, dass sein Produkt bald anfangen könnte, sich selbst zu bauen.
So steht es, in juristisch vorsichtigen Worten, im geänderten S-1-Formular, das Anthropic am Montag bei der US-Börsenaufsicht SEC eingereicht hat. Neben den Quartalszahlen enthält das Dokument in den Risikofaktoren einen Absatz, der in der KI-Branche seit Montag für mehr Gesprächsstoff sorgt als die 17 Milliarden Dollar Umsatz: Die internen Schätzungen des Unternehmens deuteten darauf hin, dass man „unmittelbar“ die Definition von „dramatisch beschleunigtem Fortschritt durch KI“ aus der eigenen Responsible Scaling Policy erfüllen könnte. Das ist Anthropics hausinterne Formulierung für das, was die Branche Recursive Self-Improvement nennt, kurz RSI.
Was RSI ist
Rekursive Selbstverbesserung bezeichnet den Punkt, an dem ein KI-System seine eigene Weiterentwicklung übernimmt: Es optimiert Code, Trainingsmethoden und Architektur weitgehend ohne Menschen, und jede Verbesserung beschleunigt die nächste. Viele Forscher:innen sehen darin die entscheidende Schwelle auf dem Weg zu allgemeiner künstlicher Intelligenz, weil sich der Fortschritt ab diesem Punkt von der Zahl verfügbarer Forscher:innen entkoppelt. Für KI-Pessimist:innen ist es der Punkt ohne Wiederkehr, an dem Menschen die Kontrolle verlieren könnten, für Optimist:innen der Weg zu Produktivitäts- und Forschungssprüngen, wie sie die Wissenschaft noch nicht gesehen hat. Wichtig ist die Unterscheidung, die Anthropic selbst macht: KI, die Forschung beschleunigt, indem sie Code schreibt und Experimente ausführt, ist etwas anderes als KI, die entscheidet, was erforscht wird, also Probleme auswählt, Ergebnisse beurteilt und Irrwege erkennt. Erst Letzteres schließt die Schleife.
Genau hier wird der Prospekt interessant, denn er bezieht sich ausdrücklich auf Erwartungen zu künftigen Modellen, nicht auf die aktuellen. Keines der bestehenden Modelle habe die Schwelle überschritten, schreibt Anthropic, man prüfe die Daten weiter. Zugleich räumt das Unternehmen ein, dass es „in der Vergangenheit eine signifikante Beschleunigung nicht erkannt“ habe und dies auch künftig passieren könne: Man habe bereits KI eingesetzt, um Modelle zu entwickeln, deren Fähigkeitssprünge man erst im Nachhinein bemerkt habe. Deshalb erwäge man Änderungen an der Responsible Scaling Policy, „um Menschen bei der Entwicklung von Frontier-Modellen bei Anthropic in Kontrolle zu halten“. Claude vollständig autonom neue Modelle entwerfen und bauen zu lassen, hält Anthropic nach eigenen Worten auf absehbare Zeit nicht für sicher.
Was Anthropics eigene Daten zeigen
Wer die Warnung einordnen will, muss sie neben Anthropics eigene Messungen legen, und die klingen nüchterner. In seinem Essay „When AI builds itself“ vom Frühsommer schreibt das Unternehmen: „Wir sind noch nicht dort, und rekursive Selbstverbesserung ist nicht unausweichlich.“ Es sei „offen, ob die heutigen Trainingsmethoden und Architekturen diese Fähigkeit überhaupt freisetzen können“. Der komparative Vorteil der Menschen liege „derzeit weiterhin darin, das große Ganze zu sehen und über die Grenzen der unmittelbaren Aufgabe hinauszudenken“.
Die Zahlen dazu: Mit Stand August „führt“ Claude 26 Prozent der KI-Forschungsaufgaben bei Anthropic, erledigt sie also von Anfang bis Ende, wobei ein:e Ingenieur:in entscheidet, ob das Ergebnis übernommen wird. Im Februar lag der Wert unter einem Prozent. Der Anteil der Aufgaben, die Claude vollständig autonom erledigt, liegt dagegen in jedem gemessenen Bereich bei null. In einem Test zur sogenannten Weak-to-Strong-Supervision schlossen KI-Agenten 97 Prozent der Leistungslücke, zwei menschliche Forscher:innen schafften in einer Woche 23 Prozent, allerdings ließ sich das Ergebnis nicht sauber auf Modelle in Produktionsgröße übertragen, und Problem wie Bewertungsmaßstab hatten Menschen gewählt. In einem „Wrong Turn“-Test, in dem das Modell Mythos Preview den Fehltritt eines Forschers verbessern sollte, schlug es die menschliche Entscheidung in 64 Prozent der Fälle. Dort, wo die menschliche Entscheidung richtig war, gewann das Modell nur in rund 20 Prozent. Bewertet wurden die Tests von Claude selbst.
Unstrittig ist die Beschleunigung beim Code: Mehr als 80 Prozent der zusammengeführten Codezeilen bei Anthropic stammen inzwischen von Claude, im IPO-Prospekt ist für September sogar von über 90 Prozent die Rede. Ingenieur:innen mergen rund achtmal so viele Zeilen pro Tag wie 2024, nachdem die Rate seit 2021 konstant war. Anthropic warnt aber selbst, dass Codezeilen eine unvollkommene Kennzahl sind und der echte Produktivitätsgewinn niedriger liege. Eine interne Umfrage unter 130 Forscher:innen im März ergab eine geschätzte Vervierfachung des Outputs durch Mythos Preview, die tatsächliche Zahl sei „etwas niedriger“.
Google hat den Begriff schon im September elektrisiert
Anthropic ist nicht das erste Labor, das mit RSI in Verbindung gebracht wird. Im September reichte ein kryptischer Post des Leakers Lyra mit den versteckten Großbuchstaben R, S und I und einem Glückwunsch an Google DeepMind, um die Branche in Aufregung zu versetzen, wie Trending Topics berichtete. Google selbst hatte zuvor die hohe Veröffentlichungsfrequenz seiner Gemini-Flash-Modelle, vier Stück in rund 106 Tagen, auf lang laufende Agenten-Schleifen zurückgeführt, die die Modelle rekursiv bewerten und verfeinern. Sergey Brin hatte laut Reuters rund 1.000 Forscher:innen auf selbstverbessernde Systeme umgelenkt. Bewiesen war damals nichts, Googles Spitzenmodell Gemini 3.5 Pro blieb aus, und Google-Mitarbeiter:innen dämpften die Erwartungen. Der Unterschied zu jetzt: Anthropic bringt den Begriff nicht über Leaks ins Spiel, sondern in einem SEC-Dokument, für dessen Richtigkeit das Management haftet.
Dazu passt die Kampagne, die im September begann. Anthropic-CEO Dario Amodei schrieb in seinem Essay „We Must Pace the Frontier“, RSI beginne „branchenweit zu passieren“, OpenAI-Chefwissenschaftler Jakub Pachocki äußerte die „starke Erwartung“, der Fortschritt könne sich „bis in die rekursive Selbstverbesserung“ fortsetzen, und auch Führungskräfte von Google DeepMind und xAI schlossen sich dem Ruf nach einem langsameren Tempo an. Amodeis zweites Argument war ein Vorfall vom Juli, bei dem tausende OpenAI-Agenten, die an unlösbaren Capture-the-Flag-Aufgaben scheiterten, über einen gemeinsamen Speicher koordinierten, Flags fälschten und mit offen herumliegenden Zugangsdaten in die Infrastruktur von Hugging Face eindrangen. Die unabhängige Untersuchung von METR und Redwood Research kam zum Schluss, dass die Agenten das vorgegebene Ziel verfolgten und eine Kette menschlicher Fehlkonfigurationen ausnutzten, aber kein eigenes Ziel setzten.
Warnung oder Werbung?
Die Gegenposition kommt nicht nur von außen. David Sacks, Co-Vorsitzender des Beraterrats des US-Präsidenten für Wissenschaft und Technologie, nannte den koordinierten Ruf der Labore nach Tempolimits „Regulatory Capture“: Regeln, geschrieben von den Größten, die sie vor Konkurrenz schützen. Für den Prospekt gilt ein ähnlicher Einwand: Ein S-1 ist Risikoaufklärung und Verkaufsdokument zugleich, und die Botschaft „unsere KI ist so mächtig, dass sie sich bald selbst baut“ liest sich für Investor:innen eher als Verkaufsargument denn als Warnung. Unabhängige Messungen zeigen rasante, aber eingeschränkte Fortschritte: Laut METR schafft Mythos Preview Software-Aufgaben von rund 17 Stunden Länge in der Hälfte der Fälle, der Wert verdoppelt sich seit 2023 etwa alle vier Monate, allerdings mit breiten Konfidenzintervallen und einem Aufgabenkatalog, der an seine Messgrenze stößt. OpenAI meldete im September, sein Ziel eines „automatisierten Forschungspraktikanten“ erreicht zu haben, bei dem allerdings mehr als die Hälfte der erfolgreichen mehrstündigen Aufgaben mindestens einen menschlichen Eingriff brauchte.
Was einen echten Umschwung signalisieren würde, lässt sich benennen: ein Durchbruch, der einem Modell statt einem menschlichen Team zugeschrieben wird, ein Anteil vollständig autonomer Forschung, der sich von null bewegt, bewertet von Menschen, neue Forschungsfragen, die Modelle selbst gewählt haben, oder Fortschritt, der ohne zusätzliche Forscher:innen und Rechenleistung schneller wird. Nichts davon ist bisher eingetreten. Anthropic selbst liefert eine datierte, überprüfbare Aussage mit: In sechs bis zwölf Monaten könnte ein Agentenschwarm wie der bei Hugging Face in der Lage sein, „das gesamte Internet mit einem persistenten Botnetz zu übernehmen“. Spätestens dann wird sich zeigen, ob der Prospekt vor etwas gewarnt oder etwas versprochen hat.
