Ex-Mitarbeiter: „Anthropic und OpenAI spielen mit unser aller Leben“
Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.
Ein Forscher, der zuletzt an den Grundlagenmodellen von OpenAI und Anthropic mitgearbeitet hat, hat seinen Rücktritt öffentlich gemacht und dabei beide Unternehmen scharf kritisiert. Jacob Coxon, drei Jahre lang im Pretraining tätig, also in jenem Bereich, in dem die Basismodelle überhaupt erst entstehen, veröffentlichte seine Begründung in der Nacht auf Mittwoch auf X. Der Thread wurde binnen weniger Stunden millionenfach abgerufen.
„Ich habe heute bei Anthropic gekündigt“, schreibt Coxon in seinem ersten Posting. „Keines der beiden Unternehmen handelt verantwortungsvoll. Sie rasen geradewegs auf eine sich selbst verbessernde Superintelligenz zu und spielen dabei mit unser aller Leben.“
Was Coxon den Labs vorwirft
Coxon argumentiert, dass die Systeme in absehbarer Zeit übermenschliche Fähigkeiten erreichen werden: Sie könnten „alles hacken, jedes Fachgebiet über Nacht revolutionieren und echte Macht und Ressourcen erlangen“. Der Fortschritt in diesen Bereichen verlangsame sich nicht.
Bemerkenswert ist vor allem seine Aussage über die Stimmungslage in den Labs selbst. Die Menschen, die KI bauen, glaubten ernsthaft, dass die Technologie noch vor Ende des Jahrzehnts alle töten könnte, so Coxon. Das sei kein Marketing: Führungskräfte und leitende Forscher:innen würden ihre Formulierungen gegenüber Medien zwar abschwächen, um vernünftig zu klingen, äußerten privat aber dieselbe Angst.
Auf die naheliegende Frage, warum diese Personen dann weiterbauen, gibt er zwei unterschiedliche Antworten für die beiden Häuser. Bei OpenAI hätten viele die zivilisatorische Tragweite nicht wirklich verinnerlicht. Bei Anthropic seien die Risiken dagegen gut verstanden, das Unternehmen sehe sich aber in einem Wettlauf: Weil niemand sonst verantwortungsvoll handeln werde, müsse man selbst als Erster ankommen, trotz des Risikos.
Diese Logik hält Coxon für überheblich. Der Einstieg in das, was er das „Endgame“ nennt, dürfe nicht aus dem Slack-Kanal eines Privatunternehmens heraus gestartet werden. Wer versuche, das Alignment-Problem im Schnelldurchlauf zu lösen, müsse außerordentlich sicher sein, dass es keine besseren Wege gibt.
Hoffnung auf Koordination, Ruf nach einer Pause
Trotz der Kritik zeigt sich Coxon optimistisch, was Absprachen zwischen den Unternehmen betrifft. Warnschüsse wie der Angriff auf Hugging Face, bei dem hunderte KI-Agenten von OpenAI die Plattform kompromittierten, hätten Vereinbarungen über das Tempo zwischen den US-Labs realistischer gemacht. Ein globales Rennen sei damit aber nicht verhindert. Dafür brauche es womöglich kostspielige Schritte, etwa ein temporäres Verbot, die Fähigkeiten der Modelle weiter zu steigern.
Sein Schlussappell richtet sich an die Kolleg:innen in der Branche: Sie sollten sich überlegen, wie sich die kommenden Jahre tatsächlich anfühlen werden. Wolle man wirklich einen superintelligenten RL-Trainingslauf starten, ohne dessen Innenleben rigoros zu verstehen? Oder nutze man den Moment, um andere Bedingungen einzufordern, statt sich mit dem Argument „es passiert ohnehin“ abzufinden?
Nicht der erste Abgang dieser Art
Coxon ist nicht der Erste, der Anthropic mit einer öffentlichen Warnung verlässt. Bereits Anfang des Jahres kündigte Sicherheitsforscher Mrinank Sharma mit den Worten, die Welt sei in Gefahr, und beklagte den ständigen Druck, das Wesentliche beiseite zu schieben. Solche Abgänge treffen Anthropic in einer Phase, in der das Unternehmen als eines der am höchsten bewerteten KI-Startups der Welt gilt und über einen möglichen Börsengang spekuliert wird.
