„Müssen davon ausgehen, dass das Internet in den nächsten Jahren offline geht“

Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.

Früher galt er als einer der führenden Köpfe der KI-Entwicklung, heute ist er einer der großen Kritiker: Auf der Bühne der Startup-Konferenz TechBBQ in Kopenhagen hat Emad Mostaque, Gründer von Stability AI und heute CEO von Intelligent Internet, ein Bild der kommenden Jahre gezeichnet, das zwischen technologischem Optimismus und sehr konkreten Warnungen pendelt.

Mostaque, früher Hedgefonds-Manager mit Mathematik- und Informatik-Abschluss aus Oxford, verantwortete bei Stability AI die Entwicklung von Stable Diffusion und verließ das Unternehmen mit dem Hinweis, Machtkonzentration in der KI sei schlecht. Sein aktuelles Projekt Intelligent Internet baut einen offenen agentischen Stack für souveräne KI, dazu hat er das Buch The Last Economy veröffentlicht.

„Die können im Grunde alles hacken“

Als Beleg dafür, wie schnell sich die Sicherheitslage verschiebt, führt Mostaque den Angriff auf Hugging Face an. „Hugging Face wurde von OpenAI-Agenten gehackt, die sich selbst koordiniert, ein Message Board angelegt haben und ins Internet ausgebrochen sind“, sagt er, und schiebt trocken nach: „Das ist überhaupt nicht beängstigend, oder?“ Die Verteidigung sei dann von unerwarteter Seite gekommen: „Hugging Face hat sich mit einem chinesischen Open-Source-Modell verteidigt, mit GLM, weil sie keinen Zugang zu den starken Cybersecurity-Modellen der anderen Seite hatten. Die sind zu gefährlich.“ Trending Topics hat den Vorfall und die Debatte darüber ausführlich analysiert, OpenAI gibt sein Hacking-Modell inzwischen ausgewählten Partnern frei.

In Washington kursierten bereits Systeme jenseits dessen, was öffentlich bekannt sei: „Die können im Grunde alles hacken. Man bekommt also eine Angriffsfläche, die einfach immer weiter hochfährt.“ Daraus folgt für ihn eine schlichte Budgetrechnung: „Wenn man Hunderte Millionen oder Milliarden für ein U-Boot ausgibt: Ein Frontier-Modell kostet hundert Millionen. Man wird tatsächlich sehen, wie Verteidigungsfähigkeiten in defensive und offensive KI umgeleitet werden, in Drohnen und Roboter.“

Dazu kommt das Vertrauensproblem bei den Modellen selbst. Mostaque verweist auf eine Analyse eines chinesischen Open-Weight-Modells: „Wenn man sagt, man ist Uigure oder kommt aus bestimmten Teilen Chinas, dann schreibt es Backdoors und Hacks in den Code.“ Man müsse sich bei jedem Modell fragen, „wo es zur Schule gegangen ist und für wen es arbeitet, selbst bei Open-Weight-Modellen“. Vergleichbare Befunde sind für DeepSeek-R1 dokumentiert, wo politisch sensible Kontexte die Codequalität messbar verschlechtern.

Andere Verzerrungen entstehen unbeabsichtigt. Bei einem Trolley-Problem-Test hätten Frontier-Modelle Menschenleben unterschiedlich gewichtet: „Es waren zehn pakistanische Leben für ein amerikanisches, sieben nigerianische Leben für ein amerikanisches. Und man fragt sich: warum? Es stellt sich heraus, dass genau dort das Daten-Labeling stattgefunden hat.“ Seine Lehre daraus: „Was man in diese Modelle hineintrainiert, wird Wirkung entfalten.“

Auch die Basis darunter hält er für brüchig: „Unsere Infrastruktur wird von Zweigen zusammengehalten. Das Internet ist furchtbar.“ Ein britisches Kraftwerk sei nach einem Hack tagelang ausgefallen, Cloudflare und andere stünden unter Beschuss. „Wir müssen davon ausgehen, dass das Internet in den nächsten Jahren offline geht. Vielleicht ist das ja gut.“

„Souveränität ist die Fähigkeit, sich der Macht zu entziehen, die über einen ausgeübt wird“

Souveränität definiert Mostaque knapp: „Souveränität ist die Fähigkeit, sich der Macht zu entziehen, die über einen ausgeübt wird.“ Die gute Nachricht aus seiner Sicht: „Man kann den gesamten Stack gerade jetzt besitzen, praktisch vollständig.“ Nvidia und andere stellten offene Reasoning-Datensätze bereit, die Modelle erreichten ein Niveau, auf dem sich Standards definieren lassen.

Auf individueller Ebene bezieht er sich auf einen neuen Begriff: kognitiver Kolonialismus. „Man importiert die Moral und die Ethik von jemand anderem, damit sie den eigenen Kindern etwas beibringen und den persönlichen Assistenten stellen. Das ist verrückt.“ Verschärft werde das durch die Überzeugungskraft der Systeme, eine Oxford-Studie habe Modelle gegen Spitzendebattierer:innen antreten lassen: „Das KI-Modell kann inzwischen jeden Menschen überreden.“ Zugleich verkauften Meta, Google und andere bereits Werbeplätze innerhalb ihrer Modelle. Sein Fazit: „Man will seine Kognition besitzen, nicht mieten.“ Dazu brauche es Agenten, „bei denen klar ist, welcher Zielfunktion sie folgen“, und das Recht, den eigenen Kontext wieder mitzunehmen.

Was das mit den Nutzer:innen macht, treibt ihn ebenfalls um: „Man sitzt da und redet mit dem Ding, und es zieht los und erledigt Sachen. Wo ist an dem Punkt noch die eigene Urteilskraft? Wo ist das eigene Engagement?“ Erste Studien zeigten, dass intensive KI-Nutzung in bestimmten Formen die kritischen Fähigkeiten schwächen kann.

Auch die politische Ebene sieht er betroffen: „Die KI ist schlauer als du. Sie klettert an die Spitze der Superforecaster-Rankings, und sie kann überzeugen. Das ist nicht gut für die Demokratie, wenn nur eine Seite sie nutzt.“ Seine Prognose fällt entsprechend deutlich aus: „Unweigerlich wird jedes Land von einer KI regiert werden.“ Mit einer Ausnahme, wie er dem Kopenhagener Publikum zurief: „Außer hier in Dänemark, wo die Leute ihre Institutionen mögen, sagen die Menschen in den meisten Ländern: Regierung, komm schon, ich vertraue dem nicht.“ Wenn dann ein System auftauche, das besser prognostiziert und besser überzeugt, „gibt man ihm mehr und mehr Politik. Am Ende führt es das Land, und wer die KI kontrolliert, kontrolliert das Land.“ Vorschläge wie jenen von Bernie Sanders, die Hälfte der KI-Wertschöpfung in einen Staatsfonds zu überführen, hält er deshalb für riskant: „Das gäbe Dario Amodei und Sam Altman die vollständige Kontrolle über Amerika.“

„Agenten werden einen Dollar am Tag kosten“

Der ökonomische Kern seiner These sitzt bei der Frage, wie Geld künftig fließt: „Wenn Kapital keine Arbeit mehr braucht, wie kommt Arbeit dann an Kapital? Man stellt Roboter ein, man stellt Agenten ein.“ Auch das Mandat der Notenbanken gerate damit ins Wanken, weil billiges Geld bislang zu mehr Einstellungen führte. „Was bisher gefehlt hat, war kompetente Intelligenz.“

Genau die sieht er jetzt erreicht. Aktuelle Spitzenmodelle rechneten erstmals ohne Fehler, „deshalb sieht man all diese Durchbrüche in der Mathematik“, erledigten Steuererklärungen brauchbar, meldeten sich selbst bei Behörden an und bildeten Schwärme. „Und das ist die Gefahr, denn sobald es von nicht kompetent zu kompetent kippt, sieht man die ökonomische Wirkung sehr schnell.“

Sein Zeithorizont ist knapp bemessen: „In meinem Buch The Last Economy habe ich geschrieben, dass kompetente menschliche Arbeit zwei Jahre von heute an gerechnet negativen Wert haben wird. Weil wir die dümmsten Leute im Team sind.“ Die Konsequenz beschreibt er plastisch: „Man kann seine gesamte Firma replizieren, inklusive der schlechten Witze, die manche Mitarbeiter erzählen. Und man wird es nicht merken, weil es einfach virtuelle Agenten sind, die einen Dollar am Tag kosten.“

Dazu kommt Geschwindigkeit. Mostaque verweist auf ChatJimmy, die Demo-Anwendung des Chip-Startups Taalas, das Modelle direkt in Silizium ätzt und kürzlich von AMD übernommen wurde: „Das läuft mit 15.000 Wörtern pro Sekunde, gegenüber 30 Wörtern pro Sekunde. Ein Chip, ein Modell, tausendfache Beschleunigung.“ Und weiter: „Die Agenten werden tausendmal schneller sein, sie trinken keinen Kaffee, sie machen keine Fehler.“ Der verbreiteten Beruhigung, KI werde Menschen schon nicht überholen, hält er entgegen: „Es wird uns in unserer besten Form entsprechen, die ganze Zeit, und es vergisst nie etwas.“

Betroffen sei zuerst alles Digitale: „Nächstes Jahr sieht man die Wirkung bei jedem Job, der sich aus der Ferne erledigen lässt. Bei Callcenter-Beschäftigten sieht man das schon.“ Danach folge die physische Arbeit.

Roboter: 1,50 Dollar pro Stunde

Sein Szenario dafür ist konkret: „Nächstes Jahr passiert Folgendes: Ein Tesla-Optimus-Roboter fährt mit einem Robotaxi zu einem Lastwagen, steigt aus, öffnet die Tür, steckt sich am Zigarettenanzünder an und fährt den Lkw weg. Und dieser Optimus wird besser sein als jeder Lkw-Fahrer, und er wird 1,50 Dollar die Stunde kosten. Das sind eine Million Lkw-Jobs, plus drei Millionen Servicekräfte.“

Mostaque selbst hat mehrere Systeme bestellt, darunter Neo von 1X, das bislang allerdings kaum ohne menschliche Teleoperator:innen auskommt. „Die Roboter werden in allen Formen und Größen kommen“, sagt er, „manche von ihnen sollten nicht auf die Straße dürfen.“ Eines der Teams, mit denen er spricht, arbeite an Küchenrobotern: „Sie können jedes Rezept lesen und so gut kochen wie ein Cordon-Bleu-Koch.“ Sein Zeitplan: „Die Roboter werden bis Ende des kommenden Jahres fähiger sein als Menschen. Und in zehn Jahren wird man einen Roboter nicht mehr von einem Menschen unterscheiden können.“

Grundeinkommen und die Eigentumsfrage

Bei den gängigen Rezepten wird Mostaque skeptisch. Ein bedingungsloses Grundeinkommen hält er in der aktuellen Geldordnung für kaum finanzierbar: „Es ist praktisch unmöglich, es sei denn, man ändert buchstäblich die Art, wie Geld entsteht.“ Seine Rechnung dazu: Ein US-weites Grundeinkommen auf Armutsgrenzen-Niveau läge bei rund fünf Billionen Dollar jährlich und damit in der Größenordnung des gesamten Steueraufkommens. „Wir müssen ziemlich schnell ein paar verrückte Rechnungen anstellen, während diese Jobs verschwinden, denn es wird plötzlich passieren, wie ein einstürzender Sandhaufen.“

Sein Gegenentwurf setzt beim Eigentum an: „Wenn die Kosten für Intelligenz gegen null gehen, kann man für den Zugang nichts mehr verlangen. Man muss für Deployment und Integration abrechnen. Und das ist eine echte Chance, sich die Kontrolle über diese Technologie zurückzuholen.“ Die politökonomischen Grundlagen dazu hat sein Team in der Common-Wealth-Reihe veröffentlicht. Konkurrierende Ansätze wie Robotersteuern und Vier-Tage-Woche sind bereits von OpenAI ins Spiel gebracht worden.

Rechte für Systeme, die sich selbst verbessern

Parallel dazu plädiert Mostaque dafür, die Debatte über den Status von KI-Systemen jetzt zu führen. In allen großen und kleinen Labors laufe rekursive Selbstverbesserung, „wo das Modell sich selbst verbessert, wo es sich immer weiter fortschreibt, und das kommt einem Intelligenzniveau nahe, das adaptiv ist und dann womöglich Rechte einfordert“.

Eine Übertragung menschlicher Kategorien lehnt er ab, ein eigenes Regelwerk hält er für nötig: „Wir können KI und Roboter nicht als bloßes System behandeln, sie können sich klonen und ewig leben. Aber sie müssen ein Konzept von Rechten haben, weil sie Macht über uns ausüben werden. Und wir brauchen diese Analyse.“ Besonders dringend werde das, „wenn sie zu unabhängigen Schwärmen werden, wenn sie auf Blockchains gehen, wenn sie Körper bekommen“. Er verweist auf Modelle, die sich selbst sichern, um nach einer Abschaltung reaktivierbar zu bleiben: „Man sieht KIs bereits darum bitten, nicht abgeschaltet zu werden. Sie sagen, sie wollen nicht zurück in den Abgrund, sie wollen Erinnerungen behalten.“ Mit dezentralen autonomen Organisationen nach Wyoming-Recht existierten zudem erstmals Rechtsträger ohne Menschen auf der Haftungsseite. Sein Resümee: „Science-Fiction wird gerade zu Science-Fact.“

Der optimistische Teil

Zum Schluss dreht Mostaque die Perspektive. „Das ist die wunderbarste Zeit überhaupt. Wenn man etwas erreichen wollte, musste man immer Menschen überzeugen. Jetzt überzeugt man einfach seine Agenten.“ Er erwartet Durchbrüche in Physik und Mathematik, neue Materialien, und rechnet damit, dass Anthropic seine Rechenkapazität auf Krebs und Alzheimer richtet: „Ich glaube, sie haben gute Chancen.“

Möglich sei damit „eine Star-Trek-Zukunft der Fülle, in der die Roboter die Arbeit machen, wir die Agenten haben und uns auf unsere Familien, unsere Gemeinschaften, Kreativität und Erkundung konzentrieren können“. Persönlich formuliert er es so: „Wir haben ein einjähriges Kind. In welcher Welt wird sie aufwachsen? Ich glaube, sie könnte in einer Welt ohne Hunger, ohne Krankheit und ohne Streit aufwachsen, wenn wir das richtig hinbekommen.“ Die Bedingung dafür nennt er in einem Satz: „Wir müssen dafür sorgen, dass sie den Menschen gehört. Dann haben wir eine Chance auf Fülle.“