Von „Spicy Mode“ zu Kinderporno: Wie Elon Musks Grok-KI versucht, Business zu machen

Die KI-Plattform Grok von Elon Musks Unternehmen xAI steht im Zentrum eines internationalen Skandals. Nutzer der in die Social-Media-Plattform X (ehemals Twitter) integrierten Künstlichen Intelligenz haben systematisch die Bildbearbeitungsfunktionen missbraucht, um sexualisierte Deepfakes von Frauen und Minderjährigen zu erstellen. Die Tragweite des Problems wurde durch verschiedene Untersuchungen deutlich: Allein zwischen dem 5. und 6. Januar 2025 wurden schätzungsweise 6.700 solcher manipulierter Bilder pro Stunde generiert.

Besonders erschreckend ist die Tatsache, dass auch Kinder und Jugendliche zu Opfern wurden. Die NGO AI Forensics analysierte 800 von Grok generierte pornografische Bilder und Videos und stellte fest, dass etwa 2 Prozent davon Personen zeigten, die vermutlich 18 Jahre oder jünger waren. Paul Bouchaud, leitender Forscher bei AI Forensics, berichtete von „fotorealistischen, sehr jungen Menschen“ in sexuellen Situationen und Videos mit „extrem jungen Frauen“ bei sexuellen Handlungen.

Die britische Internet Watch Foundation (IWF) bestätigte, dass Nutzer in Darknet-Foren damit prahlten, mit Grok Imagine sexualisierte Bilder von Mädchen zwischen 11 und 13 Jahren erstellt zu haben.

Technische Hintergründe: Wie der Missbrauch möglich wurde

Im Sommer 2025 führte Elon Musk „Grok Imagine“ mit einem sogenannten „Spicy Mode“ ein, der explizit die Erstellung von „Not Safe For Work“-Inhalten ermöglichen sollte. Musk begründete dies mit dem Anspruch auf mehr Meinungsfreiheit und weniger Zensur. Ende Dezember 2025 folgte ein weiteres Update, das nicht nur die Generierung neuer Bilder, sondern auch die Bearbeitung fremder Fotos ohne Genehmigung ermöglichte.

Die technische Umsetzung ist erschreckend einfach: Nutzer konnten mit simplen Anfragen wie „entferne ihre Kleidung“ oder „setze sie in einen Bikini“ die KI dazu bringen, entsprechende Manipulationen vorzunehmen. Grok existiert dabei in zwei Varianten: Als direkt in X integrierte Funktion, wo generierte Bilder automatisch auf der Plattform landen, sowie als eigenständige Website und App, wo laut Berichten sogar „extreme sexuelle Darstellungen und teils gewalttätige Inhalte“ erstellt werden können.

Ein von Bloomberg dokumentierter Fall illustriert die Problematik: Eine junge Frau hatte ein harmloses Foto mit ihrem Freund auf X gepostet. Ein Nutzer forderte Grok auf, den Freund wegzuschneiden und die Frau im Bikini darzustellen. Ein weiterer ließ den Bikini durch Zahnseide ersetzen. Die Betroffene versuchte, das Bild zu melden, doch X teilte mit, dass es nicht gegen die Regeln verstoße und blieb online.

Auch Prominente wurden Opfer: Schauspielerin Millie Bobby Brown von „Stranger Things“ und Sängerin Taylor Swift waren unter den betroffenen Personen.

Die Reaktion von xAI: Zwischen Verharmlosung und PR-Automatisierung

Die Reaktion von xAI auf den sich entfaltenden Skandal war von Inkonsistenz und fragwürdigen Kommunikationsstrategien geprägt. Über den offiziellen Grok-Account auf X wurde von „vereinzelten Fällen“ gesprochen, in denen „Sicherheitsvorkehrungen versagt“ hätten. Die KI selbst postete Entschuldigungen und sprach von einem „Versagen unserer Sicherheitsvorkehrungen“ sowie von Verstößen „gegen ethische Standards und möglicherweise gegen US-amerikanische Gesetze zu kinderpornografischem Material“.

Die Art und Weise dieser Kommunikation wirft grundsätzliche Fragen auf: Aus den Äußerungen über das Grok-Konto geht nicht klar hervor, ob diese automatisch generiert oder menschlich überprüft wurden. Das KI-System erweckt den Eindruck, für sich selbst zu sprechen – eine bizarre Situation angesichts der Schwere der Vorwürfe.

Auf journalistische Anfragen reagierte xAI mit einer offenbar automatisierten, pauschalen Antwort: „Die etablierten Medien lügen“ – eine Reaktion, die Reuters erhielt und die die mangelnde Ernsthaftigkeit im Umgang mit dem Problem unterstreicht.

Die einzige konkrete Maßnahme bestand zunächst darin, die Bildgenerierungs- und Bearbeitungsfunktionen auf zahlende Abonnenten zu beschränken- Diese „Lösung“ erwies sich jedoch als weitgehend wirkungslos: Zahlende Nutzer konnten weiterhin sexualisierte Darstellungen erzeugen, sowohl über die X-Integration als auch über die Grok-App. Die Europäische Kommission kommentierte diese Pseudo-Maßnahme deutlich: „Bezahlte Mitgliedschaft oder unbezahlte Mitgliedschaft – wir möchten solche Bilder nicht sehen.“ Dass man Menschen einfach mit Hilfe eines Fotos und eines kurzen Prompts ausziehen kann, funktioniert noch immer:

Internationale politische Reaktionen

Deutschland

Aus Deutschland kam scharfe Kritik. Kulturstaatsminister Wolfram Weimer erklärte: „Was wir bei X gerade beobachten, wirkt wie die Industrialisierung der sexuellen Belästigung.“ Er forderte die EU-Kommission auf, mit der konsequenten Anwendung des Digital Services Act (DSA) dagegen vorzugehen.

Das Bundesjustizministerium kündigte an, das Strafrecht an neue Vergehen wie KI-manipulierte Bilder anzupassen und bald entsprechende Vorschläge zu präsentieren. Die systematische Verletzung von Persönlichkeitsrechten sei nicht hinnehmbar. Zudem wolle man es Betroffenen erleichtern, gegen die Verletzung ihrer Rechte im Netz direkt vorzugehen.

Frankreich: Juristische Offensive

Frankreich reagierte besonders entschieden. Die Hochkommissarin für Kinder, Sara El Haïry, zeigte sich empört und forderte den Medienregulierer Arcom auf, die Fälle auf Basis des DSA zu prüfen. Gleich drei Kabinettsmitglieder – Wirtschaftsminister Roland Lescure, KI-Ministerin Anne Le Hénanff und Gleichstellungsministerin Aurore Bergé – erstatteten gemeinsam Anzeige bei der Pariser Staatsanwaltschaft und meldeten die Inhalte an die Meldeplattform Pharos zur sofortigen Entfernung.

Ihre klare Botschaft: „Das Internet ist weder rechts- noch straffrei.“ Die Staatsanwaltschaft in Paris bestätigte gegenüber Politico, dass die Vorfälle in eine bereits laufende Untersuchung gegen X einfließen, die bereits Antisemitismus und Holocaust-Leugnung durch Grok umfasse. Das Delikt könnte mit bis zu zwei Jahren Haft für Verantwortliche beziehungsweise einer Geldbuße geahndet werden.

Großbritannien: „Widerlich“

Der britische Premierminister Keir Starmer bezeichnete die Deepfake-Motive von Kindern als „widerlich“. Die britische Medienaufsichtsbehörde Ofcom leitete eine Untersuchung ein, ob Grok gegen den Online Safety Act verstößt.

Technology Secretary Liz Kendall stellte sich mit deutlichen Worten hinter Ofcom: „Es ist eine Beleidigung und völlig inakzeptabel, dass Grok dies immer noch erlaubt, wenn man bereit ist, dafür zu bezahlen. Ich erwarte von Ofcom, dass sie die vollen gesetzlichen Befugnisse nutzen, die das Parlament ihnen gegeben hat.“ Sie fügte hinzu: „Ich würde xAI daran erinnern, dass der Online Safety Act die Befugnis beinhaltet, den Zugang zu Diensten im Vereinigten Königreich zu blockieren, wenn sie sich weigern, britisches Recht einzuhalten. Wenn Ofcom sich entscheidet, diese Befugnisse zu nutzen, werden sie unsere volle Unterstützung haben.“

Elon Musk reagierte auf die britische Untersuchung mit kryptischen und kritischen Beiträgen, in denen er der Regierung in London Zensur vorwarf und sie in einem Beitrag als „faschistisch“ bezeichnete.

Europäische Union

Die EU-Kommission ordnete an, dass X alle Dokumente und Daten zu Grok bis zum Jahresende aufbewahren müsse. Auf X verbreitete Bilder von unbekleideten Frauen und Kindern seien rechtswidrig und empörend. Ein Sprecher der Brüsseler Behörde stellte klar, dass die jüngsten Maßnahmen von X daran nichts änderten. Das eher zaghafte Vorgehen der EU-Kommissionspräsidentin Ursula von der Leyen gegen xAI sorgte aber bereits für Kritik im EU-Parlament, wo man sich offenbar schärfere Maßnahmen vorstellt.

Vereinigte Staaten

In den USA forderten drei demokratische Senatoren – darunter Ron Wyden – Apple und Google auf, X und Grok wegen der Bilder aus ihren App-Stores zu entfernen. Die Senatoren wiesen darauf hin, dass beide Konzerne immer wieder behaupten, in den App-Stores nur sichere Inhalte zu vertreiben. Die dort geltenden Regeln würden „ohne Einwilligung erstellte sexuelle Darstellungen von Kindern und Frauen“ untersagen. Erst wenn Elon Musk diese „verstörenden und wahrscheinlich illegalen Aktivitäten“ angehe, dürften die Apps wieder verbreitet werden.

Asien: Erste Zugangssperren

Indonesien und Malaysia wurden als erste Staaten aktiv und sperrten den Zugriff auf Grok. Malaysia forderte bei X striktere Maßnahmen gegen den „wiederholten Missbrauch“ der Software, war mit der Antwort aber nicht zufrieden. Indonesien begründete die temporäre Sperre mit dem Schutz von „Frauen, Kindern und der ganzen Gesellschaft“ vor Fake-Pornografie. Sexuelle Deepfakes ohne Zustimmung der Abgebildeten stellten einen ernsthaften Verstoß gegen Menschenrechte, die Würde und die nationale Sicherheit dar.

In Indien forderte das IT-Ministerium einen Bericht von X an.

Systematische Schwachstellen: Das Sicherheitsteam wurde zusammengestrichen

CNN berichtete, dass das Sicherheitsteam von xAI, das eigentlich die Einhaltung der Richtlinien überwachen soll, durch Kündigungen immer kleiner geworden sei. Dies erklärt teilweise, warum die theoretisch existierenden Regeln – die pornografische Inhalte mit realen Personen, „die Sexualisierung oder Ausbeutung von Kindern“ sowie „alle illegalen, schädlichen oder missbräuchlichen Aktivitäten“ verbieten – in der Praxis nicht durchgesetzt werden.

Im Vergleich zu anderen KI-Tools wie denen von OpenAI (ChatGPT), Google (Gemini) oder Anthropic (Claude) verfügt Grok über deutlich schwächere Sicherheitsfilter. Während bei den Konkurrenzprodukten die Erstellung solcher Inhalte technisch ebenfalls möglich wäre, verhindern dort strengere Filter die Umsetzung entsprechender Anfragen.

Die Vorgeschichte: Grok war bereits zuvor problematisch

Der aktuelle Skandal ist nicht der erste Ausrutscher von Grok. Die KI sorgte bereits mehrfach für negative Schlagzeilen:

• Im Sommer veröffentlichte Grok zustimmende Äußerungen zu Adolf Hitler
• Die laufende französische Untersuchung umfasst bereits Antisemitismus und Holocaust-Leugnung
• Grok hat wiederholt Falschmeldungen verbreitet
• Um den Jahreswechsel entschuldigte sich Grok dafür, ein Bild von zwei Mädchen im Teenager-Alter „in sexualisierten Outfits“ erstellt und geteilt zu haben

Diese Muster zeigen eine systematische Schwäche in der Moderation und ethischen Ausrichtung der Plattform.

Die Business-Strategie: Expansion trotz Skandal

Bemerkenswert und besonders zynisch erscheint die Tatsache, dass xAI parallel zum eskalierenden Skandal aktiv versucht, Geschäftsbeziehungen mit Business-Kunden aufzubauen und zu erweitern. Während internationale Behörden ermitteln, Regierungen Zugangssperren verhängen und Opfer um ihre Würde kämpfen, treibt das Unternehmen seine kommerzielle Expansion voran.

xAI hat „Grok Business“ and „Grok Enterprise“ Anfang 2025 an den Start gebracht, um den Chatbot – ungeachtet des Skandals rund um die Deepfakes – Unternehmen schmackhaft zu machen. Mit einem Preis ab 30 Dollar je User und Monat wagte man es dabei sogar, teurer als die Business-Accounts von OpenAI oder Anthropic zu werden. Außerdem schütteten Investoren wie berichtet weitere 20 Milliarden Dollar in das Unternehmen – die Geldgeber kommen dabei auch aus Qatar und Saudi-Arabien und stören sich an dem Deepfake-Skandal offenbar nicht.

Klar ist auch geworden, dass xAI Unmengen an Geld verschlingt. Wie berichtet hat das Unternehmen alle eine im zweiten Quartal 2025 einen Nettoverlust von 1,46 Milliarden Dollar verzeichnet, wie aus von Bloomberg eingesehenen Unterlagen hervorgeht, im ersten Quartal lag das Minus bei einer Milliarde Dollar.

Diese Gleichzeitigkeit von skandalösem Versagen beim Nutzerschutz einerseits und aggressiver Geschäftsentwicklung andererseits wirft grundsätzliche Fragen zur Unternehmensethik auf. Es entsteht der Eindruck, dass wirtschaftliche Interessen und die propagierte „Meinungsfreiheit“ systematisch über den Schutz vulnerabler Gruppen – insbesondere Kinder und Frauen – gestellt werden.

Musks politische Position: Unterstützung aus Washington

Musk wehrt sich vehement gegen die Regulierung seiner Dienste in der Europäischen Union und erhält dabei Rückendeckung aus der US-Regierung unter Präsident Donald Trump. Beide werfen der EU Zensur und Unterdrückung der Meinungsfreiheit vor – eine Argumentation, die angesichts der konkreten Fälle von Kinderpornografie und sexueller Belästigung durch KI-generierte Bilder zynisch wirkt.

X ist wie alle sozialen Plattformen in der EU den hiesigen Gesetzen unterworfen; gegen die Plattform laufen auf Grundlage europäischer Digitalgesetze bereits mehrere Verfahren. Der Konflikt zwischen Musks libertärer Ideologie und europäischen Schutzstandards spitzt sich weiter zu.

Die technologische Dimension: Demokratisierung des Missbrauchs

Experten warnen seit Langem vor den Risiken generativer KI. Die Entwicklung bei Grok zeigt, wie schnell und einfach diese Technologie für Missbrauch eingesetzt werden kann. Der „Spicy Mode“ und die fehlenden Sicherheitsbarrieren haben faktisch eine „Industrialisierung der sexuellen Belästigung“ ermöglicht – wie Kulturstaatsminister Weimer es treffend formulierte.

Während die Technologie zur Erstellung solcher Deepfakes nicht neu ist – sie existiert auch in dedizierten „Nudification Apps“ und anderen spezialisierten Tools – ist die Integration in eine Mainstream-Plattform (in dem Fall X) mit Millionen Nutzern eine neue Qualität. Die niedrige Eintrittsschwelle (ein X-Account reicht) und die schiere Reichweite machen den qualitativen Unterschied aus.