Tokenizer-Steuer: Warum KI in vielen Sprachen mehr kostet als auf Englisch

Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.

Gleicher Inhalt, anderer Preis: Wer ChatGPT, Claude oder Gemini in einer anderen Sprache als Englisch nutzt, zahlt oft drauf. Schuld ist die sogenannte „Tokenizer-Steuer“, die eine neue Studie der Coalition for Language Equity in AI Research (CLEAR) jetzt systematisch vermessen hat. Je nach Modell und Sprache braucht derselbe Text demnach ein Vielfaches an Tokens, und Tokens sind die Einheit, nach der KI-Anbieter abrechnen.

Was ist die Tokenizer-Steuer?

KI-Modelle lesen keine Wörter, sondern zerlegen Text in Tokens, also Wortteile. Wie effizient das funktioniert, hängt davon ab, welche Sprachen der sogenannte Tokenizer beim Training häufig gesehen hat. Englisch wird meist in ganze Wörter zerlegt, seltene Sprachen und Schriften dagegen in viele kleine Fragmente.

Die Folgen zeigt CLEAR an einem Beispielsatz. Der englische Satz „People should benefit from AI, regardless of the language they speak“ braucht im Tokenizer von GPT-5 laut der Studie 13 Tokens. Dieselbe Aussage auf Malayalam braucht 26 Tokens, auf Amharisch 78. Eine Eingabe auf Amharisch ist damit sechsmal so teuer wie auf Englisch. Mit der Länge der Sätze hat das wenig zu tun: Die Unterschiede in der Textlänge zwischen Sprachen liegen laut CLEAR im Bereich von einigen Dutzend Prozent, die Token-Unterschiede beim Vielfachen.

Das Ranking der KI-Modelle

Für die Studie hat CLEAR den Benchmark FLORES-200 genutzt, also professionell übersetzte Sätze in rund 200 Sprachen, und die Tokenizer aller großen KI-Labore verglichen. Die wichtigsten Ergebnisse:

• Top-20-Sprachen: Bei den 20 Sprachen mit der größten Präsenz im Netz sind die Modelle fast fair. Die teuerste Sprache braucht 1,5- bis 3,1-mal so viele Tokens wie die günstigste.
• 200 Sprachen: Nimmt man alle Sprachen dazu, explodiert die Lücke auf bis zu das 17-Fache.
• Bestnote: Am besten schneidet Googles Gemini- und Gemma-Familie ab, mit einem Faktor von 5,1 und der Note B. Ein besseres Ergebnis erreicht kein Allzweck-Spitzenmodell.
• Mittelfeld: Anthropics Claude kommt auf das 9,3-Fache, Metas Llama 4 auf das 9,5-Fache, beide mit Note D.
• Durchgefallen: OpenAIs GPT-5 (13,8-fach), Mistrals Ministral 3, Nvidias Nemotron 3.5 und Microsofts Phi-4 (jeweils rund 15-fach) bekommen ein F. Schlusslicht ist Falcon 3 aus Abu Dhabi mit dem 17-Fachen.

Allerdings zeigt ein zweiter Maßstab ein anderes Bild: Zählt man, für wie viele Sprachen ein Modell weniger als doppelt so viele Tokens braucht wie für seine effizienteste Sprache, liegt GPT-5 mit 78 Prozent der Sprachen vorne. Dazu kommt, dass neuere Modelle nicht automatisch besser sind. Alibabas neues Qwen 3.6 schneidet schlechter ab als das ältere Qwen 3.

Und auf Deutsch?

Deutsch gehört zu den lateinisch geschriebenen Sprachen mit großer Präsenz im Netz und kommt deshalb vergleichsweise glimpflich davon. Ganz gratis ist es aber nicht. In einem Kurztest von Trending Topics mit drei Beispielsätzen brauchte die deutsche Version im öffentlich verfügbaren OpenAI-Tokenizer o200k zwischen 15 und 42 Prozent mehr Tokens als die englische. Lange Komposita und gegenderte Formen schlagen dabei spürbar zu Buche.

Richtig teuer wird es für Sprachen mit eigenen Schriften. Laut CLEAR trifft die Steuer auch riesige Sprachgruppen mit Hunderten Millionen Sprecher:innen, etwa Bengali, Urdu und Punjabi. Neben den Kosten geht es um Geschwindigkeit und Kontext: Mehr Tokens bedeuten langsamere Antworten, und in ein Kontextfenster von 128.000 Tokens passt in einer „besteuerten“ Sprache nur ein Bruchteil an Text. Lange Dokumente und KI-Agenten werden so schwerer nutzbar. Ein Startup in Bangalore zahle auf jeden Prompt einen Aufschlag, den sein Konkurrent in Austin nicht zahlt, schreibt CLEAR.

Was CLEAR fordert

Die Forscher:innen schlagen den KI-Laboren drei Schritte vor:

• Transparenz: Die Token-Ungleichheit über alle Sprachen soll als Standardwert in den Modellbeschreibungen stehen.
• Bessere Tokenizer: Bei der nächsten Modellgeneration sollen gezielt mehr Sprachen effizient abgedeckt werden.
• Faire Preise: Weil sich Tokenizer erst mit neuen Modellen ändern lassen, sollen Anbieter sofort nach Zeichen oder Sprache statt nach Tokens abrechnen.

Außerdem sollen öffentliche Auftraggeber:innen bei KI-Ausschreibungen offenlegen lassen, wie teuer ein Modell in verschiedenen Sprachen ist.

Ein Problem, das sich von selbst erledigt?

Nicht alle halten das Problem für dramatisch. Dheemanth Reddy vom indischen Startup Maya Research verweist gegenüber Rest of World darauf, dass Token-Preise derzeit sehr schnell fallen, wodurch die absoluten Mehrkosten schrumpfen. Pratyush Choudhury vom Investor Activate AI hält „perfekte Gleichheit“ für unrealistisch und schlägt stattdessen vor, Spracheffizienz als Produktanforderung zu behandeln. Auch CLEAR selbst räumt ein, dass ein Verhältnis von eins zu eins wegen der unterschiedlichen Länge von Sprachen wohl nie erreichbar ist.