DeepL Aure: KI-Übersetzung transportiert jetzt auch Emotionen
Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.
Erst die eigene Stimme, jetzt auch die Stimmung dahinter: DeepL hat soeben mit Aure ein neues Voice-KI-Modell vorgestellt, das bei der Echtzeit-Übersetzung von Gesprächen Tonfall, Emotion, Betonung und Sprechtempo der Sprecher:innen mit in die Zielsprache nimmt.
Wer im Meeting plötzlich aufgeregt, ernst oder ironisch wird, soll auf Englisch, Japanisch oder Koreanisch genauso klingen. Aure ist laut Aussendung die Technologie hinter DeepL Voice, dem Echtzeit-Übersetzungsprodukt des Kölner KI-Unicorns, und das bislang ausdrucksstärkste Sprachmodell des Unternehmens.
Vom Schnappschuss zum laufenden Mithören
Erst im September hatte DeepL eine Funktion eingeführt, mit der Nutzer:innen in ihrer eigenen, wiedererkennbaren Stimme übersetzt werden. Das System hatte allerdings eine Schwäche: Wie die übersetzte Stimme klingen soll, wurde anhand der ersten Momente eines Gesprächs festgelegt. Das Modell wusste also, wer spricht, die Veränderungen im weiteren Verlauf blieben aber außen vor. Eine solche Momentaufnahme kann laut DeepL weder Stimmungswechsel abbilden noch Ausdrucksformen, die den gesagten Worten widersprechen, etwa Sarkasmus.
Aure analysiert die eingehende Sprache deshalb fortlaufend, und zwar anhand des Original-Audios und der bereits übersetzten Wörter. Daraus leitet das Modell ab, wie ein Satz vorgetragen werden soll. Wer vor einer wichtigen Ankündigung kurz innehält, in einer Verhandlung mit Nachdruck spricht oder beim Überbringen guter Nachrichten von ernst zu begeistert wechselt, soll diese Nuancen auch in der Übersetzung hören. Sogar die Tagesform spielt eine Rolle: Jemand klingt an einem Tag müde, am nächsten euphorisch oder spricht unter Stress anders. Aure soll solche Variationen erkennen und die übersetzte Stimme an den jeweiligen Moment anpassen.
„Unsere Stimme spielt eine grundlegende Rolle darin, wer wir sind und wie wir Emotionen ausdrücken, zusammenarbeiten und mit anderen in Verbindung treten“, sagt DeepL-Gründer und CEO Jarek Kutylowski. Zu lange habe sprachübergreifende Kommunikation bedeutet, Abstriche bei der eigenen Ausdrucksweise zu machen. „Mit Aure können selbst subtilste Änderungen im Ausdruck erfasst und in eine andere Sprache übertragen werden, in der eigenen Stimme und in Echtzeit.“
Wie DeepL das technisch löst
Der Weg dorthin war laut DeepL mit drei Hürden gepflastert. Erstens sind echte Gespräche selten ruhig: Aure muss Stimmidentität und Sprachmelodie isolieren und gleichzeitig Hintergrundgeräusche, Echos und Verzerrungen herausfiltern. Zweitens ist es weit schwieriger, eine Stimme über Sprachgrenzen hinweg nachzubilden, ohne Akzente zu übertreiben oder den Klang einer Person zu verfälschen.
Drittens fehlt es an Daten. Aufnahmen, in denen dieselbe Person in mehreren Sprachen spricht, sind rar. Zudem speichert DeepL Voice Besprechungsprotokolle und Übersetzungen nicht dauerhaft und löscht sie nach Ende einer Sitzung aus dem Arbeitsspeicher. Aure muss sich also live an jede sprechende Person anpassen, noch bevor diese ihren Satz beendet hat.
Gelöst hat DeepL das mit einer Kombination mehrerer Trainingsmethoden, die Stimmidentität, Prosodie und gesprochene Inhalte voneinander trennen. So lässt sich jede dieser Ebenen unabhängig in die neue Sprache übertragen. Reinforcement Learning feilt anschließend am Ergebnis, damit Übersetzungsgenauigkeit und Klangqualität erhalten bleiben und die Ausgabe natürlich und akzentfrei klingt.
Acht Sprachen zum Start
Aure läuft automatisch und ohne zusätzliche Einstellungen in DeepL Voice für Online-Meetings, DeepL Voice für persönliche Gespräche sowie in der Voice-API. Zum Start unterstützt das Modell Englisch, Deutsch, Spanisch, Französisch, Italienisch, Japanisch, Portugiesisch und Koreanisch, weitere Sprachen sollen folgen. Alle anderen Sprachen laufen vorerst über die bisherigen Modelle.
Zu den Kund:innen von DeepL Voice zählen laut dem Unternehmen Pioneer Corporation, Aramark, Avendra International und Inetum. Für DeepL ist die gesprochene Übersetzung längst das wichtigste Wachstumsfeld: Im April startete das Unternehmen seine Voice-to-Voice-Übersetzung, im Mai kündigte Kutylowski an, rund 250 Stellen und damit etwa ein Viertel der Belegschaft abzubauen, um sich stärker auf Echtzeit-Sprachübersetzung zu konzentrieren.
Konkurrenz von Big Tech und Startups
Mit der emotionalen KI-Stimme ist DeepL nicht allein. Die großen Plattformen, in die sich DeepL Voice einklinkt, bauen selbst an ähnlichen Funktionen. Beispielsweise bietet Google Meet eine KI-Sprachübersetzung auf Basis von Gemini, die Tonfall und Stimmlage der Sprecher:innen nachbilden soll. Microsoft Teams hat mit dem Interpreter-Agenten einen eigenen KI-Dolmetscher, der die Stimme der Sprechenden simulieren kann.
DeepL setzt im Wettbewerb vor allem auf Qualität. In von DeepL beauftragten Blindtests des Branchendienstes Slator bevorzugten 96 Prozent der befragten Linguist:innen DeepL Voice gegenüber den nativen Übersetzungslösungen von Google, Microsoft und Zoom.
