Mira Murati’s Thinking Machines Lab zeigt erstmals neuartiges KI-Modell

Bis September 2024 war sie als CTO von OpenAI bekannt, verließ dann aber überraschend den ChatGPT-Macher, um ihr eigenes KI-Startup zu gründen: Von Mira Murati’s Thinking Machines Lab hat man bis auf einen Milliarden-Deal mit Nvidia wenig gesehen. Doch jetzt hat das Forschungsunternehmen ein sogenanntes „Interaction Model“ vorgestellt, das künstliche Intelligenz grundlegend anders gestalten soll als bisherige Systeme. Das Modell mit dem Namen TML-Interaction-Small verarbeitet Audio, Video und Text gleichzeitig und in Echtzeit, ohne auf externe Steuerungskomponenten angewiesen zu sein. Es handelt sich um eine Forschungsvorschau, die nach Angaben des Unternehmens qualitativ neue Möglichkeiten der Mensch-Maschine-Zusammenarbeit demonstriert.

Das Problem mit heutigen KI-Modellen

Aktuelle Sprachmodelle arbeiten nach einem starren Prinzip: Der Nutzer spricht oder schreibt, das Modell wartet, verarbeitet und antwortet. Dieses sogenannte „Turn-based“-Modell schafft nach Ansicht von Thinking Machines Lab eine künstliche Engstelle in der Zusammenarbeit zwischen Mensch und KI. Solange das Modell antwortet, nimmt es keine neuen Informationen auf. Solange der Nutzer spricht, wartet das Modell untätig.

„Wir glauben, dass wir diesen Bandbreiten-Engpass lösen können, indem wir KI in Echtzeit und über jede Modalität hinweg interaktiv machen. Das ermöglicht KI-Schnittstellen, den Menschen dort abzuholen, wo er ist, anstatt den Menschen zu zwingen, sich an KI-Schnittstellen anzupassen.“

Viele bestehende Systeme versuchen dieses Problem durch sogenannte „Harnesses“ zu umgehen, also durch das Zusammenschalten externer Komponenten wie Spracherkennungsmodule oder Gesprächssteuerungssysteme. Thinking Machines Lab argumentiert, dass dieser Ansatz grundsätzlich begrenzt ist, weil diese Hilfskomponenten deutlich weniger intelligent sind als das eigentliche Modell.

Der neue Ansatz: Mikro-Turns statt Gesprächsrunden

Das Kernprinzip des TML-Interaction-Small ist ein sogenanntes Multi-Stream-Mikro-Turn-Design. Anstatt auf vollständige Gesprächsrunden zu warten, verarbeitet das Modell kontinuierlich Eingaben und erzeugt Ausgaben in Blöcken von jeweils 200 Millisekunden. Eingehende und ausgehende Signale werden dabei als parallele Datenströme behandelt, nicht als sequenzielle Abfolge.

Dieses Design ermöglicht es dem Modell, gleichzeitig zuzuhören und zu sprechen, Pausen wahrzunehmen, Unterbrechungen zu erkennen und auf visuelle Hinweise zu reagieren, ohne dass der Nutzer explizit etwas sagen muss. Das Modell besitzt damit ein direktes Zeitgefühl und kann eigenständig entscheiden, wann eine Reaktion angemessen ist.

Besondere Fähigkeiten im Überblick

• Nahtloses Gesprächsmanagement: Das Modell erkennt implizit, ob ein Nutzer nachdenkt, fertig gesprochen hat oder eine Antwort erwartet, ohne separate Steuerungslogik.
• Verbale und visuelle Unterbrechungen: Das Modell kann jederzeit eingreifen, nicht nur am Ende einer Äußerung.
• Gleichzeitiges Sprechen: Nutzer und Modell können parallel sprechen, etwa für Echtzeit-Übersetzungen.
• Zeitbewusstsein: Das Modell hat ein direktes Gefühl für vergangene Zeit und kann darauf reagieren.
• Parallele Werkzeugnutzung: Während das Modell spricht und zuhört, kann es gleichzeitig im Web suchen, Daten abrufen oder Benutzeroberflächen generieren.

Technische Architektur

Das Modell wurde von Grund auf neu trainiert und nutzt eine encoderfreie Frühfusion der verschiedenen Modalitäten. Audiosignale werden als sogenannte dMel-Darstellungen verarbeitet und über eine leichtgewichtige Einbettungsschicht eingespeist. Videobilder werden in 40×40-Pixel-Blöcke aufgeteilt und durch ein hMLP-Modul kodiert. Alle Komponenten werden gemeinsam mit dem zentralen Transformer-Modell trainiert, nicht separat.

Für aufwendigere Aufgaben, die tieferes Nachdenken erfordern, delegiert das Interaktionsmodell an ein asynchrones Hintergrundmodell. Dieses übernimmt komplexe Reasoning-Aufgaben, Websuchen oder agentenbasierte Abläufe, während das Interaktionsmodell weiterhin mit dem Nutzer in Kontakt bleibt und die Ergebnisse nahtlos in das Gespräch einbindet.

Leistungsvergleich mit anderen Systemen

In Benchmark-Tests schneidet TML-Interaction-Small bei Interaktionsqualität und Reaktionsgeschwindigkeit deutlich besser ab als vergleichbare Systeme von OpenAI und Google. Besonders auffällig ist die Reaktionslatenz: Während GPT-Realtime-2.0 im Schnitt 1,18 Sekunden benötigt, um auf eine Nutzeräußerung zu reagieren, liegt das Modell von Thinking Machines Lab bei 0,40 Sekunden.

Darüber hinaus wurden neue interne Benchmarks entwickelt, die Fähigkeiten messen, die bisher kein kommerzielles Modell beherrschte: etwa das zeitgenaue Reagieren auf verbale oder visuelle Hinweise sowie das Zählen von Wiederholungen in einem Video ohne explizite Aufforderung. Konkurrenzmodelle schnitten bei diesen Aufgaben durchgehend schwach ab oder gaben gar keine Antwort.

Einschränkungen und Ausblick

Thinking Machines Lab benennt offen mehrere aktuelle Grenzen des Systems. Sehr lange Sitzungen mit kontinuierlichem Audio- und Videoeingang erzeugen schnell große Kontextmengen, was die Verwaltung erschwert. Eine stabile Internetverbindung ist für die Echtzeit-Verarbeitung zwingend erforderlich, da die Erfahrung bei schlechter Verbindung deutlich leidet.

Das aktuelle Modell ist ein Mixture-of-Experts-Modell mit 276 Milliarden Parametern, von denen jeweils 12 Milliarden aktiv sind. Größere Modelle sind nach Unternehmensangaben derzeit noch zu langsam für den Einsatz in diesem Echtzeit-Setting, sollen aber im Laufe des Jahres folgen. Zudem kündigt das Unternehmen ein Forschungsstipendium an, um die wissenschaftliche Gemeinschaft zur Entwicklung neuer Bewertungsmaßstäbe für Interaktionsmodelle einzuladen.