Gemini Omni: Video-Modell bringt Schnitt per Spracheingabe und Physik-Simulation

Die Gerüchte bewahrheiten sich: Google hat auf seiner Entwicklerkonferenz Google I/O ein neues multimodales KI-Modell vorgestellt, nämlich Gemini Omni. Das Modell soll aus beliebigen Eingaben hochwertige Videos erzeugen und dabei dort anknüpfen, wo OpenAIs Videomodell Sora hinwollte, bevor es kürzlich eingestellt wurde. Mit Omni bündelt Google erstmals die Reasoning-Fähigkeiten seines Gemini-Sprachmodells mit leistungsstarker Videogenerierung in einem einzigen System.

Was Gemini Omni besonders macht

Anders als reine Text-to-Video-Modelle versteht Gemini Omni mehrere Eingabeformate gleichzeitig. Nutzer können Bilder, Audiodateien, Videos und Text kombinieren, und das Modell erzeugt daraus einen kohärenten, konsistenten Videoclip. Dabei greift Omni auf Geminis Weltwissen zurück, also auf Kenntnisse über Physik, Geschichte, Wissenschaft und kulturellen Kontext, um nicht nur visuell überzeugende, sondern auch inhaltlich sinnvolle Ergebnisse zu liefern.

Zu den Kernfähigkeiten zählen:

• Videobearbeitung per Spracheingabe: Nutzer können Videos durch natürliche Sprachanweisungen editieren, Szenen verändern, Objekte hinzufügen oder den Stil anpassen, ohne komplexe Schnittsoftware zu benötigen.
• Physikalisch plausible Darstellungen: Das Modell verfügt über ein verbessertes intuitives Verständnis von Kräften wie Schwerkraft, kinetischer Energie und Fluiddynamik.
• Multimodale Referenzen: Bilder, Videos, Audiodateien und Texte lassen sich als Stilvorlagen oder inhaltliche Referenzen einsetzen.
• Digitale Avatare: Nutzer können Videos mit ihrer eigenen digitalen Entsprechung erstellen, die ihrem Aussehen und ihrer Stimme nachempfunden ist.
• Mehrstufige Bearbeitung: Jede Anweisung baut auf der vorherigen auf, ohne dass Konsistenz oder Kontext verloren gehen.

„Als wir Gemini erstmals ankündigten, war es unser erstes KI-Modell, das von Grund auf multimodal war. Mit Weltmodellen bewegt sich KI davon weg, Text vorherzusagen, hin zur Simulation von Realität. Gemini Omni ist der nächste Schritt in diese Richtung“, sagte Sundar Pichai, CEO Google.

Wo Sora aufgehört hat und Omni weitermacht

OpenAIs Videomodell Sora galt lange als Maßstab für KI-generierte Videos und führte unter anderem die Funktion ein, Nutzer als digitale Avatare in selbst erstellten Videos auftreten zu lassen. Nach seiner Einstellung hinterlässt Sora eine Lücke, die Google nun mit Omni zu füllen versucht. Ähnlich wie Sora ermöglicht Omni die Erstellung personalisierter Videoclips mit dem eigenen Abbild, geht aber darüber hinaus: Das Modell kombiniert Videogenerierung mit echtem Weltwissen und erlaubt eine iterative, gesprächsbasierte Bearbeitung, die Sora in dieser Form nicht bot.

Nicole Brichtova, Direktorin für Produktmanagement bei Google DeepMind, beschreibt Omni als „den nächsten Schritt in der Verbindung der Intelligenz von Gemini mit den Rendering-Fähigkeiten unserer Medienmodelle“. Das Ziel ist ein durchgängiger multimodaler Workflow, der sowohl für Verbraucher als auch für professionelle Kreative und Werbetreibende nutzbar ist.

Für wen ist Gemini Omni verfügbar?

Das erste Modell der Omni-Familie, Gemini Omni Flash, richtet sich zunächst vor allem an Verbraucher. Es ist ab sofort verfügbar für:

• Abonnenten von Google AI Plus, Pro und Ultra weltweit über die Gemini-App und das KI-Kreativstudio Google Flow
• Nutzer von YouTube Shorts und der YouTube Create App, kostenfrei ab dieser Woche
• Entwickler und Unternehmenskunden erhalten in den kommenden Wochen Zugang über eine API

Ein leistungsstärkeres Modell, Gemini Omni Pro, ist in Planung. Google hat noch keinen konkreten Starttermin genannt, will es aber veröffentlichen, sobald es einen deutlichen Qualitätssprung gegenüber Flash darstellt.

Sicherheit und Transparenz

Alle mit Omni erstellten Videos erhalten automatisch ein unsichtbares digitales Wasserzeichen namens SynthID. Damit lässt sich überprüfen, ob ein Video mit Gemini-Produkten erstellt wurde, über die Gemini-App, Gemini in Chrome sowie die Google-Suche. Für die Avatar-Funktion ist ein eigener Onboarding-Prozess vorgesehen, bei dem Nutzer sich selbst aufnehmen und eine Zahlenfolge sprechen, um Missbrauch und Deepfakes zu erschweren.

Omni Flash rendert derzeit Videos von bis zu zehn Sekunden Länge. Google betont, dass dies keine technische Einschränkung des Modells ist, sondern eine bewusste Entscheidung, um den Einstieg zu erleichtern. Längere Videodauern sind für die nahe Zukunft angekündigt.