Künstliche Intelligenz

Nvidia: Neues AI-Modell ist „Schweizer Taschenmesser für Sound“

© Nvidia
© Nvidia
Startup Interviewer: Gib uns dein erstes AI Interview Startup Interviewer: Gib uns dein erstes AI Interview

Nvidia hat ein neues AI-Modell entwickelt, das Text und Audio als Input verwendet und jede beliebige Kombination von Musik, Stimmen und Geräuschen erzeugen können soll. Das Team des US-Konzerns bezeichnet das Modell mit dem Namen Fugatto als „Schweizer Taschenmesser für Sound“. Fugatto (kurz für Foundational Generative Audio Transformer Opus 1) erzeugt oder verändert eine beliebige Mischung aus Musik, Stimmen und Geräuschen, die User mit einer beliebigen Kombination aus Text und Audiodateien beschreiben können.

Impact AI: Neuer Chatbot soll Weltraumforschung greifbarer machen

Modell soll Klänge wie Menschen verstehen und erzeugen

Laut Nvidia kann das Modell beispielsweise ein Musikstück auf der Grundlage einer Textaufforderung erstellen Es kann Instrumente aus einem bestehenden Lied entfernen oder hinzufügen, den Akzent oder die Emotion in einer Stimme verändern – und sogar Menschen Klänge erzeugen lassen, die sie noch nie zuvor gehört haben. „Wir wollten ein Modell entwickeln, das Klänge wie Menschen versteht und erzeugt“, sagt Rafael Valle, Manager für angewandte Audioforschung bei Nvidia.

Fugatto basiert auf der früheren Arbeit von Nvidia in Bereichen wie Sprachmodellierung, Audio-Vocoding und Audioverstehen. Trainiert habe man das Modell ausschließlich mit Material unter Open-Source-Lizenzen. Der Konzern hat es mit seinen eigenen Chips trainiert. Eine der schwierigsten Aufgaben war laut dem Konzern die Erstellung eines gemischten Datensatzes, der Millionen von Audio-Samples für das Training enthält. Das Team verwendete bestehende Datensätze, um neue Beziehungen zwischen den Daten aufzudecken. Die gesamte Arbeit erstreckte sich über mehr als ein Jahr.

DeepL führt Echtzeit-Sprachübersetzung für Meetings und Telefonate ein

Nvidia verspricht verschiedene Anwendungsfälle

Es handle sich bei Fugatto um das erste grundlegende generative KI-Modell, das emergente Eigenschaften hat. Dabei handelt es sich um Fähigkeiten, die sich aus der Interaktion seiner verschiedenen trainierten Fähigkeiten ergeben. Musikproduzent:innen könnten Fugatto zum Beispiel nutzen, um schnell eine Idee für einen Song zu entwickeln oder zu bearbeiten und dabei verschiedene Stile, Stimmen und Instrumente auszuprobieren. Sie könnten auch Effekte hinzufügen und die allgemeine Audioqualität eines bestehenden Tracks verbessern.

Eine Werbeagentur könne Fugatto einsetzen, um eine bestehende Kampagne schnell auf verschiedene Regionen oder Situationen abzustimmen, indem sie unterschiedliche Akzente und Emotionen auf Voiceovers anwendet. Sprachlerntools sollen sich so personalisieren lassen, dass sie jede beliebige Stimme verwenden.

Nvidia zufolge ist das Modell auch in der Lage, Aufgaben zu lösen, für die es nicht vortrainiert ist, wie z. B. die Erzeugung einer hochwertigen Gesangsstimme aus einer Texteingabe. Dank einer Technik namens ComposableART soll Fugatto Anweisungen kombinieren können, die es während des Trainings nur getrennt gesehen hat. Ob und wann Fugatto für User zur Verfügung steht, hat Nividia zu diesem Zeitpunkt noch nicht öffentlich gemacht.

Werbung
Werbung

Specials unserer Partner

Die besten Artikel in unserem Netzwerk

Deep Dives

#glaubandich CHALLENGE Hochformat.

#glaubandich CHALLENGE 2025

Österreichs größter Startup-Wettbewerb - 13 Top-Investoren mit an Bord
© Wiener Börse

IPO Spotlight

powered by Wiener Börse

Austrian Startup Investment Tracker

Die Finanzierungsrunden 2024

Trending Topics Tech Talk

Der Podcast mit smarten Köpfen für smarte Köpfe

2 Minuten 2 Millionen | Staffel 11

Die Startups - die Investoren - die Deals - die Hintergründe

The Top 101

Die besten Startups & Scale-ups Österreichs im großen Voting

BOLD Community

Podcast-Gespräche mit den BOLD Minds

IPO Success Stories

Der Weg an die Wiener Börse

Weiterlesen