World Labs von KI-Forscherin Fei-Fei Li holt 1 Milliarde Dollar für Ausbau von „World Models“

Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.

Das von der renommierten KI-Forscherin Fei-Fei Li mitbegründete Startup World Labs hat in einer neuen Finanzierungsrunde eine Milliarde Dollar eingesammelt. Zu den Investoren zählen Technologiegiganten wie AMD und NVIDIA sowie weitere namhafte Partner wie Autodesk, Emerson Collective, Fidelity Management & Research Company und Sea. Mit diesem Kapital will das Unternehmen seine Mission vorantreiben: die Entwicklung von Weltmodellen, die räumliche Intelligenz ermöglichen und Bereiche wie Storytelling, Kreativität, Robotik und wissenschaftliche Entdeckungen revolutionieren sollen.

Parallel zu der Finanzierungsankündigung hat World Labs sein erstes Produkt für die breite Öffentlichkeit zugänglich gemacht. Marble, ein generatives multimodales Weltmodell, ermöglicht es jedem, aus Bildern, Videos oder Texteingaben räumlich kohärente, hochauflösende und persistente 3D-Welten zu erschaffen. Was bisher nur in geschlossenen Beta-Tests verfügbar war, steht nun allen Interessierten offen.

Was ist World Labs?

World Labs versteht sich als Forschungs- und Produktunternehmen an der Spitze der KI-Entwicklung. Das Unternehmen wurde von Fei-Fei Li gegründet, einer Pionierin im Bereich der künstlichen Intelligenz, zusammen mit den weltweit anerkannten Technologen Justin Johnson, Christoph Lassner und Ben Mildenhall. Jeder von ihnen bringt tiefgreifende Expertise in maschinellem Lernen, generativer KI, Computer Vision und Grafik mit.

Die Vision des Unternehmens ist es, grundlegende Weltmodelle zu entwickeln, die die 3D-Welt wahrnehmen, generieren, verstehen und mit ihr interagieren können. Durch räumliche Intelligenz soll das volle Potenzial der KI freigesetzt werden: Sehen wird zu Handeln, Wahrnehmen zu Denken und Vorstellung zu Schöpfung. World Labs glaubt, dass räumliche Intelligenz neue Formen des Geschichtenerzählens, der Kreativität, des Designs, der Simulation und immersiver Erlebnisse sowohl in virtuellen als auch in physischen Welten ermöglichen wird.

Marble: Das erste Produkt von World Labs

Marble ist das Herzstück der aktuellen Produktstrategie von World Labs. Es handelt sich um ein generatives 3D-Weltmodell, das aus verschiedenen Eingaben vollständige dreidimensionale Welten erschaffen kann. Die Technologie basiert auf hochmodernen generativen Modellen und ermöglicht es Nutzern, räumlich kohärente und visuell beeindruckende 3D-Umgebungen zu erstellen.

Das Besondere an Marble ist seine Multimodalität. Das System kann mit unterschiedlichsten Eingabeformaten arbeiten:

• Textbeschreibungen: Nutzer können einfache Textprompts eingeben wie „Eine detaillierte Hobbit-Küche mit geflochtenen Körben und Kupferkesseln in ruhigem blassblauem Tageslicht“ und Marble generiert daraus eine vollständige 3D-Welt.
• Einzelbilder: Ein einzelnes Foto oder ein KI-generiertes Bild kann als Ausgangspunkt dienen, den Marble in eine begehbare 3D-Umgebung verwandelt.
• Mehrere Bilder: Durch die Eingabe mehrerer Ansichten derselben Szene kann Marble präzisere Welten erstellen, die den Vorstellungen des Nutzers genauer entsprechen.
• Videos: Kurze Videosequenzen können als Grundlage für die Generierung von 3D-Welten dienen, die Elemente realer Orte enthalten.
• Grobe 3D-Layouts: Mit dem neuen Werkzeug „Chisel“ können fortgeschrittene Nutzer die Struktur ihrer Welt direkt in 3D skizzieren.

Wie funktioniert das Weltmodell?

Das Konzept hinter Marble basiert auf der Idee, dass unsere menschliche Wahrnehmung der Welt grundlegend multimodal ist. Wir nutzen alle unsere Sinne, um die Welt um uns herum zu verstehen, und integrieren Sehen, Hören, Tasten und Sprache, um ein mentales Modell der Außenwelt aufzubauen. Diese verschiedenen Repräsentationen arbeiten zusammen, bereichern und verstärken sich gegenseitig und ermöglichen es uns, über die Welt nachzudenken und in ihr zu handeln.

Weltmodelle sollten nach Ansicht von World Labs ähnlich funktionieren. Sie sollten massiv multimodal sein, in der Lage, welche Eingangssignale auch immer verfügbar sind, in eine vollständige 3D-Welt zu überführen, und sie sollten ihr Verständnis der Welt iterativ aktualisieren können, sobald neue Informationen verfügbar werden.

Marble macht bedeutende Fortschritte in Richtung dieser Vision. Das System kann 3D-Welten aus einer Vielzahl von Eingabetypen erstellen und ermöglicht es Nutzern, Welten iterativ zu bearbeiten oder zu erweitern. Dies gibt ein bisher unerreichtes Maß an Kontrolle über den kreativen Prozess.

Erweiterte Funktionen für kreative Kontrolle

Neben der reinen Generierung bietet Marble umfangreiche Bearbeitungsmöglichkeiten. Nutzer können generierte Welten nachträglich verändern, sei es durch kleine lokale Anpassungen wie das Entfernen eines Objekts oder durch drastischere Eingriffe wie das Austauschen von Objekten, das Ändern des visuellen Stils oder die Umstrukturierung großer Teile der Welt.

Mit dem Werkzeug „Chisel“ können fortgeschrittene Nutzer die Struktur ihrer Welt direkt in 3D gestalten. Dabei wird zwischen Struktur und Stil getrennt: Die grobe 3D-Szene bestimmt die Struktur der Welt, während der Textprompt den Gesamtstil kontrolliert. Diese beiden Elemente können in beliebiger Kombination gemischt werden, was eine völlig neue Dimension der Kontrolle über die Weltgenerierung eröffnet.

Marble ermöglicht auch die Erweiterung bestehender Welten. Nutzer können einen Bereich einer Welt auswählen, den Marble dann mit zusätzlichem Inhalt füllt. Dies kann Welten größer machen, Details hinzufügen oder Bereiche verbessern, die zunächst weniger scharf dargestellt wurden. Darüber hinaus können mehrere Welten zu extrem großen Räumen zusammengesetzt werden, wobei die Nutzer vollständige Kontrolle über die Anordnung haben.

Export und Integration in bestehende Workflows

Nach der Erstellung können Marble-Welten in verschiedenen Formaten exportiert werden:

• Gaussian Splats: Die hochauflösendste Darstellung für Marble-Welten, die 3D-Szenen als große Menge halbtransparenter Partikel repräsentiert.
• Triangle Meshes: Sowohl niedrigauflösende Kollisionsmeshes für grobe Physiksimulationen als auch hochqualitative Meshes, die die visuelle Qualität von Gaussian Splats möglichst genau nachbilden.
• Videos: Generierte Welten können mit pixelgenauer Kamerasteuerung als Videos gerendert werden. Marble kann diese Videos auch „verbessern“, indem Details hinzugefügt, Artefakte entfernt und dynamische Elemente in die Szene eingefügt werden.

Diese Exportoptionen ermöglichen die Integration von Marble-Welten in viele branchenübliche Werkzeuge und Workflows, von der Spieleentwicklung über visuelle Effekte bis hin zu Architekturvisualisierungen.

Marble Labs: Inspiration und Anwendungsfälle

Parallel zur allgemeinen Verfügbarkeit von Marble hat World Labs auch Marble Labs gestartet, einen kreativen Hub, in dem Künstler, Ingenieure und Designer die Grenzen von Weltmodellen ausloten. Die Plattform präsentiert mutige Ideen, reale Workflows und neue Möglichkeiten in Bereichen wie Gaming, visuelle Effekte, Design, Robotik und mehr.

Marble Labs bietet ausführliche Fallstudien, Tutorials und Dokumentationen, die jedem die Werkzeuge an die Hand geben, um zu lernen, zu bauen und eigene 3D-Welten zu teilen. Von kinematografischem Filmemachen über interaktive Welten bis hin zu Robotersimulationen und therapeutischen Umgebungen zeigen diese Projekte, wie Marble bereits heute Vorstellungskraft in Realität verwandelt.

Der Weg zur räumlichen Intelligenz

Trotz der beeindruckenden Fähigkeiten von Marble betont World Labs, dass dies nur ein Schritt auf dem Weg zur räumlichen Intelligenz ist. Ein zentrales Zukunftsthema ist die Interaktivität. Künftige Weltmodelle sollen es Menschen und Agenten gleichermaßen ermöglichen, auf neue Weise mit generierten Welten zu interagieren und damit noch mehr Anwendungsfälle in Simulation, Robotik und darüber hinaus zu erschließen.

Die Milliarden-Finanzierung gibt World Labs die Ressourcen, diese Vision voranzutreiben. Mit einem Team, das Spitzenforschung mit Produktentwicklung verbindet, und einem ersten Produkt, das bereits heute beeindruckende Möglichkeiten bietet, positioniert sich das Unternehmen als führender Akteur in einem Bereich, der die Art und Weise, wie wir mit digitalen und physischen Welten interagieren, grundlegend verändern könnte.