Nemotron 3.5: Nvidia macht sein offenes KI-Modell doppelt so schlau
Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.
Nvidia verkauft nicht nur die Schaufeln für den KI-Goldrausch, der Chipkonzern gräbt inzwischen auch selbst: Mit Nemotron 3.5 Super VL hat Nvidia vergangene Woche ein offenes Modell veröffentlicht, das laut dem Testdienst Artificial Analysis doppelt so intelligent ist wie sein Vorgänger und dabei rund 60 Prozent weniger Text produziert. Dazu kommt mit Nemotron 3.5 Bolt eine neue Modellfamilie, die auf Laptops laufen soll.
120 Milliarden Parameter, eine Million Token Kontext
Nemotron 3.5 Super VL hat 120 Milliarden Parameter, von denen pro Anfrage 12 Milliarden aktiv sind. Das Modell verarbeitet neben Text auch Bilder, Webseiten und PDFs und ist laut Nvidia besonders gut darin, Tabellen, Diagramme und gescannte Dokumente auszulesen. Das Kontextfenster fasst eine Million Token. Gedacht ist es für KI-Agenten in Unternehmen, die mehrstufige Abläufe abarbeiten, Werkzeuge bedienen und Geschäftsdokumente prüfen.
Nvidia legt dabei mehr offen als viele Konkurrenten: Neben den Gewichten unter der freizügigen Lizenz OpenMDW-1.1 veröffentlicht der Konzern auch Trainingsdatensätze und Rezepte. Trainiert wurde das Modell mit rund 26 Billionen Token, nachtrainiert mit etwa 3,8 Millionen Beispielen und Reinforcement Learning. Erhältlich ist es auf Hugging Face, über OpenRouter und als Nvidia-Microservice. Laut Artificial Analysis kostet die Nutzung per API rund 0,21 Euro (0,23 Dollar) pro Million Input-Token und 0,51 Euro (0,57 Dollar) pro Million Output-Token.
Schneller und sparsamer als der Vorgänger
Im Intelligence Index von Artificial Analysis, der zehn Tests zu Programmieren, Agenten, Wissensarbeit und Naturwissenschaften bündelt, kommt Super VL auf 26 Punkte. Der Vorgänger Nemotron 3 Super lag bei 13 Punkten, Nvidias bisheriges Flaggschiff Nemotron 3 Ultra bei 23. Pro Testaufgabe erzeugt das neue Modell im Schnitt 46.000 Output-Token, der Vorgänger brauchte noch 114.000.
Auch beim Tempo legt Nvidia zu. Auf einem Vorab-Server des Anbieters DeepInfra erreichte Super VL bei sehr langen Eingaben von 100.000 Token rund 630 Token pro Sekunde, das ist laut Artificial Analysis der höchste gemessene Wert aller Modelle mit mindestens 20 Punkten. Das erste Wort der Antwort kommt nach 1,8 Sekunden. Möglich macht das unter anderem das 4-Bit-Format NVFP4, das auf Nvidias Chips besonders effizient läuft. Der Qualitätsverlust gegenüber den vollen Gewichten liegt laut Artificial Analysis bei nur 0,1 Punkten.
Bolt: Ein Agent für den Laptop
Die zweite Neuheit heißt Nemotron 3.5 Bolt und ist für den lokalen Einsatz gebaut. Das erste Modell der Familie hat 74 Milliarden Parameter, von denen 9 Milliarden aktiv sind, und passt dank 2-Bit-Quantisierung in 24 Gigabyte Speicher. Damit läuft es auf Gaming-PCs mit RTX-Grafikkarte, auf Nvidias Mini-Rechner DGX Spark und auf den neuen RTX-Spark-Laptops, die seit vergangenem Freitag erhältlich sind. Unterstützt werden gängige Werkzeuge wie Ollama, LM Studio und llama.cpp.
Bolt kommt im Intelligence Index auf 21 Punkte und liegt damit nur knapp hinter Nemotron 3 Ultra, das mit 550 Milliarden Parametern mehr als siebenmal so groß ist. Unter den Modellen mit weniger als 100 Milliarden Parametern ist es laut Artificial Analysis das viertbeste und das beste aus den USA. Der Haken: Bolt ist gesprächiger und braucht pro Aufgabe 82.000 Token, fast doppelt so viele wie Super VL. Am Freitag soll mit Bolt E4B noch eine Mini-Version für Sprachassistenten und Roboter folgen, die mit 4 Gigabyte auskommt.
Wer Nemotron bereits einsetzt
Nvidia baut Nemotron gezielt als Basis für die Modelle anderer Firmen auf. Salesforce hat sein Reasoning-Modell Koa bereits auf Nemotron aufgesetzt, nun nennt Nvidia unter anderem Atlassian, CrowdStrike, Perplexity, den Chipdesign-Spezialisten Synopsys und den französischen Softwarekonzern Dassault Systèmes als Partner. Über Scale AI wurde Super VL außerdem für einen Due-Diligence-Agenten von EY nachtrainiert. Wie ernst es Nvidia mit eigenen Modellen ist, zeigen auch die Gespräche über eine Übernahme des Open-Weight-Startups Reflection AI.
Spitze nur mit Einschränkung
Artificial Analysis bezeichnet Super VL als bestes offenes Modell aus den USA. Knapp dahinter liegt Inkling Small von Thinking Machines mit 25,7 Punkten. Die Krone gilt allerdings nur für Modelle mit freizügiger Lizenz: Metas Muse Spark Open, das am selben Tag erschien, kommt bei Artificial Analysis auf 39 Punkte, ist mit 816 Milliarden Parametern aber deutlich größer und steht unter einer eigenen Lizenz mit Einschränkungen.
International ist der Abstand ohnehin groß. Das beste offene Modell aus China, MiMo-V2.6-Pro, erreicht 46 Punkte, K2 Horizon aus den Vereinigten Arabischen Emiraten 31. Europas Hoffnungsträger Mistral kam mit Large 4 bei Artificial Analysis auf 38 Punkte. Nvidias Wette ist eine andere: Statt das klügste offene Modell zu bauen, will der Konzern das schnellste und billigste für Agenten liefern, die rund um die Uhr laufen. Mehr dazu dürfte es am Mittwoch geben, wenn Nvidia auf der GTC in Berlin seine Keynote hält.
