Trotz US-Verbot: DeepSeek macht seine Inferenz-Engine Open Source
Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.
Washington sperrt DeepSeek aus, DeepSeek antwortet mit Offenheit: Das chinesische KI-Labor hat soeben DeepInfer veröffentlicht, jene Software, mit der es seine eigenen Modelle im großen Stil betreibt. Der Code steht unter der freizügigen Apache-2.0-Lizenz auf GitHub. Bemerkenswert ist vor allem, auf welchen Chips DeepInfer läuft: neben Nvidia auch auf jenen von Huawei.
Was DeepInfer ist
Eine Inferenz-Engine ist jene Software, die ein fertig trainiertes KI-Modell tatsächlich ausführt, also Anfragen entgegennimmt und Antworten erzeugt. Sie entscheidet maßgeblich darüber, wie schnell und billig ein Modell läuft. DeepInfer ist laut DeepSeek „das Hochleistungs-Inferenz-Framework hinter DeepSeeks großen Produktivdiensten“. Zum Start unterstützt es DeepSeek-V4.1-Flash, dessen schnellere Version DeepSeek erst am vergangenen Samstag veröffentlicht hat. Code für künftige Modelle soll ebenfalls dort landen.
Technisch bündelt DeepInfer mehrere Bausteine, die DeepSeek in den vergangenen Jahren bereits einzeln offengelegt hat, etwa die Rechenbibliotheken FlashMLA, DeepGEMM und DeepEP. Dazu kommen Verfahren, um ein Modell auf viele Chips zu verteilen, eine Technik, die Antworten mit Hilfe von Entwürfen schneller erzeugt, und strukturierte Ausgaben etwa im JSON-Format. Ursprünglich basierte DeepSeeks Software auf dem verbreiteten Open-Source-Projekt vLLM, wurde seither aber stark umgebaut.
Huawei auf Augenhöhe mit Nvidia
Unterstützt werden zum Start genau zwei Hardware-Plattformen: Nvidias neueste Rechenzentrums-Chips der Blackwell-Generation und Huaweis KI-Beschleuniger Ascend 950. Wie The New Stack anmerkt, fehlen ältere Nvidia-Chips wie Hopper dagegen. Das passt zu DeepSeeks Kurs, sich von Nvidia unabhängiger zu machen. Laut Bloomberg plant das Labor, in einem Rechenzentrum in der Inneren Mongolei mindestens 160.000 Ascend-Chips einzusetzen, um seine Modelle zu betreiben.
Der Zeitpunkt ist pikant. Erst diese Woche hat das US-Heimatschutzministerium alle zivilen Bundesbehörden verpflichtet, DeepSeek aus ihren Systemen zu entfernen, inklusive Produkten anderer Hersteller, die auf DeepSeek aufbauen. Gleichzeitig gehen die USA laut Reuters auch gegen Lieferungen von Nvidia-Chips an chinesische Firmen außerhalb Chinas vor. Mit DeepInfer zeigt DeepSeek, dass es seine Modelle auch auf chinesischer Hardware effizient betreiben kann, und macht es Unternehmen weltweit leichter, DeepSeek-Modelle auf eigenen Servern laufen zu lassen.
Noch nicht ganz fertig
Ganz komplett ist die Veröffentlichung allerdings nicht. Es fehlen wichtige Teile für den produktiven Großbetrieb, etwa die Verwaltung des Zwischenspeichers für bereits berechnete Anfragen, die Aufteilung der Rechenschritte auf verschiedene Maschinen und die Lastverteilung zwischen mehreren Instanzen. Einige Funktionen, etwa reproduzierbare Ergebnisse, laufen nur auf Nvidia-Chips. Konkrete Leistungszahlen nennt DeepSeek nicht, und für Huawei-Chips gibt es gar keine veröffentlichten Benchmarks.
DeepInfer tritt damit gegen etablierte Open-Source-Lösungen an. Neben vLLM, das ursprünglich an der UC Berkeley entstand, sind das vor allem SGLang sowie Nvidias eigene Software TensorRT-LLM. Ob Unternehmen auf DeepInfer umsteigen, dürfte davon abhängen, wie schnell DeepSeek die fehlenden Teile nachliefert.
