Andrej Karpathy: „LLMs sind die neuen Betriebssysteme“

Der KI-Forscher und Investor Andrej Karpathy hat eine weitreichende Vision für die Zukunft der Softwareentwicklung vorgestellt, in der Large Language Models (LLMs) eine zentrale Rolle als universelle Infrastruktur einnehmen werden. Seine Analyse beschreibt einen grundlegenden Paradigmenwechsel, der die Art und Weise, wie Software entwickelt und genutzt wird, fundamental verändern könnte.

Andrej Karpathy, geboren 1986 in Bratislawa, war früher für OpenAI tätig, wechselte dann als KI-Chef zu Tesla, kehrte zu OpenAI zurück, um an GPT-4 mitzuarbeiten, und arbeitet heute nicht nur als Investor (u.a. Magic), sondern mit Eureka Labs auch an KI-Anwendungen für den Bildungssektor.

Drei Entwicklungsstufen der Software

Karpathy gliedert die Evolution der Softwareentwicklung in drei distinct Phasen:

Software 1.0 repräsentiert die traditionelle Programmierung, bei der Entwickler explizite Anweisungen in Programmiersprachen verfassen, die von Computern exakt ausgeführt werden.

Software 2.0 kennzeichnet den Übergang zu neuronalen Netzen, wo Entwickler Architekturen definieren und Modelle mit großen Datenmengen trainieren, die dann eigenständig komplexe Aufgaben wie Bilderkennung bewältigen.

Software 3.0 beschreibt die aktuelle Ära der Large Language Models, in der natürliche Sprache zur primären Schnittstelle für die „Programmierung“ wird. Laut Karpathy entwickelt sich Englisch zur „heißesten neuen Programmiersprache“.

LLMs als universelle Infrastruktur

Karpathy zieht Parallelen zwischen LLMs und grundlegenden Infrastrukturtechnologien wie Elektrizität oder Betriebssystemen. Seine Analyse zeigt mehrere charakteristische Eigenschaften auf: LLMs würden hohe Anfangsinvestitionen beim Training erfordern, jedoch anschließend über APIs standardisierte und skalierbare Intelligenz bienten.

Nach Karpathys Einschätzung befindet sich die Branche derzeit in einer Phase, die der „Mainframe- und Time-Sharing-Ära“ der Computergeschichte entspricht: Zentrale, leistungsstarke Modelle werden über Netzwerke genutzt, während Personalisierung und Dezentralisierung noch in den Anfängen stehen.

• LLMs als Versorgungsinfrastruktur: Karpathy vergleicht LLMs mit öffentlichen Versorgungsunternehmen wie Stromnetzen. Die Parallelen zeigen sich in der Kostenstruktur: Hohe Investitionskosten (CAPEX) für das Training der Modelle entsprechen dem Aufbau der Netzinfrastruktur, während die laufenden Betriebskosten (OPEX) dem kontinuierlichen Betrieb ähneln.
• Ähnlichkeiten zur Halbleiterindustrie: Die zweite Analogie bezieht sich auf die Struktur der Halbleiterindustrie. LLMs erfordern massive Investitionen und tiefgreifende Forschung und Entwicklung mit streng gehüteten Geschäftsgeheimnissen. Karpathy setzt dabei die 4-Nanometer-Prozessknoten der Chipfertigung mit Computing-Clustern von 10^20 FLOPS gleich. Unternehmen, die auf NVIDIA-GPUs trainieren, vergleicht er mit „fabless“ Halbleiterunternehmen, die keine eigenen Produktionsstätten besitzen. Google hingegen, das auf eigenen TPUs trainiert, entspricht Unternehmen wie Intel, die über eigene Fertigungsanlagen verfügen. Als Beispiel für die massive Skalierung nennt er xAIs Colossus-Cluster mit 100.000 H100-GPUs.
• LLMs als neue Betriebssysteme: Die wichtigste Analogie sieht Karpathy in der Entwicklung von LLMs zu Betriebssystemen. LLMs seien zunehmend komplexe Software-Ökosysteme und keine einfachen Commodities wie Strom. Als Software lassen sie sich – im Gegensatz zu physischer Infrastruktur – einfach kopieren, manipulieren, verändern, verteilen und als Open Source bereitstellen. Zwischen verschiedenen LLMs bestehe eine gewisse Wechselreibung aufgrund unterschiedlicher Features, Performance-Charakteristika, Stil und domänenspezifischer Fähigkeiten. Die Struktur aus System- und User-Prompts entspreche der Trennung zwischen Kernel- und User-Space in traditionellen Betriebssystemen.

„Sie können eine Anwendung wie VS Code auf Windows 10 oder 11, Mac 10.15 oder Linux usführen. Genauso können Sie eine LLM-Anwendung wie Cursor auf GPT o3, Claude 4-Sonnet, Gemini 2.5-Pro oder DeepSeek ausführen“, so Karpathy.

Implikationen für die Branche

Karpathys Analyse prognostiziert eine fundamentale Transformation der Softwarebranche, bei der LLMs zur universellen Infrastruktur werden und neue Formen der Interaktion, Kreativität und Produktivität ermöglichen. Gleichzeitig betont er die fortbestehende Bedeutung menschlicher Kontrolle, kritischer Reflexion und innovativer Benutzeroberflächen für die verantwortungsvolle und effektive Nutzung von KI-Technologien.

Die Vision positioniert LLMs nicht nur als technologisches Werkzeug, sondern als grundlegende Plattform, die ähnlich wie Betriebssysteme eine neue Schicht der Computerinteraktion etablieren könnte.