Noeum: Austro-Entwickler baut im Alleingang funktionsfähiges KI-Modell

OpenAI, Anthropic und Co aus den USA, DeepSeek, Minimax und Qwen aus China – und dazwischen (sprich Europa) gibt es außer Mistral AI aus Frankreich ziemlich wenig. Vielleicht aber nicht mehr lange: Denn zahlreiche Initiativen haben es sich vorgenommen, lokale KI-Modelle zu entwerfen, um die Abhängigkeit von den beiden Machtblöcken zu verringern.

So auch der österreichische KI-Forscher und Entwickler Bledar Ramo. Denn er hat, wie er Trending Topics verraten hat, mit Noeum ein komplett eigenständiges KI-Modell trainiert – und zwar eines, das nicht etwa auf Llama von Meta oder anderen offenen LLMs basiert, sondern eines, das von Grund auf eigenständig ist. Ramo entwickelte Noeum-1-Nano mit Hilfe von Datensätzen wie Wikipedia oder „Project Gutenberg“ sowie mit lediglich 8 Nvidia-GPUs. Das Sprachmodell ist, wie der Name schon sagt, sehr klein, soll aber mit anderen Nano-Modellen etwa von Alibaba (Qwen 0.5B) mithalten können.

Noch sei Noeum zu klein, um kommerziell eingesetzt zu werden – aber Ramo hat den Grundstein dafür gelegt, seine Vision eines europäischen KI-Modells nun in einem Startup weiter zu skalieren.

Trending Topics: Alleine ein wenn auch kleines, aber funktionsfähiges LLM zu entwickeln, ist eine ziemliche Leistung. Welchen Hintergrund haben Sie?

Bledar Ramo: Ich bin Softwareentwickler mit 17 Jahren Berufserfahrung und einem Hintergrund in Informatik. In den letzten drei Jahren war ich intensiv an mehreren KI-bezogenen Projekten beteiligt, sowohl in der Forschung als auch in der aktiven Entwicklung. Ich verfüge über eine Machine Learning Specialization.

Was hat Sie dazu motiviert, Noeum zu entwickeln – in einem Markt, der von Milliarden schweren Unternehmen aus den USA und China dominiert wird?

Durch meine fünfjährige Tätigkeit in der Logistik- und Verteidigungsindustrie habe ich aus vielen verschiedenen Perspektiven gesehen, wie Europa fast vollständig von amerikanischen und chinesischen KI-Modellen abhängig ist – und diese Abhängigkeit nimmt weiter zu. Die Kernmotivation hinter Noeum ist zu zeigen, dass wettbewerbsfähige KI mit drastisch weniger Ressourcen entwickelt werden kann, basierend auf lokaler Expertise, die derzeit weitgehend ungenutzt bleibt.

„Europa ist fast vollständig von amerikanischen und chinesischen KI-Modellen abhängig – und diese Abhängigkeit nimmt weiter zu. Die Kernmotivation hinter Noeum ist zu zeigen, dass wettbewerbsfähige KI mit drastisch weniger Ressourcen entwickelt werden kann, basierend auf lokaler Expertise.“

Können Sie uns Einblicke in die technische Grundlagen geben?

Noeum basiert auf einer Standard-Decoder-only-Transformer-Architektur mit kausalem Masking und implementiert moderne Komponenten wie RMSNorm, Multi-Head Attention mit Grouped-Query Attention (GQA) sowie Feed-Forward-Netzwerke. Die aktuelle Nano-Version verwendet eine sparse Mixture-of-Experts (MoE)-Architektur mit 8 gerouteten Experten plus 1 geteiltem Experten.

Die Trainingspipeline unterstützt mehrstufiges Pretraining und Post-Training:

• Pretraining Stufe 0: Kurzer Kontext (512 Tokens)
• Pretraining Stufe 1: Längerer Kontext (2.048 Tokens)
• Chain-of-Thought SFT (Supervised Fine-Tuning)
• GSPO (Reinforcement Learning)
• Mixed SFT
• DPO (Direct Preference Optimization)

Die Infrastruktur nutzt DeepSpeed ZeRO für effizientes Multi-GPU-Training.

Ist Noeum ein eigenständiges Modell oder basiert es etwa auf offenen Modellen wie Llama?

Noeum wurde vollständig von Grund auf neu entwickelt. Es basiert weder auf der Llama-Architektur noch handelt es sich um eine feinabgestimmte Version eines bestehenden Modells. Um dies zu belegen, habe ich sowohl die Basisversion (nicht instruiert) als auch die post-trainierte Version auf Hugging Face hochgeladen – als Nachweis, dass es sich um eine Eigenentwicklung ohne übernommene Abkürzungen handelt.

Welche Trainingsdaten und welche Hardware haben Sie genutzt?

Pretraining (nur Englisch): Etwa 18 Milliarden Tokens (~58 GB im JSONL-Format), stammend aus Wikipedia, StackExchange, arXiv-Papers, Stacks, FineWeb-Edu, Python-Code, C4, CC-Math-Finest und Project Gutenberg-Büchern. Von jeder Quelle wurde ein kleiner Prozentsatz verwendet – alle sind Open Source und öffentlich verfügbar. Zusätzlich bestanden etwa 1% aus experimentellen synthetischen Daten mit Denkmustern wie kontradiktorischem Denken, neuartigem Denken und First-Principles-Reasoning.

Post-Training: Etwa 1,5 Milliarden Tokens, hauptsächlich SFT- und Mixed-SFT-Daten.

Hardware: Das Haupttraining wurde auf 8× NVIDIA RTX 5090 GPUs mit 256 GB RAM durchgeführt (gemietet über vast.ai). Erste Experimente liefen auf 4× RTX 4090 GPUs (gemietet über novita.ai). Checkpoints wurden alle 10% des Fortschritts gespeichert, und die GPU-Auslastung lag über 90% der Trainingszeit bei mehr als 95% – ein State-of-the-Art-Wert für Effizienz.

Noeum-1-Nano ist im Vergleich zu bekannten LLMs der großen Anbieter sehr klein. Was kann es in der Praxis?

Noeum-1-Nano ist ein Sprachmodell im Nano-Maßstab, das über Allgemeinwissen, enzyklopädische Themen, einfache Mathematik, Python-Programmierung, grundlegendes SQL, Biologie, Chemie und Natur kommunizieren kann. Laut den Benchmarks, die ich durchgeführt und auf der offiziellen Website veröffentlicht habe, erreichte es #1-Platzierungen in zwei Kategorien sowie eine insgesamt überdurchschnittliche Leistung im Vergleich zu Modellen wie Qwen 0.5B, TinyLlama, BLOOM-1B, Pythia und Cerebras – trotz deutlich geringerer Trainingsdaten und GPU-Ressourcen.

„Derzeit ist es, wie alle heute verfügbaren Nano-Modelle, zu klein, um einen kommerziellen Wert zu haben.“

Es wurde mit 8 Benchmarks unter Verwendung von EleutherAIs lm-evaluation-harness getestet, darunter BoolQ, SST-2, CB, SCIQ und PIQA. Alle Ergebnisse sind auf der offiziellen Hugging Face-Seite und der Website veröffentlicht. Ich habe außerdem ein Video veröffentlicht, in dem Noeum-1-Nano 30 zufällige Fragen aus einem Pool von 10.000 beantwortet.

Derzeit ist es, wie alle heute verfügbaren Nano-Modelle, zu klein, um einen kommerziellen Wert zu haben – es dient rein als technischer Machbarkeitsnachweis für die nächste Iteration: ein vollständig skaliertes, multimodales Noeum-Modell, das mit realistischen Daten und Infrastruktur trainiert wird.

Welche Zukunftspläne haben Sie, und wie wollen Sie Noeum ausbauen?

Das Ziel ist, Noeum in ein skalierbares Startup zu überführen. Derzeit evaluiere ich geeignete Förderprogramme, Finanzierungsmodelle und rechtliche Strukturen. Mit entsprechender Unterstützung sind die nächsten Schritte der Aufbau eines kleinen Teams und das Training einer vollständig skalierten Version von Noeum v1 – ein multimodales, mehrsprachiges Modell mit rekursiven Reasoning-Architekturen, selbstkorrigierenden Pipelines und proprietären Verifikationsschichten.

Dies sind Zuverlässigkeitsmerkmale, die im aktuellen Markt weitgehend fehlen. Über ein Allzweckmodell (Chat & API) hinaus, wie es alle großen KI-Labore anbieten, plane ich spezialisierte Versionen für sicherheitskritische Branchen wie Verteidigung, Pharma, Logistik und Finanzen anzubieten. Diese Sektoren benötigen On-Device-Intelligenz, um vollständige Datensouveränität zu gewährleisten und zuverlässig zu funktionieren. Ich bringe direkte Berufserfahrung in den Bereichen Verteidigung und Logistik mit, zusätzlich zu fundierter Expertise in generativen KI-Anwendungen.

„Das Ziel ist, Noeum in ein skalierbares Startup zu überführen.“