Apertus: Schweizer Forschende veröffentlichen offenes mehrsprachiges KI-Sprachmodell
Die Schweizer Forschungseinrichtungen EPFL, ETH Zürich und das Supercomputing-Zentrum CSCS veröffentlichen mit Apertus das erste umfangreiche, vollständig offene und mehrsprachige Sprachmodell aus der Schweiz. Das Large Language Model (LLM) steht in zwei Größen bereit – mit 8 Milliarden sowie mit 70 Milliarden Parametern. Die Forschenden stellen das LLM unter einer Open-Source-Lizenz bereit, die auch kommerzielle Anwendungen erlaubt. Apertus ist über den strategischen Partner Swisscom, die KI-Plattform Hugging Face und beim Netzwerk Public AI verfügbar.
Das Modell haben die Forschenden auf 15 Billionen Worteinheiten aus über 1.000 Sprachen trainiert. Dabei sind 40 Prozent der Daten nicht-englischsprachig. Damit soll Apertus zahlreiche Sprachen umfassen, die in bisherigen LLMs unterrepräsentiert sind, darunter Schweizerdeutsch und Rätoromanisch. Für die praktische Nutzung benötigen Anwender:innen zusätzliche Komponenten wie Server, Cloud-Infrastruktur oder spezifische Benutzeroberflächen. Swisscom stellt bereits eine speziell entwickelte Schnittstelle zur Verfügung, die das Arbeiten mit dem Modell erleichtern soll.
Aprtus verspricht vollständige Transparenz
Apertus soll es Forschenden und Fachpersonen ermöglichen, auf dem Modell aufzubauen, es anzupassen und jeden Teil des Trainingsprozesses transparent nachzuvollziehen. „Mit dieser Veröffentlichung möchten wir ein Musterbeispiel dafür geben, wie sich ein vertrauenswürdiges, souveränes und inklusives KI-Modell bauen lässt“, erklärt Martin Jaggi, Professor für Maschinelles Lernen an der EPFL. Die Entwicklung erfolgte unter Berücksichtigung der Schweizer Datenschutzgesetze, des Schweizer Urheberrechts und der Transparenzanforderungen der EU KI-Verordnung.
Thomas Schulthess, Direktor des CSCS und Professor an der ETH Zürich, betont den innovativen Ansatz. „Apertus ist kein klassischer Technologietransfer von der Forschung zum Produkt. Vielmehr verstehen wir das Modell als Impulsgeber für Innovationen und als Mittel zum Ausbau der KI-Expertise in Forschung, Gesellschaft und Wirtschaft.“ Imanol Schlag, technischer Leiter des Projekts und Research Scientist an der ETH Zürich, ergänzt: „Apertus wurde als Beitrag zum Gemeinwohl entwickelt. Es gehört zu den wenigen vollständig offenen LLMs in dieser Größenordnung und ist das erste seiner Art, das Mehrsprachigkeit, Transparenz und Compliance als grundlegende Designprinzipien vereint.“
Framer: Website-Builder ist das neueste europäische Unicorn – dank AI
Langfristiges Engagement für offene KI
Die Veröffentlichung von Apertus soll den Beginn einer längeren Entwicklung markieren. Antoine Bosselut, Leiter des Natural Language Processing Laboratory der EPFL, sieht darin „ein langfristiges Engagement für offene, vertrauenswürdige und souveräne KI-Grundlagen für das weltweite Gemeinwohl.“ Zukünftige Versionen sollen die Modellfamilie erweitern, die Effizienz steigern und spezifische Anpassungen für Fachbereiche wie Recht, Gesundheit oder Bildung ermöglichen.
Joshua Tan von der Public AI Inference Utility ordnet das Projekt in einen größeren Kontext ein. „Derzeit ist Apertus das führende öffentliche KI-Modell: ein Modell, entwickelt von öffentlichen Institutionen im Dienste des Gemeinwohls. Es ist der bislang stärkste Beweis dafür, dass Künstliche Intelligenz eine öffentliche Infrastruktur sein kann – wie Autobahnen, Wasserleitungen oder Stromnetze.“ Die bevorstehenden Hackathons im Rahmen der Swiss-AI-Weeks bieten Entwickler:innen die Gelegenheit, mit Apertus zu experimentieren. Sie sollen hierbei auch Feedback für zukünftige Versionen geben.
