Cortecs: Wiener Startup bringt europäische Plattform für sichere LLM-Nutzung
Cortecs, ein Spinoff der Universität Wien, hat kürzlich ein neues Produkt namens „Sky Inference“ gelauncht, das es Usern ermöglicht, Große Sprachmodelle (LLMs) in einer europäischen Cloud zu verwenden. Die Vision der 2021 gegründeten Jungfirma ist es, LLMs speziell Unternehmen mit hohen Sicherheitsbedürfnissen zugänglich zu machen. Solche Firmen sollen so skalierbare KI-Lösungen in der europäischen Cloud-Infrastruktur entwickeln können.
Cortecs gab ursprünglich Tipps für Krypto-Trading
Doch Cortecs war nicht immer auf diesen Bereich konzentriert. Ursprünglich hat das Startup einen Machine-Learning-Algorithmus entwickelt, der Krypto-News automatisch analysierte und so verlässliche Tipps für das Krypto-Trading geben sollte (wir berichteten). Im Jahr 2022 vollzog die Jungfirma jedoch eine Neuausrichtung, wie Mitgründer und CEO Markus Tretzmüller gegenüber Trending Topics erzählt.
„Ab 2022 haben wir uns auf Large Language Models konzentriert. Die Absicht war es, diese Technologie Unternehmen mit hohen Sicherheitsbedürfnissen – die ChatGPT und Co. nicht verwenden konnten – bereitzustellen. Wir haben mit dieser Ausrichtung namhafte staatliche, teilstaatliche bzw. Kunden aus kritischer Infrastruktur gewonnen und unser Team erweitert (aktuell fünf). In dieser Tätigkeit wurde uns klar, dass es ein sicheres, europäisches Angebot benötigt, das der Markt noch nicht bot“, so Tretzmüller.
Neuausrichtung während LLM-Boom
Im Jahr 2024 hat sich das Jungunternehmen entschlossen, ein Produkt zu erstellen, um genau dieses Angebot zu bieten. Laut Tretzmüller hat Cortecs mittlerweile das breiteste Angebot an Large Language Models in Europa. Ausschlaggebend für den Pivot war vor allem der LLM-Boom. Das ursprüngliche Angebot von Cortecs, nämlich die Übersetzung von Social Media-Texten in einfacher verständliche Sprache, konnten die neuen LLMs schon ab 2022 ohne aufwändiges Training durchführen. Für das Jungunternehmen wurde daraufhin die Frage nach der Sicherheit von solchen Modellen spannender.
„Aufgrund der enormen Modellgröße und der damaligen Verarbeitungstechniken war das keine triviale Frage. Die technischen Möglichkeiten haben sich seither verbessert, die geopolitische Situation hat sich aber verschärft und bringt neue Risiken mit sich“, sagt Tretzmüller. Am 26. Mai ist mit Sky Inference die entsprechende Lösung auf den Markt gekommen, die es ermöglichen soll, Modelle wie die von Mistral, Llama und Deepseek auf einer sicheren, europäischen Cloud zu nutzen. Laut Tretzmüller soll sich das Modellangebot laufend erweitern.
Optimind: AI-Startup für digitales Marketing erhält sechsstellige FFG-Förderung
„Sky Inference“ verspricht hohe Sicherheit
„Wir ermöglichen die Datenschutz-konforme Nutzung von Large Language Models. Durch die Implementierung einer europäischen Wertschöpfungskette können wir erhöhte Sicherheitsgarantien gewährleisten. Wir unterliegen zum Beispiel nicht dem umstrittenen US Cloud Act, der Microsoft, Google und Co. verpflichtet, Daten mit der US-Regierung zu teilen“, so Tretzmüller.
Cortecs hat hier bestehende, europäische KI-Kapazitäten unterschiedlicher Anbieter in einer Plattform vereint. Über einen Routing-Mechanismus werden die Daten dort verarbeitet, wo es für die Nutzer:innen am günstigsten bzw. am schnellsten möglich ist. Das soll ein breiteres und stabileres Angebot ermöglichen, als es einzelne Akteure wie OpenAI anbieten können. Dieser Ansatz komme in den USA in Form von OpenRouter.ai schon weitläufig zum Einsatz. Cortecs will das Pendant nach europäischen Sicherheitsstandards schaffen.
„Unser Router soll bald einen signifikanten Anteil aller KI-Anfragen in Europa verarbeiten. Konkret wollen wir Mitte nächsten Jahres eine Billion Tokens, also rund 750 Milliarden Wörter im Monat, verarbeiten“, beschreibt Tretzmüller die Zukunftspläne des Startups.
