Kill Switch für KI-Agenten: Innsbrucker in-manas startet Sovereign AI OS

Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.

Erst bauen alle KI-Agenten, dann fragt jemand, wo eigentlich der Ausschalter ist: Genau dort setzt das Innsbrucker KI-Unternehmen in-manas mit seinem neuen Sovereign AI OS an. Die Plattform, die soeben für alle Unternehmen und Institutionen verfügbar ist, dient als zentrale Betriebs- und Kontrollschicht für KI-Agenten. Firmen legen damit fest, worauf ihre Agenten zugreifen dürfen, verfolgen jede ihrer Aktionen, deckeln die Kosten und können laufende Agent Runs per Kill Switch sofort stoppen. Bei ausgewählten Leuchtturm-Kund:innen ist das System bereits im Einsatz.

Zielgruppe sind vor allem kritische Infrastrukturen und sensible Unternehmensbereiche: Energieversorgung, Gesundheitswesen, öffentlicher Verkehr, Logistik, technologieintensive Industrie und der Verteidigungssektor. Zu den Partnern von in-manas zählt unter anderem Bosch.

Warum Agenten eine Notbremse brauchen

Einen einzelnen KI-Agenten zu bauen und zu testen, geht heute schnell. Kompliziert wird es, sobald viele davon parallel im Tagesgeschäft laufen: Mit jedem zusätzlichen Agenten steigen Tokenkosten, manuelle Nacharbeit und das Risiko von Fehlfunktionen. Agenten greifen eigenständig auf Daten und Systeme zu und lösen Aktionen aus. Eine Fehlkonfiguration oder eine manipulierte Eingabe schlägt damit unmittelbar auf Geschäftsprozesse durch.

„Wer KI-Agenten in kritischen Anwendungen ohne klare Zugriffsregeln, Kostenlimits und Kill Switch einsetzt, handelt fahrlässig“, sagt Stefan Unterthiner, CTO von in-manas. Als das Team begann, eigene Agenten zu entwickeln, habe er sofort gesehen, dass diese klare Grenzen brauchen und sich jeder Agent Run auf der Stelle anhalten lassen muss.

Mit dieser Haltung ist er in prominenter Gesellschaft. Microsoft-Chef Satya Nadella forderte kürzlich, Unternehmen sollten jedes leistungsstarke KI-Modell so behandeln, als wäre es bereits kompromittiert, inklusive einer Notbremse für autorisierte Personen. Wie weit Agenten den Sicherheitsvorkehrungen vieler Firmen inzwischen voraus sind, beschreibt auch unsere Kolumne Future{hacks}: Die KI ist längst weiter als ihr Sicherheitskäfig.

So funktioniert das Sovereign AI OS

Die Plattform bündelt unterschiedliche Agenten und KI-Plattformen in einer gemeinsamen Kontrollstruktur. Auch wenn im Unternehmen mehrere Systeme parallel laufen, bleiben Zugriffe, Aktionen und Kosten so an einer Stelle sichtbar. Die wichtigsten Funktionen im Überblick:

• Headless-Architektur: Das System ist an keine bestimmte Benutzeroberfläche gebunden. Bestehende Werkzeuge bleiben im Einsatz, Steuerung und Kontrolle liegen zentral darunter. Kund:innen können auch eigene Anwendungen darauf aufbauen.
• Souveräner Betrieb: Die Plattform läuft als dedizierte Instanz auf der Infrastruktur der Kund:innen, auf Wunsch samt lokal betriebener Open-Weight-Modelle, oder in einer souveränen Cloud innerhalb Europas. Modelle und Anbieter lassen sich per Konfiguration wechseln, ohne jeden Agenten einzeln anzupassen.
• Agent Builder: Unternehmen entwickeln eigene Agenten und bringen sie über einen geregelten Freigabeprozess in den Produktivbetrieb.
• Protokoll und Kill Switch: Das System zeichnet Aktionen und Kosten jedes Agent Runs auf, auch bei Fehlern oder Abbrüchen. Der Kill Switch stoppt den Run samt aller Zugriffe auf Modelle, Daten und Tools.
• Budgets: Kostengrenzen lassen sich pro Agent, Abteilung oder für das gesamte Unternehmen festlegen. Wird ein Limit erreicht, warnt das System oder bricht den Run automatisch ab.

Die Dokumentation soll zudem bei internen Prüfungen und regulatorischen Nachweisen helfen, etwa für den EU AI Act. Gemeinsam mit der zentralen Zugriffssteuerung liefert sie laut in-manas auch eine Grundlage für das Cybersicherheits-Risikomanagement nach NIS2.

Von zwei Euro auf 20 Cent

Wie die Kostenkontrolle in der Praxis aussieht, zeigt das Healthtech-Unternehmen Biolyz. Dort geben KI-Agenten Leistungssportler:innen Empfehlungen zu Ernährung, Schlaf und Bewegung. Damit sich das rechnet, hatte Biolyz eine Obergrenze von zwei Euro pro Agent Run vorgegeben. Durch die detaillierte Kostenerfassung und eine schrittweise Optimierung der Arbeitsschritte drückte in-manas die Kosten einzelner Runs auf 20 Cent, also ein Zehntel des Limits.

Zehn Jahre KI-Erfahrung aus Tirol

in-manas wurde vor zehn Jahren gegründet und entwickelt KI-Lösungen für Unternehmen und Institutionen. Die Idee zum Sovereign AI OS entstand aus Entwicklung und Betrieb eigener Agenten: Zugriffssteuerung, Nachvollziehbarkeit und Kostenkontrolle erwiesen sich dabei als Grundvoraussetzungen für einen verantwortungsvollen und wirtschaftlichen KI-Einsatz. Zu den Kund:innen zählen neben Biolyz der Energieversorger EAM, der Verpackungsspezialist Papstar, die Forschungseinrichtung Eurac Research und die Universität Innsbruck. Partnerschaften bestehen mit Bosch Software and Digital Solutions und dem IT-Dienstleister fme.

Die Politik will den Ausschalter

Die Frage, wer KI-Systeme im Ernstfall anhalten kann, beschäftigt längst auch Gesetzgeber:innen. Der EU AI Act verlangt für Hochrisiko-KI-Systeme eine wirksame menschliche Aufsicht. Dazu gehört laut Artikel 14, dass Menschen eingreifen und das System über eine Stopp-Funktion in einen sicheren Zustand bringen können. Der deutsche Digitalminister Karsten Wildberger forderte im September auf der KI-Konferenz ALL IN in Montréal, Menschen müssten KI-Systeme steuern, korrigieren und bei Bedarf stoppen können.

In Kalifornien hat Gouverneur Gavin Newsom per Executive Order eine Expert:innengruppe eingesetzt, die binnen zwei Monaten Empfehlungen für strengere KI-Regeln vorlegen soll. Auf dem Tisch liegt dabei auch eine Pflicht zu einem Kill Switch für Frontier-Modelle. Dessen Wirksamkeit sollen unabhängige Stellen regelmäßig prüfen.

Während es dort um die mächtigsten Modelle geht, zielt in-manas auf die Anwendungsebene im Unternehmen: Welche Aktionen darf ein Agent ausführen, wer kann eingreifen, und lässt sich im Nachhinein belegen, was passiert ist? Für Bereiche wie Energie, Gesundheit oder öffentlichen Verkehr kommt die Souveränitätsfrage dazu: Wer betreibt die Infrastruktur, wer kommt an die Daten, und wie abhängig ist man von einzelnen Modell- und Cloudanbietern?

Der Wettbewerb um die Agenten-Kontrolle

Die Steuerungsschicht für KI-Agenten wird gerade zum umkämpften Markt. Die großen US-Konzerne bauen Kontrollzentralen für Agenten direkt in ihre eigenen Ökosysteme ein, etwa Microsoft mit Agent 365 oder Salesforce mit Agentforce. In Europa positionieren sich Anbieter wie das Berliner Startup Langdock mit KI-Plattformen für Unternehmen samt europäischem Hosting, Aleph Alpha setzt mit seinem Stack und dem jüngst veröffentlichten Modell Kolibri ebenfalls auf Souveränität. in-manas will sich mit dem herstellerunabhängigen Headless-Ansatz, dem Betrieb auf kundeneigener Infrastruktur und dem Fokus auf kritische Infrastrukturen abgrenzen.