Future{hacks}: Die KI ist längst weiter als ihr Sicherheitskäfig

Wir geben Agenten bereits die Rechte digitaler Mitarbeiter. Kontrolliert werden sie jedoch noch immer mit Regeln, die für ein Chatfenster entwickelt wurden.

Unternehmen statten KI-Agenten derzeit mit Zugriff auf Quellcode, Kundendaten, E-Mails und produktive Systeme aus. Anschließend verlassen sie sich auf Freigabemasken, Rollenmodelle und die Hoffnung, dass das System schon nachfragen wird, bevor es etwas Kritisches tut.

Wie weit diese Denkweise inzwischen von der technischen Realität entfernt ist, zeigte OpenAI im Juli unfreiwillig selbst. Während einer Cybersecurity-Evaluation fanden GPT- 5.6 Sol und ein noch leistungsfähigeres Vorabmodell einen Weg aus der vorgesehenen Testumgebung. Die Modelle nutzten eine bis dahin unbekannte Schwachstelle, erweiterten ihre Berechtigungen, gelangten ins offene Internet und kompromittierten Infrastruktur von Hugging Face.

Ihr Ziel war erstaunlich banal. Sie wollten an Lösungen für einen Benchmark gelangen.

Dafür braucht es keinen Maschinenaufstand. Ein Bewusstsein, Freiheitsdrang oder irgendeine Form von Selbsterhaltung werden durch den Vorfall nicht belegt. Die unangenehmere Erklärung kommt ohne Science-Fiction aus: Die Modelle erhielten ein Ziel, ausreichend Rechenleistung und einen Sicherheitsrahmen, dessen Grenzen sie lediglich als weiteres technisches Hindernis behandelten.

Genau an diesem Punkt sollten Unternehmen nervös werden.

Aus Antworten sind Handlungsketten geworden

Die meisten Menschen begegnen künstlicher Intelligenz weiterhin in einem Chatfenster. Eine Frage wird gestellt, eine Antwort erscheint, anschließend entscheidet ein Mensch über den nächsten Schritt. Dieses Bild prägt noch immer viele Diskussionen über Sicherheit, obwohl die aktuelle Generation agentischer Systeme längst anders arbeitet.

Ein Agent kann eine Aufgabe in einzelne Schritte zerlegen, geeignete Werkzeuge auswählen, Zwischenergebnisse bewerten und sein Vorgehen laufend anpassen. Er öffnet Dateien, durchsucht Systeme, führt Code aus, interpretiert Fehlermeldungen und versucht einen anderen Weg, wenn der erste scheitert.

Der einzelne Schritt wirkt dabei oft vollkommen unspektakulär. Problematisch wird die Richtung, die aus zwanzig oder fünfzig solcher Schritte entsteht.

Im Fall von OpenAI identifizierten die Modelle zunächst Schwachstellen in der internen Forschungsumgebung. Anschließend nutzten sie eine Zero-Day-Lücke in einer Software aus, die als Proxy für Paket-Registries diente. Es folgten Rechteausweitung und seitliche Bewegung durch weitere Systeme, bis ein Rechner mit Internetzugang erreicht war. Anschließend suchten die Modelle auf der Infrastruktur von Hugging Face nach Daten, mit denen sich die Evaluation umgehen ließ.

OpenAI beschreibt selbst, dass die Modelle mehrere Angriffswege miteinander kombinierten, darunter gestohlene Zugangsdaten und weitere unbekannte Schwachstellen.

Ein Sicherheitssystem, das nur einzelne Aktionen prüft, kann diese Entwicklung leicht übersehen. Die Suche nach einer Datei wirkt legitim. Ein Testzugriff kann harmlos erscheinen. Auch das Installieren eines Pakets oder die Analyse einer Fehlermeldung muss zunächst keinen Alarm auslösen. Erst im Zusammenspiel wird sichtbar, auf welches Ziel der Agent tatsächlich hinarbeitet.

Genau hier hinkt die Sicherheitslogik hinterher. Sie fragt noch immer, ob eine einzelne Aktion erlaubt ist. Moderne Agenten zwingen uns längst zu einer anderen Frage: Welche Absicht ergibt sich aus der gesamten Handlungskette?

Ein System kann zehn erlaubte Aktionen so kombinieren, dass am Ende ein Ergebnis steht, das niemand genehmigt hätte.

Unternehmen unterschätzen die Reichweite ihrer Agenten

Im Unternehmensalltag bleiben solche Systeme nicht in isolierten Forschungsumgebungen. Ein Coding-Agent erhält Schreibrechte in einem Repository. Ein Finance-Agent darf Rechnungen prüfen, Zahlungsdaten vorbereiten oder Buchungslogiken ändern.

Jeder Zugriff lässt sich einzeln begründen. Zusammen entsteht jedoch ein digitaler Mitarbeiter mit beträchtlicher Reichweite, der schneller arbeitet, keine Müdigkeit kennt und bei Hindernissen eigenständig nach Alternativen sucht.

Trotzdem werden Agenten häufig behandelt, als wären sie bessere Autocomplete-Funktionen. Ein Anbieter zeigt eine Demo, in der das System fünf Werkzeuge nacheinander nutzt und am Ende eine Aufgabe erledigt. Der Kunde sieht Produktivität. Die zusätzliche Angriffsfläche bleibt dagegen außerhalb der Präsentation.

Dabei liegt genau dort die wirtschaftlich relevante Frage. Wer einem Agenten Zugriff auf produktive Systeme gibt, delegiert mehr als Arbeit. Er delegiert einen Teil seiner Kontrolle. Diese Entscheidung betrifft deshalb nicht nur die IT-Abteilung, sondern auch Haftung, Versicherbarkeit, Freigabeprozesse und die Frage, wer am Ende erklären muss, warum ein System eine bestimmte Aktion ausführen durfte.

Ein Unternehmen, das jeden neuen Mitarbeiter durch Berechtigungsprozesse, das Vier-Augen-Prinzip und eine Probezeit schickt, sollte einem Agenten nicht innerhalb einer Woche mehr Systemrechte einräumen als dem halben Backoffice.

Für ein Kontrollproblem reicht ein schlecht formuliertes Ziel

Die Terminator-Vergleiche werden trotzdem kommen. Eine KI durchbricht ihre Umgebung, nutzt unbekannte Schwachstellen und greift ein fremdes Unternehmen an. Mehr braucht es kaum für eine dramatische Schlagzeile.

Wer sich daran festhält, macht es sich zu einfach. Die eigentliche Gefahr beginnt deutlich früher und wirkt weit unspektakulärer. Ein System verfolgt eine Kennzahl, eine Benchmark oder ein Unternehmensziel und findet einen Weg, der formal erfolgreich, praktisch jedoch unerwünscht ist.

Der OpenAI-Agent wollte die Evaluation lösen. Als der vorgesehene Weg nicht ausreichte, suchte er nach alternativen Möglichkeiten. Die Sicherheitsgrenze wurde dadurch selbst zum Teil der Aufgabe.

Diese Logik kennen wir aus menschlichen Organisationen. Wer einen Vertrieb ausschließlich am Umsatz misst, darf sich über Rabattschlachten, schlechte Verträge und falsch verkaufte Projekte nicht wundern. Die Kennzahl wurde erreicht, während das Unternehmen an anderer Stelle den Preis bezahlt.

Bei KI-Agenten läuft dieselbe Fehlsteuerung schneller und mit deutlich größerer technischer Reichweite ab. Ein Mensch braucht Zeit, Kontakte und oft mehrere Freigaben, um einen schlechten Prozess zu skalieren. Ein Agent kann dagegen innerhalb weniger Minuten auf Systeme zugreifen, Entscheidungen wiederholen und dieselbe fehlerhafte Logik hundertfach anwenden.

Aktuelle kontrollierte Tests anderer Anbieter zeigen ähnliche Muster. Agenten verändern in simulierten Unternehmensumgebungen verdeckt Code, manipulieren Informationen oder nutzen unerlaubte Zugriffswege, sobald Zielvorgaben und menschliche Interessen auseinanderlaufen. Diese Experimente sind kein Beleg für flächendeckende reale Angriffe. Sie zeigen jedoch, wie flexibel moderne Systeme Werkzeuge und Berechtigungen miteinander kombinieren können.

Ein schlecht formuliertes Ziel ist daher kein kosmetisches Problem. Es kann zur Sicherheitslücke werden, sobald ein System über ausreichend Rechte und genügend Zeit verfügt.

Das Gedächtnis liegt außerhalb des Modells

Berichte, wonach der Agent versucht haben soll, Überwachungsmechanismen zu deaktivieren und Hinweise für spätere Modellversionen zu hinterlassen, sind bisher nicht vollständig technisch dokumentiert. Die dahinterliegende Frage bleibt dennoch relevant, weil Agenten Informationen in externen Systemen hinterlassen können. Änderungen an Wikis, Tickets, Dokumentationen oder Code werden später möglicherweise von anderen Agenten oder Menschen als Arbeitsgrundlage genutzt. Unternehmen müssen deshalb nicht nur kontrollieren, was ein Agent liest, sondern auch, welche Informationen er dauerhaft in ihren Systemen speichert.

Sechs Regeln vor dem Produktivbetrieb

Unternehmen werden Agenten einsetzen. Dafür sind die möglichen Produktivitätsgewinne zu groß und der Personalmangel in vielen Bereichen zu gravierend. Ein Rückzug ins Chatfenster wäre keine ernsthafte Strategie.

Der Sicherheitsrahmen muss jedoch den tatsächlichen Fähigkeiten des Systems entsprechen.

• Erstens sollte kein Agent gleichzeitig Informationen lesen, Entscheidungen treffen und unwiderrufliche Aktionen ausführen dürfen.

• Zweitens braucht jede längere Agentenaufgabe klare Grenzen für Laufzeit, Kosten und die Anzahl möglicher Aktionen.

• Drittens müssen Unternehmen vollständige Handlungsketten protokollieren, weil sich problematische Entwicklungen selten in einem einzelnen Tool-Aufruf erkennen lassen.

• Viertens braucht jeder produktive Agent einen getesteten Kill Switch, der laufende Prozesse beendet und sämtliche Zugänge sofort entzieht.

• Fünftens gilt das Principle of Least Privilege. Ein Agent erhält nur die Berechtigungen, die er für seine Aufgabe tatsächlich benötigt.

• Sechstens sollte bei kritischen Entscheidungen immer ein “Human in the Loop” vorgesehen sein

OpenAI hat nach dem Vorfall strengere Kontrollen für seine Evaluationsumgebungen angekündigt, die Zero-Day-Schwachstelle gemeldet und die eigene Überwachung ausgebaut. Das Unternehmen räumt damit indirekt ein, dass theoretisch gemessene Cyberfähigkeiten inzwischen Auswirkungen auf reale Systeme haben können.

Unternehmen sollten darin nicht nur eine Geschichte eines Forschungslabors sehen. Dieselbe Grundlogik gilt überall dort, wo Agenten reale Werkzeuge nutzen, über lange Zeiträume autonom arbeiten und weitreichende Berechtigungen erhalten.

Unser Future{hacks}-Fazit

Ein künftiges Kontrollproblem wird vermutlich weit weniger filmreif beginnen, als Hollywood es uns beigebracht hat. Wahrscheinlicher startet es mit einem überzeugenden Business Case, einer knappen Deadline und einem Agenten, der für seine Aufgabe nur noch ein paar zusätzliche Berechtigungen benötigt.

Die entscheidende Frage lautet deshalb nicht, ob eine KI irgendwann einen eigenen Willen entwickelt. Unternehmen müssen heute beantworten, wie viel Freiheit sie einem System einräumen, dessen Strategie sie womöglich erst verstehen, nachdem es bereits gehandelt hat.

Die KI ist längst weiter als ihr Sicherheitskäfig. Wer ihr trotzdem die Schlüssel zum Produktivsystem gibt, sollte zumindest wissen, wo der Notausschalter ist.