KI-Agenten in Betriebssystemen: „Was da passiert, ist einfach beschissen“

Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.

Die Präsidentin des Messengers Signal, Meredith Whittaker, hat bei der TechBBQ-Konferenz in Kopenhagen einen ungewöhnlich direkten Befund zum Verhältnis von Datenschutz und Künstlicher Intelligenz vorgelegt. Ihre These: Der aktuelle KI-Boom ist das Ergebnis jenes Werbe- und Überwachungsgeschäftsmodells, das die Tech-Industrie seit den 1990er-Jahren trägt. Und die nächste Ausbaustufe, KI-Assistenten tief im Betriebssystem, könnte Signal in seiner heutigen Form die Grundlage entziehen.

Aktuell nutzen jeweils rund eine Milliarde Menschen ChatGPT und Gemini von Google (tief auch bei Android integriert), bald werden Milliarden User Zugriff auf Siri AI im nächsten iOS-Betriebssystem bekommen, und Anthropic steht vor einem Börsengang, der den Claude-Macher zum siebt wertvollsten Unternehmen der Welt machen könnte.

Von der Datensammlung zur Inferenz

Whittaker beschreibt zunächst eine Verschiebung dessen, was Privatsphäre bedeutet. Lange sei die Leitfrage gewesen, welche Daten ein Unternehmen über eine Person sammeln kann. Heute gehe es darum, was Modelle daraus ableiten. „Die Fläche für das Erzeugen und Sammeln von Daten und für all die Rückschlüsse und Modelle darüber, wer wir sind und wie wir uns verhalten, hat sich dramatisch vergrößert“, sagte sie.

Diese Ausweitung sei ein Produkt der KI, KI wiederum ein Produkt eines bestimmten Geschäftsmodells: „ein ganz bestimmtes Geschäftsmodell, das darauf gebaut war, riesige Datenmengen über Nutzer:innen zu sammeln, Plattformen zu skalieren, Tech-Produkte zu skalieren (…), um Modelle von Menschentypen zu erzeugen, zu denen man Werbetreibenden dann Zugang verkaufen konnte.“ Den Ursprung datiert sie in die 1990er-Jahre, als in den USA der regulatorische Rahmen für die Internetwirtschaft entstand: eine werbefinanzierte Tech-Industrie, die die Privatisierung des Internets unterlegte und bis heute den ökonomischen Motor der Branche bilde.

Alte Algorithmen, neue Datenmengen

Daraus leitet Whittaker ihre Erklärung für den Aufstieg der KI-Unternehmen ab. Die Deep-Learning-Verfahren selbst seien alt, Backpropagation gehe auf die 1970er- und 1980er-Jahre zurück und habe jahrzehntelang als experimentell und wenig wirksam gegolten, „vor allem, weil sie nicht mit riesigen Datenmengen und riesiger Rechenleistung zusammengebracht wurden“.

Den Umschwung verortet sie in den frühen 2010er-Jahren, als Google, Facebook und andere über beides verfügten: gewaltige Trainingskorpora wie YouTube-Videos oder Nutzerdaten und jene Serverkapazitäten, die ohnehin für das Sammeln und Verarbeiten dieser Daten gebaut worden waren. „Plötzlich wurden sie mit diesen riesigen Datenmengen wiederbelebt (…) Diese Algorithmen, diese KI-Ansätze waren richtig, richtig gut darin, etwa einen auf Engagement getrimmten Social-Media-Feed zu kalibrieren.“ Ihr Schluss: „Diese Wiederbelebung der KI fußt auf dieser Massendatensammlung, auf diesem Geschäftsmodell, das selbst nur ein Zufallsprodukt regulatorischer und politischer Entscheidungen der 1990er-Jahre war. Es ist keine zwangsläufige Gestalt, die Technologie heute annehmen musste.“

Inzwischen wirke der Mechanismus in beide Richtungen, KI befeuere den Hunger nach Daten zusätzlich. Hinter Produktversprechen wie sprachgesteuerten Assistenten oder KI-Brillen sieht Whittaker in erster Linie einen Apparat zur Datenerfassung: „Wir reden über einen Apparat zur Datensammlung, in den uns das Marketing hineinlullen soll, ohne dass wir über die Kollateralschäden nachdenken.“ Ihre Aufforderung an Nutzer:innen und Unternehmen lautet, konkret nachzufragen: Wo liegen die Daten, wo werden sie verarbeitet, wem gehören sie, mit welchen anderen Beständen werden sie zusammengeführt.

Warum Signal eine Non-Profit ist

Ob ein Konzern wie Google oder Meta jemals vollständig datenschutzfreundlich agieren könne, beantwortet Whittaker mit Verweis auf die Ökonomie: „Mit dem derzeitigen Geschäftsmodell können sie das nicht sein.“ Technisch sei die Frage geklärt, Signal gelte als Referenz: „An Ideen mangelt es nicht. Worüber wir reden, sind politisch-ökonomische Realitäten.“

Signal kostet nach ihren Angaben rund 50 Millionen Dollar pro Jahr an Bandbreite, Servern und Personal und finanziert sich über Spenden. Den Grund dafür formuliert sie ungeschminkt: „Ich kann kein Vorstandsmitglied brauchen, das aus Davos zurückkommt und sagt: Schneid ein bisschen was von euren Datenschutz-Versprechen ab, damit ihr eure Umsatzziele übertrefft.“ Im KI-Zeitalter sei der Druck gewachsen: „Es herrscht eine Atmosphäre von fast schon psychedelischem Hype rund um KI, die es immer schwerer macht, diese Grundlagen technisch zu verteidigen.“

Regulatorisch beschäftigen Signal weiterhin Vorstöße zur Aufweichung von Verschlüsselung. Whittaker spricht von „Zombie-Gesetzen wie der Chatkontrolle“, also Anläufen wie jenem EU-Vorhaben, das flächendeckendes Scannen von Kommunikation mit dem Schutz von Kindern begründet. Signals Ankündigung, im Fall einer solchen Verpflichtung aus der EU und aus Großbritannien abzuziehen, sei ernst gemeint: „Wenn wir das Netz an einer einzigen Stelle durchlöchern, haben wir es für alle vergiftet (…) dann gehen wir eben nach Hause.“

„Was da gerade passiert, ist einfach beschissen“

Als die aus ihrer Sicht unterschätzte Gefahr benennt Whittaker die Integration von KI-Assistenten und Agenten in Betriebssysteme. An dieser Stelle wird sie deutlich: „Erlaubt mir, heute Vormittag ein bisschen deftig zu werden, aber was da gerade passiert, ist einfach beschissen.“ Im Original: „It is fucked up what is happening.“

Ihr Beispiel ist die Zusammenfassungsfunktion in Siri unter iOS 27. Wer den Assistenten bitte, den Bildschirminhalt zusammenzufassen, löse einen Screenshot der im Vordergrund liegenden App aus. „Es macht einen Screenshot, wenn Signal offen ist und man das als Nutzer:in nicht blockiert hat. Und dann schickt es einen Screenshot deiner Signal-Nachricht möglicherweise nach außen, damit ein LLM ihn verarbeitet und Siri sagen kann: In deiner Nachricht steht, das Abendessen ist um sieben.“ Ob die Verarbeitung auf dem Gerät oder auf einem Server stattfinde, sei nicht sauber dokumentiert. Vergleichbare Funktionen sieht sie bei Gemini und in der Anbindung von ChatGPT an iMessage.

Der Angriffspunkt verlagere sich damit weg von der Verschlüsselung selbst, die im Fall von Signal über ein Jahrzehnt offengelegt und von der Security-Community geprüft wurde. „Das ist ein Schlachtschiff, wenn man da durchkommen will. Und plötzlich klafft ein Loch in diesem Schlachtschiff, weil genau diese Information in eine unsichere Datenbank getippt wird, außer Haus, in die Hände eines Dritten. Denn das Betriebssystem ist der Ozean, in dem wir und alle anderen App-Entwickler:innen schwimmen.“ Kontrolle darüber hätten App-Anbieter nur, wenn Apple, Google oder Microsoft entsprechende Schalter zum Abwählen einbauen.

Ohne solche Möglichkeiten sieht Whittaker Signals Geschäftsgrundlage bedroht: „Ich dramatisiere hier nicht: Wenn diese Entwicklung anhält, wird Signal in ein, zwei Jahren nicht mehr integer arbeiten können. Wir werden keine Datenschutz-Versprechen mehr geben können, die wir als unabhängige Entwickler:innenhalten können, weil dann das Wasser, in dem wir schwimmen, vergiftet ist.“

Wie Signal selbst KI einsetzt

Signal hält sich beim Einbau von KI-Funktionen auffällig zurück. Whittakers Begründung im Saal: „Hand hoch, wer einen nervigen Chatbot in seinem Messenger haben will.“ Keine Hände gehen nach oben. Und weiter: „Wir haben keine Daten. Wir werden also keine Daten für die Inferenz eines Chatbots herausgeben, und wir haben auch keine Daten, mit denen wir ihn trainieren könnten.“ Dazu komme der Anwendungskontext: „Du bist in der Ukraine und musst schnell reden. Da brauchst du kein: Lass mich mal eben deine Abendessen-Pläne zusammenfassen.“ Signal habe „eine Fürsorgepflicht gegenüber Menschen in ernsten Lagen“.

Einen KI-Einsatz gibt es dennoch bei Signal: ein Modell zur Gesichtserkennung, das lokal auf dem Gerät läuft und erkennt, ob auf einem Foto ein Gesicht zu sehen ist. Es speist die automatische Unkenntlichmachung im Medien-Editor. „Wenn ich das in sozialen Medien posten würde, würde ich eure biometrischen Daten keinem Big-Tech-Konzern aussetzen. Das ist ein Einsatz von KI, der zur Mission passt, aber er ist sehr genau umrissen.“

Den Wildwuchs an KI-Funktionen in anderen Produkten führt sie auf internen Druck zurück: „Vieles von dem, was man da sieht (…), ist die Verzweiflung von Teams, denen von oben gesagt wurde: Ihr habt in diesem Quartal den KPI, KI auszuliefern. Findet was. Vor dem Mittagessen sitzen sie im Konferenzraum, und Chad, Brad und Mike sagen: Keine Ahnung, dann packen wir halt einen Chatbot rein.“ Das Versprechen sei ein magischer Assistent, das Ergebnis oft eine fehlerhafte Zusammenfassung, die den falschen Flug bucht.

Datenschutz als Businessmodell für europäische Startups

Auf eine Publikumsfrage nach Empfehlungen für europäische Gründer:innen antwortet Whittaker mit einer Marktlücken-Logik: „Schaut euch an, was das Big-Tech-Modell schlecht kann (…) Was schafft dieses Modell aus Skalierung um jeden Preis und KI überall nicht? Eine Sache ist Privatsphäre.“ Nachfrage sieht sie im Banking, bei Behörden und im Umfeld europäischer Verteidigungsdebatten: „Es gibt nach wie vor einen riesigen Marktbedarf für Privatsphäre (…) Und gerade mit den Souveränitätssorgen werden wir hier Kund:innen haben.“

Technisch unterfüttert sie das mit einem Sicherheitsargument: „LLMs selbst sind keine sicheren Architekturen. Angriffe zur Datenextraktion, Data Poisoning: Allein diese Bauform bringt viele Sicherheits- und Datenschutzprobleme mit sich.“ Noch kritischer sieht sie die Systeme rundherum, die auf umfassenden Zugriff auf Nutzerdaten und weitreichende Handlungsvollmachten ausgelegt sind: „Aus der Perspektive der Software-Architektur betrachtet sieht das ziemlich nach Malware aus.“ Ihr Appell an die Branche lautet, Sicherheit und Datenschutz zu den „obersten Funktionen“ im Design zu machen.

Optimistisch stimmt Whittaker die wachsende Kluft zwischen Marketing und Realität: „Wir sind an einem Punkt, an dem der Hype fast von der Realität abgekoppelt wirkt (…) In jedem privaten Gespräch, das ich unter vier Augen führe, sagen die Leute: Ja, das ist schon seltsam.“ Ihre Hoffnung: „Dass die Leute die Kraft finden, aufzustehen und einer düsteren Lage mit einer Strategie zu begegnen, die ihr angemessen ist.“