Claude als Tagebuch: Anthropic meldet Drohung einer Nutzerin an die Polizei
Trending Topics auf Google als bevorzugte Nachrichtenquelle festlegen.
Wer einem KI-Chatbot seine dunkelsten Gedanken anvertraut, schreibt nicht in ein verschlossenes Tagebuch: Eine 30-jährige Frau aus Bonita Springs in Florida wurde nach Einträgen in Claude festgenommen und angeklagt, weil Anthropic eine darin enthaltene Drohung an die Behörden gemeldet hat. Laut Haftbericht hatte sie den KI-Assistenten als eine Art persönliches Tagebuch genutzt.
Vom Chat zur Festnahme
Wie Tom’s Hardware unter Berufung auf den Haftbericht berichtet, schrieb die Frau Ende September in einem Chat, sie werde auf das Lee County Sheriff’s Office „schießen“. Einen Tag später erwähnte sie in einer weiteren Nachricht den Kauf einer neuen Waffe. Die automatischen Sicherheitssysteme von Claude schlugen an, ein Mensch bei Anthropic prüfte die Einträge, stufte sie als ernsthafte Drohung ein und meldete sie den Behörden.
Wenige Tage später holten Deputys die Frau zu Hause ab, die Festnahme verlief ohne Zwischenfälle. Angeklagt ist sie nach Paragraf 836.10 des Strafrechts von Florida, der schriftliche oder elektronische Drohungen mit Tötung, einem Massaker oder einem Terrorakt unter Strafe stellt. Es handelt sich um ein Verbrechen zweiten Grades. Ihr wurde ein Pflichtverteidiger zugewiesen, für sie gilt die Unschuldsvermutung.
Bereits der dritte Fall seit August
Der Fall ist kein Einzelfall. Laut Tom’s Hardware ist es mindestens das dritte Gespräch mit Claude, das seit August bei der Polizei gelandet ist:
- San Antonio: Ein 22-Jähriger fragte im August in einem Chat nach einer Schießerei an einer Grundschule. Das FBI informierte die örtliche Polizei, der Mann wurde wegen terroristischer Drohung festgenommen.
- San Francisco: Ein Nutzer drohte in einem Chat Anthropic-CEO Dario Amodei und kaufte ein Sturmgewehr vom Typ AR-15. Anthropic meldete das der Polizei, eine Festnahme oder Anklage gab es nicht.
Rechtlich deckt sich das mit Anthropics Datenschutzrichtlinie. Demnach darf das Unternehmen Nutzerdaten an Behörden weitergeben, wenn es in gutem Glauben davon ausgeht, dass das nötig ist, um ernsthaften Schaden von Personen oder Eigentum abzuwenden. Gegenüber Medien betonte Anthropic, dass solche Weitergaben auf begrenzte Notfälle beschränkt seien, in denen Tod oder schwere Körperverletzung drohen.
Zwischen Schutzpflicht und Privatsphäre
Die Fälle zeigen ein Dilemma, in dem alle großen KI-Anbieter stecken. Auf der einen Seite stehen sie unter Druck, mehr zu melden. OpenAI wird in British Columbia verklagt, weil das Unternehmen vor der Schießerei in Tumbler Ridge ein auffälliges ChatGPT-Konto zwar erkannt, die Polizei aber nicht gewarnt haben soll. Florida wiederum hat OpenAI wegen der Schießerei an der Florida State University geklagt. Und auch OpenAI meldet selbst Drohungen: Ein Nutzer, der in ChatGPT ankündigte, seine Ex-Freundin zu töten, bekannte sich im Sommer schuldig.
Auf der anderen Seite nutzen immer mehr Menschen Chatbots wie ein Tagebuch, einen Coach oder eine Therapeutin, und gehen dabei von Vertraulichkeit aus. OpenAI-CEO Sam Altman hat selbst davor gewarnt, dass solche Gespräche anders als beim Arzt oder Anwalt rechtlich nicht geschützt sind, und sich für eine Art „AI Privilege“ ausgesprochen. Der kanadische Rechtsprofessor Michael Geist warnt zudem, dass bestehende Gesetze für die Frage, wann KI-Firmen Nutzer:innen bei der Polizei melden sollen, schlecht geeignet seien, und fordert klare Transparenzregeln.
Für Nutzer:innen bleibt vor allem eine Lehre: Chats mit Claude, ChatGPT und Co. sind kein privater Raum. Sie werden gespeichert, automatisch geprüft und können im Ernstfall bei den Behörden landen.
