Llama hat sich Hälfte von Harry Potter „gemerkt“

Große Sprachmodelle (LLMs) können unter bestimmten Bedingungen urheberrechtlich geschützte Bücher auswendig lernen und wiedergeben – aber das Ausmaß hängt stark vom Modell, vom Buch und von einzelnen Passagen ab. So hat sich Llama 3.1 von Meta 42 Prozent des ersten Harry Potter-Buchs „gemerkt“, wie eine Studie der Universitäten von Stanford, Cornell und West Virginia zeigt. Die möglichen Auswirkungen auf Urheberrecht und KI-Industrie sind enorm.

Neue Versionen von Llama merken sich mehr Inhalte

Die Forschenden haben untersucht, in welchem Ausmaß LLMs tatsächlich urheberrechtlich geschützte Bücher aus ihren Trainingsdaten wortwörtlich „auswendig lernen“ und wiedergeben können. Dafür haben sie drei Modelle von Meta und je eines von Microsoft und EleutherAI analysiert. In zahlreichen laufenden Gerichtsverfahren werfen Autor:innen und Verlage KI-Unternehmen vor, ihre Werke beim Training von solchen Sprachmodellen unerlaubt zu kopieren und damit Urheberrechte zu verletzen.

Bei der Studie hat sich gezeigt, dass LLMs tatsächlich ganze Buchpassagen auswendig wiedergeben können. Am ehesten war Llama 3.1 dazu in der Lage. Bemerkenswert ist dabei, dass sich eine ältere Version von Llama nur 4,4 Prozent von Harry Potter und der Stein der Weisen merken konnte. Llama 3.1 dagegen kennt fast die Hälfte auswendig. Das deutet darauf hin, dass Meta in der Zwischenzeit wenig getan hat, um dieses Auswendiglernen zu stoppen.

Meta AI: User veröffentlichen offenbar unwissentlich intime Prompts

LLMs lernen eher populäre Bücher auswendig

Harry Potter und der Stein der Weisen war eines von Dutzenden von Büchern, die die Forschenden getestet haben. Sie fanden heraus, dass Llama 3.1 weitaus häufiger populäre Bücher – wie Der Hobbit und George Orwells 1984 – reproduzierte als eher obskure Bücher. Die Forscher:innen fanden zum Beispiel heraus, dass sich das Modell von Meta nur 0,13 Prozent von Sandman Slim, einem Roman des Autors Richard Kadrey aus dem Jahr 2009, merken konnte.

Über zufällig gezogene Buchpassagen hinweg sind die durchschnittlichen Extraktionsraten meist sehr gering (oft unter 1 %). Das bedeutet: Die allermeisten Bücher werden nicht einfach komplett gespeichert. Für einzelne, populäre Werke (wie Harry Potter) gibt es aber Ausnahmen, bei denen fast der gesamte Text mit hoher Wahrscheinlichkeit extrahierbar ist. Um längere, zusammenhängende Buchpassagen zu extrahieren, sind oft tausende gezielte Prompts nötig. Für den Alltagsnutzer:innen ist es also unwahrscheinlich, versehentlich urheberrechtlich geschützte Passagen zu generieren. Dennoch ist die Möglichkeit des gezielten „Heraushackens“ ganzer Werke ein reales Risiko – und juristisch relevant.

Die Frage, ob ein Modell ein urheberrechtlich geschütztes Werk tatsächlich „kopiert“, muss individuell für jedes Werk und jedes Modell geprüft werden. Wenn ein Modell ein Buch nahezu vollständig memoriert, könnte es als „vervielfältigte Kopie“ im Sinne des US-Copyrights gelten. Bei offenen Modellen wie Llama 3.1, das Downloads im Millionenbereich verzeichnet, könnten enorme Schadensersatzforderungen drohen – theoretisch im Milliardenbereich.