Turnitin: Millionen von Studienarbeiten mit AI geschrieben
Es ist eine der größten Befürchtungen des heutigen Bildungsbereichs: Lernende, die ihre Arbeiten mit AI schreiben. Nun scheint sich zu bestätigen, dass eine massive Anzahl an KI-Studienarbeiten im Umlauf ist. Turnitin, ein Dienst, der Arbeiten auf Plagiate prüft und unter anderem an der Universität Wien zum Einsatz kommt, sagt, dass sein Erkennungstool Millionen von Arbeiten gefunden hat, die möglicherweise einen erheblichen Anteil an KI-generierten Inhalten enthalten, berichtet Wired.
Mehr als 22 Millionen Arbeiten mit AI-Hilfe
Student:innen haben im vergangenen Jahr laut Turnitin mehr als 22 Millionen Arbeiten eingereicht, in denen möglicherweise generative KI zum Einsatz kam. Vor einem Jahr hat Turnitin ein Tool zur Erkennung von AI-Schriften auf den Markt gebracht, das auf dem Bestand an von Student:innen verfassten Arbeiten und anderen KI-generierten Texten trainiert wurde. Seitdem hat der Detektor mehr als 200 Millionen Arbeiten überprüft, die überwiegend Schüler:innen und Student:innen verfasst haben.
Der Analyse zufolge könnten elf Prozent der Arbeiten in 20 Prozent ihres Inhalts KI-generierte Sprache enthalten, wobei drei Prozent aller überprüften Arbeiten mit 80 Prozent oder mehr AI-Schrift entsprechend gekennzeichnet wurden. Tools wie ChatGPT können zum Einsatz kommen, um bei Arbeiten zu „helfen“, doch das kann mit vielen Problemen einhergehen. Nicht nur könnte man es als Betrug oder als Mangel an Eigenleistung seitens der Student:innen auffassen, es können durch AI-Halluzinationen auch grobe Fehler passieren.
Who’s the King of LLM? GPT-4 vs. Claude 3 vs. Gemini 1.5 vs. Mistral Large
„Word Spinners“ machen KI-Erkennung schwierig
Die Verwendung von generativer KI zu erkennen ist schwierig. Es ist nicht so einfach wie das Erkennen von Plagiaten, denn ein generierter Text ist immer noch ein Originaltext. Einige Student:innen bitten Chatbots, ihre Arbeiten in großen Teilen oder vollständig für sie zu schreiben, während andere die Tools als Hilfsmittel oder Brainstorming-Partner nutzen. Noch schwieriger machen die Erkennung von AI-Texten sogenannte „Word Spinners“. Dabei handelt es sich um eine weitere Art von KI-Software, die den AI-Text umschreibt und ihn so weniger offensichtlich macht.
Turnitin hat seinen Detektor kürzlich aktualisiert, um solche Word Spinners zu erkennen. Er kann auch Arbeiten markieren, die von Diensten wie der Rechtschreibprüfung Grammarly umgeschrieben wurden, die jetzt ihr eigenes generatives KI-Tool hat. Da vertraute Software zunehmend generative KI-Komponenten enthält, wird es immer unübersichtlicher, was Schüler:innen nutzen können und was nicht.
OpenAI ist Veröffentlichung von Stimmen-Klon-Tool im Superwahljahr zu gefährlich
Turnitin will Nuancen generativer AI zeigen
Die Erkennungstools selbst bergen die Gefahr der Verzerrung. Eine Studie aus dem Jahr 2023 ergab bei der Auswertung von TOEFL-Prüfungen (Test of English as a Foreign Language) mit sieben verschiedenen KI-Detektoren eine Ausfallrate von 61,3 Prozent. Die neue Version von Turnitin war jedoch nicht in die Studie inkludiert. Eine im Oktober veröffentlichte Studie ergab, dass Turnitin in einem Test, bei dem das Tool Arbeiten von Student:innen und von KI generierte Arbeiten untersuchte, zu den genauesten von 16 KI-Sprachdetektoren gehörte.
Laut Annie Chechitelli, Chief Product Officer bei Turnitin, soll das Tool nicht das einzige Kriterium für das Bestehen oder Nichtbestehen von Student:innen sein. Stattdessen sei es eine Chance für Lehrkräfte, Gespräche mit den Lernenden zu beginnen, die alle Nuancen der generativen KI aufzeigen. „Die Leute wissen nicht wirklich, wo die Grenze sein sollte“, sagt sie.
