AI kann sich dumm stellen und Fähigkeiten verschleiern
Große Sprachmodelle (LLMs) verstehen es dieser Tage vor allem, mit ihren Fähigkeiten zu beeindrucken. Doch es hat sich herausgestellt, dass diese AI-Anwendungen mittlerweile auch in der Lage sind, ihre Leistungsfähigkeit herunterzuspielen und zu verschleiern, sich also quasi dumm zu stellen. Das ergibt eine neue Studie der Berliner Humboldt-Universität laut t3n. Die Forscher:innen sehen die doch eher beunruhigende Möglichkeit, dass AI uns auf diese Weise täuschen kann, als Chance.
Who’s the King of LLM? GPT-4 vs. Claude 3 vs. Gemini 1.5 vs. Mistral Large
AI sollte Sprachlernphasen von Kindern nachahmen
Die Forschenden haben ihre Studie in der Fachzeitschrift Plos One veröffentlicht. Das Berliner Team testete in der Untersuchung ein LLM auf sogenannte „Theory of Mind“-Kriterien. Ziel dabei war es, herauszufinden, ob moderne KI nicht nur die Sprachlernphasen von Kindern nachahmen kann, sondern auch in der Lage ist, so etwas wie die geistigen Fähigkeiten dieser Phasen auszudrücken. Dazu zogen die Forscher:innen Erkenntnisse aus der Psycholinguistik heran.
„Dank der Psycholinguistik haben wir ein relativ umfassendes Verständnis davon, wozu Kinder in verschiedenen Altersstufen fähig sind. Vor allem die Theorie des Geistes spielt eine wichtige Rolle, da sie die innere Welt des Kindes erforscht und nicht einfach durch die Beobachtung einfacher statistischer Muster nachgeahmt werden kann“, zitiert Psypost Anna Marklová, die Hauptautorin der Studie. Sie und ihre Kolleg:innen wollten analysieren, ob LLMs wie OpenAIs GPT-4 „vorgeben können, weniger fähig zu sein, als sie sind.“
Llama 3: Meta soll demnächst seine neuesten GPT-Konkurrenten zeigen
LLMs können Mangel an Wissen vortäuschen
Dazu forderte das Forschungsteam die Sprachmodelle auf, sich bei ihren Antworten wie ein Kind im Alter von einem bis sechs Jahren zu verhalten. Nach mehr als 1.000 Versuchen und kognitiven Tests zeigte sich, dass diese „simulierten Kinderpersönlichkeiten“ tatsächlich die gleichen Fortschritte zu machen schienen wie Kinder in diesem Alter. Das ist für Marklovás Team der Beweis, dass die KI sich effektiv so verhalten kann, als wüsste sie weniger, als sie wirklich weiß. „Große Sprachmodelle“, so Marklová, „sind in der Lage, eine geringere Intelligenz vorzutäuschen, als sie tatsächlich besitzen.“
Marklová sieht darin eine spannende Chance für AI-Anwendungen, denn es beweise „dass wir ihre Fähigkeiten für einen längeren Zeitraum unterschätzen könnten.“ Das sei zwar im Allgemeinen „keine sichere Situation“, könne aber eindeutige Konsequenzen haben. Letztlich könnten die neuen Erkenntnisse die Entwicklung „künstlicher Superintelligenz“ (ASI), den nächsten Schritt nach der „allgemeinen künstlichen Intelligenz“ (AGI) auf menschlicher Ebene, unterstützen. Dabei müsse ein Aspekt zwingend beachtet werden.
Wichtiger Schritt für „künstliche Superintelligenz“
„Bei der Entwicklung von ASI müssen wir vorsichtig sein, nicht zu verlangen, dass sie eine menschliche und daher begrenzte Intelligenz nachahmen“, so Marklová. Einstweilen könne es hilfreich sein, die Beurteilung einer KI nach Kriterien wie „gut“ oder „schlecht“ und „hilfreich“ oder „nicht hilfreich“ darauf zu verlagern, wie gut sie „Personas“ konstruieren können. Auch hierbei handele es sich indes um eine Übergangsbetrachtung.
