AI Act: The Good, the Bad & The Ugly

Franziskos Kyriakopoulos ist CEO und Mitgründer des Linzer AI-Startups 7Lytix. In diesem Gastbeitrag beschäftigt er sich ausführlich mit den Auswirkungen der geplanten KI-Regulierung auf europäische Startups und Kleinunternehmen.

Der AI Act der Europäischen Union ist letzte Woche in die nächste Runde gegangen. Zwei Komitees des Europaparlaments haben nach monatelangen Verhandlungen ihre Anpassungen zu dem ursprünglichen Dokument veröffentlicht. Hier wollen wir die guten, schlechten und furchtbaren Punkte aus Sicht von Startups und KMUs zusammenfassen.

Was ist denn jetzt KI?

Im ursprünglichen AI Act gab es eine sehr breite Definition von KI-Methoden (Anhang I). Zum Beispiel galten Logische Programmierung oder Suchmethoden als auch KI. Das war sehr problematisch, weil damit praktisch jede Software eine KI-Software wäre – etwa Das Excel-Arbeitsblatt mit einer Wenn-Dann-Regel oder Suchfunktion im Online-Shop. Die „neue“ Definition lehnt sich stark an jene der OECD an.

Ein KI-System ist demnach : “a machine-based system that is designed to operate with varying levels of autonomy and that can, for explicit or implicit objectives, generate outputs such as predictions, recommendations, or decisions that influence physical or virtual environment”.

Das ist gut, weil es jetzt mehr um Machine Learning geht. Aber bei unüberwachten Methoden, wie der Clusteranalyse und der Anomalie-Erkennung, gäbe es Diskussionsbedarf, ob diese eine Prognose oder eine Erkenntnis liefern.

E-Commerce-Startups, CRM- und ERP-Anbieter, sowie jede App am Markt ist also keine KI, so lange die Software keine Prognosen, Empfehlungen oder Entscheidungen erzeugt. Das Produktempfehlungs-System eines Online Shops allerdings ist laut dieser Definition schon eine künstliche Intelligenz.

ChatGPT und Co

Der AI Act definiert jetzt sogenannte Foundation Models als “a model that is trained on broad data at scale, is designed for generality of output, and can be adapted to a wide range of distinctive tasks”.

Diese Definition lehnt sich an jene des Human-Centered Artificial Intelligence’s Institute der Universität Stanford an (HAI). Hier stellen sich sofort die Fragen:

• Was sind breite Daten?
• Ab wann wird „at scale“ trainiert?
• Ab wann ist ein Output allgemein und nicht mehr spezifisch?

Stellen wir uns vor, ein österreichisches Startup entwickelt ein „kleines“, also unter 5 Milliarden Parameter Transformer Model (so heißt die spezielle Architektur, auf die auch die GPT-Modelle basieren) auf einer Domänen-spezifischen Datenbasis, etwa Fußballdaten. Etwa mit Ergebnissen von Bundesligaspielen, Zeitungsartikeln, Fanwebsiten und Blogs.

So ein FootballGPT könnte jede Fußballfrage beantworten und auch von einem kleinem Entwickler:innenteam programmiert werden. Soll dieses Modell ähnlich behandelt werden wie GPT-4?    

Diese Fundi-Modelle gelten per se ja nicht als hochriskant, müssen also nicht zertifiziert werden, die Entwickler:innen müssen aber technische Dokumentation, Datenherkunft und Qualität, den Energieverbrauch während des Trainings sowie die Prognose-Genauigkeit dokumentieren und das Modell in einer EU-weiten Datenbank registrieren.    

Dass die Entwicklungen im Bereich der großen Sprachmodelle berücksichtigt wurden, ist gut. Gut ist auch, dass der Output solcher Modelle gekennzeichnet werden muss. Disclaimer: dieser Text wurde nicht durch ein Sprachmodell erzeugt.

Die Risikostufen und die Moral

Grundsätzlich verfolgt der AI Act einen risikobasierten Ansatz. Es gibt

• Verbotene Systeme
• Hochrisiko Systeme, welche eine Zertifizierung benötigen
• Beschränkte Risiko-Systeme, welche eine Kennzeichnung benötigen
• Niedrigrisiko-Systeme, welche frei verwendet werden können.   

In der neuen Version wurde die Liste der verbotenen und Hochrisiko-Systeme verändert. Es ist wichtig zu betonen, dass die Risikoklassifikation sich auf KI-Systeme bezieht, und die Definitionen damit zu tun haben, wie diese Systeme verwendet werden. Es ist also nicht die KI, also der Algorithmus des maschinellen Lernens, welcher riskant, gefährlich oder unethisch ist, sondern der Anwendungsfall.  Das wird in den Diskussionen oft übersehen, wenn von gefährlicher KI gesprochen wird. Ein und der gleiche Algorithmus kann für etwas völlig Harmloses oder etwas sehr Gefährliches verwendet werden.

Verbote

Verboten sind Systeme, welche:

• Menschen unbewusst manipulieren, sodass sie Entscheidungen treffen, die ihnen Schaden zufügen.
• Schwächen von Personen ausnutzen, wie z.B. den ökonomischen Status
• Die Biometrische Klassifikation von Personen (mit Ausnahmen von therapeutischen Zwecke)
• Social Scoring betreiben, also die Bewertung von Personen anhand ihres Verhaltens.
• Kriminelles Verhalten anhand historischer Daten prognostizieren. „Minority Report“ wird es also nicht geben.
• Gesichtserkennungsdatenbanken generieren, durch das wahllose Sammeln von Bildern oder Videos aus dem Internet und von Überwachungssystemen.
• Die nachträgliche biometrische Erkennung im öffentlichem Raum durch Videoaufzeichnungen.

Es ist zu begrüßen, dass die Kommission und das EU-Parlament Schranken setzt und nicht alles erlaubt. Allerdings sind schwammige Definitionen, wie z.B. die erste, gefährlich. Ab wann trifft jemand eine Entscheidung, die jemandem Schaden zufügt und wie wird die unbewusste Manipulation bewiesen? Ist das nicht das gleiche, wie die immer wieder aufkeimende Diskussion, nach der Shooter-Spiele Jugendliche gewalttätig machen? Was hier helfen würde, wären zum einen präzisere Formulierungen und zum anderen viele ausführliche Beispiele für jeden Punkt.

Gut wäre auch, wenn es eine Applikation gäbe (mit eingebautem KI-System), mit der Entwickler:innen und kleine Unternehmen abfragen können, ob ihre Anwendungsfälle in die oben genannte Kategorie fallen. Dazu muss es aber auch irgendwann eine finale Liste geben.   

Hochrisiko-Systeme

Systeme, die als Hochrisiko Systeme eingestuft werden, sind nicht verboten, benötigen allerdings eine Zertifizierung. Die Liste dieser hat sich seit letzter Woche auch verändert:

• Biometrische Systeme: alle Systeme, wo die biometrischen Daten von Personen verwendet werden, um diese zu identifizieren, mit Ausnahmen der verbotenen Systeme und solcher zur einfachen Identifikation (z.B. Zutrittskontrollen).
• Sicherheitssysteme im Bereich kritischer Infrastruktur (Bahn, Straße, Flug, Energie, kritische Digitale Infrastruktur)
• KI in der Bildung und Berufsausbildung, z.B. eine automatisierte Benotung durch KI.
• KI in der Arbeitswelt: Die Auswahl von Kandidaten, aber auch die Platzierung von gezielten Werbungen für Stellenangebote, gelten als Hochrisiko. Die Zuweisung von Arbeitsaufgaben ebenso. Jedes Job-Portal sollte sich also schon Gedanken über seine Algorithmen machen.
• Der Zugang zu öffentlichen, aber auch privaten Dienstleistungen: Pflege, Gesundheitswesen, aber auch Elektrizität und Internet.
• In der Exekutive: z.B. die Bewertung von Beweismitteln
• Migration, Asyl und Grenzkontrolle: z.B. die Erkennung von Risiken, welche von Personen ausgehen, die in die EU einwandern wollen.
• Justiz, Behörden und demokratische Prozesse: Wenn KI-Systeme Wahlen beeinflussen oder eingesetzt werden, um Gesetze zu interpretieren

Was hier gut ist, ist, dass der Staat und die Behörden auch streng reglementiert werden und sich zertifizieren müssen. Der berühmte AMS-Algorithmus wird eine Zertifizierung benötigen und es ist fragwürdig, ob er diese erhalten wird. Aber auch jede Personalabteilung von jedem Unternehmen muss sich die Frage stellen: Verwenden wir eine KI?

Die Zertifizierung

Wie aufwändig ist aber die Zertifizierung? Der AI Act gibt den Vorstoß an nationale Behörden, diese sollen unterstützend wirken. Durch die breiten Definitionen und die vielen möglichen Fälle besteht die Gefahr, dass die KI-Behörde ab dem Zeitpunkt des Inkrafttretens mit einer so hohen Zahl an Fällen konfrontiert wird, sodass sie diese nicht schnell genug bearbeiten kann.  Das wird dazu führen, dass viele Unternehmen lange Zeit auf Umsätze warten müssen und somit eine Mini-Rezession in der KI stattfindet. Entweder muss also die KI-Behörde, die Staatssekretär Tursky angekündigt hat, personell sehr gut aufgestellt werden, oder es wird mehrere solche Stellen geben.

Wer sind die österreichischen Player in diesem Bereich?

• TÜV Austria: Gemeinsam mit dem Software Competence Center Hagenberg und dem Institut von Sepp Hochreiter wurde zu diesem Thema publiziert und ein KI-Zertifikat sowie ein eigenes Unternehmen angekündigt. Bernhard Nessler (früher JKU jetzt SCCH) ist ein Forscher, der sich mit dem Thema beschäftigt.
• Das Know-Center in Graz gemeinsam mit verbunden Unternehmen und der steirischen TU zeigt eine gewisse Präsenz
• Die Austrian Standards, welche verschiedene Gremien dazu errichtet hat.

Natürlich werden große Beratungsunternehmen und Anwaltskanzleien sich auch auf das Thema stürzen. Zentral wird sein, wer schlussendlich ein Zertifikat ausstellen darf und wie hoch die Kosten dafür sind. Ich plädiere für agile und transparente Prozesse, welche für Einzelentwickler:innen und kleine Unternehmen machbar sind.

Deshalb hat mein Unternehmen 7LYTIX, in Partnerschaft mit der Anwaltskanzlei Haslinger Nagele und Partner, ein AI Due Diligence Framework erstellt, mit dem die rechtlichen, aber auch technischen Fragen, beantwortet werden können. Über den Verein AI Upper Austria bieten wir diese Dienstleistung den KI-Startups (und allen anderen Mitgliedern) zu sehr guten Konditionen an, um ihnen die Möglichkeit zu bieten, ihr KI-System zu validieren.   

Strafen

Die Strafen im Falle von groben Verstößen belaufen sich auf bis zu 40 Millionen Euro bzw. 7% des Jahresumsatzes. Das ist eine deutliche Erhöhung zu den bisherigen 30 Millionen und 6%. Insofern ist man gut beraten, sich auf den AI-Act vorzubereiten und keine existenzbedrohende Strafen zu riskieren.

Der Klimawandel

Der große Energieverbrauch von großen KI-Systemen ist der EU ein Dorn im Auge. Es muss der Energieverbrauch der Hardwareressourcen dokumentiert werden. Mit welchen Maßnahmen große Konzerne davon abgehalten werden können, riesige Modelle zu trainieren, ist allerdings nicht klar. Diese Punkte sind aber insofern gut, weil es Forscher:innen und Entwickler:innen dazu bringt, effizientere Trainings-Algorithmen zu verwenden und auch kleinere, aber trotzdem performante Modelle auf den Markt zu bringen.

Eine Strategie für Startups und KMU

Wie sollen jetzt Startups und kleinere Unternehmen, bzw. einzelne Entwicklerinnen mit dieser doch recht komplizierten Materie umgehen? Etwas Zeit ist noch, bis der AI-Act ratifiziert wird. Vermutlich sind die 144 Seiten, die letzte Woche veröffentlicht wurden, auch nicht die endgültige Fassung.  Das eine oder andere nationale Parlament wird noch weitere Änderungen hineinreklamieren. Und danach gibt es eine zweijährige Umsetzungsfrist, in der man Zeit hat, seine KI gegebenenfalls zu zertifizieren.

Vorsicht ist aber geboten und daher ist es vernünftig, sich jetzt schon damit auseinanderzusetzen:

• Entwickle ich oder führe ich ein KI-System ein? (nach neuer Definition)
• Fällt der Use Case in die Kategorie „verboten“? Dann ist rechtliche Hilfe angesagt. Ein Pivot ist angesagt. Das muss auch an Investor:innen kommuniziert werden.
• Ist der Use Case High Risk? Hier wird es viele Fragen geben. Ich kenne Fälle, wo die Gründer:innen das bezweifelt haben, aber die Wahrscheinlichkeit einer Zertifizierung sehr hoch ist.

In diesem Fall sollte mit einer sehr ausführlichen Dokumentation begonnen werden: Business-Ziele, Daten, Trainingsprotokoll, Modelle, Ergebnisse, Genauigkeit, Metriken. Die (Open Source-)Tools dazu sind vorhanden.

Vorbild für die Welt

Obwohl man geneigt ist, über den Regulierungswahn der EU zu schimpfen, ist es schon so, dass hier Pionierarbeit geleistet worden ist. Der Entwurf des AI Act wurde bereits 2021 veröffentlicht. Jetzt, während der ChatGPT-Manie, kommen auch andere Teile der Erde darauf, dass sie entsprechend regulieren müssen: USA, Brasilien und auch China. Sam Altmann, der Gründer von OpenAI, hat sich vor einigen Tagen bei einer Anhörung des US-Kongresses ebenfalls für Regulierung bzw. für Lizenzen für Modelle ausgesprochen.

Investitionen

Ein Artikel über KI in Österreich dieser Tage, kann ohne den mittlerweile verbreiteten und lauten Aufruf zu mehr Investitionen nicht auskommen. Sowohl was die Forschung betrifft als auch beim Risikokapital für KI-Startups, ist Österreich sehr sparsam. Wenn wir als KI-Unternehmen bzw. Forschungseinrichtungen mehr Aufwand haben, weil wir unsere Systeme prüfen und zertifizieren müssen, dann benötigen wir auch mehr Geld. Dieses gibt es in Österreich, es wollte bisher nur nicht vermehrt seinen Weg in diese Technologie finden. Aber nicht nur die Forscher:innen und Entwickler:innen werden investieren müssen, sondern auch all jene Unternehmen, welche KI umsetzen. 

Wer bei dieser Komplexität Fragen hat, kann sicher gerne an den Verein AI Upper Austria (hello@aiupperaustria.com ) oder an mich persönlich wenden (franziskos.kyriakopoulos@7lytix.com).