Am 21. Mai 2024 hat der Rat der Europäischen Union die weltweit erste umfassende Verordnung zur Regulierung von Künstlicher Intelligenz (KI) verabschiedet. Die KI-VO (VO (EU) 2024/1689; nachfolgend: KI-VO) gilt direkt in allen EU-Mitgliedstaaten und soll einen sicheren und ethischen Rahmen für den Einsatz von KI schaffen.

I. Welche Ziele verfolgt die KI-VO?

Die KI-VO verfolgt mehrere zentrale Ziele:

• Schaffung eines sicheren und ethischen Umfelds für die Entwicklung und Nutzung von KI-Systemen
• Schutz der Grundrechte und Sicherheit der Menschen
• Förderung von Innovationen in KI
• Förderung der Entwicklung und Nutzung vertrauenswürdiger KI
• Schaffung eines einheitlichen Binnenmarktes für KI in der EU
• Erhöhung von Transparenz und Dokumentation der technischen Umsetzung

Durch diese Maßnahmen soll die Einführung einer menschenzentrierten und vertrauenswürdigen KI unterstützt und gleichzeitig ein hohes Schutzniveau für Gesundheit, Sicherheit und Grundrechte gewährleistet werden (vgl. Art. 1 Abs. 1 KI-VO).

II. Was regelt die KI-VO?

• Begriff des KI-Systems
  
  Der Anwendungsbereich der KI-VO ist eröffnet, wenn ein KI-System vorliegt. Dies ist nach Art. 3 Abs. 1 KI-VO „ein maschinengeschütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“ (Hervorhebungen nur hier).
  
  Das Merkmal der Anpassungsfähigkeit wird man dabei wohl nicht zu eng auslegen dürfen, um den Anwendungsbereich der KI-VO nicht zu stark zu beschränken. Auch KI-Systeme, die die Möglichkeit bieten, die Verwendung von Daten für weiteres Training auszuschließen, werden vom Begriff umfass. Es handelt sich also nicht um ein zwingend erforderliches Kriterium. Sonst verbliebe kaum ein Anwendungsbereich für die gesamte KI-VO.
  
  Ein weiteres wesentliches Merkmal von KI-Systemen ist ihre Fähigkeit zur Ableitung. Die Ableitungsfähigkeit eines KI-Systems geht dabei über die reine Datenverarbeitung hinaus, indem sie Lern-, Schlussfolgerungs- und Modellierungsprozesse ermöglicht. Diese Fähigkeit bezieht sich auf den Prozess der Erzeugung von Ausgaben wie Vorhersagen, Inhalten, Empfehlungen oder Entscheidungen, die physische und digitale Umgebungen beeinflussen können, sowie auf die Fähigkeit von KI-Systemen, aus Eingaben oder Daten Modelle oder Algorithmen oder beides abzuleiten. Ob ein System als KI-System einzuordnen ist, wird Unternehmen vor Schwierigkeiten stellen. Als Orientierung kann die Vorgabe dienen, dass der Begriff des KI-Systems gerade keine Systeme erfassen soll, die nach ausschließlich von Menschen aufgestellten Regeln agieren. Bei komplexeren Softwareanwendungen bleiben jedoch Unsicherheiten. Der Begriff wird zukünftig durch die Rechtsprechung und die Behörden, insbesondere die Europäische Kommission weiter konkretisiert werden.
  

• Anwendungsausschluss
  
  In den Fällen des Art. 2 der KI-VO findet die KI-VO keine Anwendung, obwohl ein KI-System vorliegt. Dies betrifft etwa Fälle des Einsatzes von KI-Systemen für militärische Zwecke oder Forschungszwecke.
  

• Räumlicher Geltungsbereich
  
  Nach dem Marktortprinzip aus Art. 2 Abs. 1 KI-VO gilt die KI-VO für Anbieter und Betreiber unabhängig von ihrem Standort, sofern die KI-Systeme in der EU in Verkehr gebracht oder genutzt werden.
  

• Risikoklassen von KI-Systemen
  
  Die Verordnung unterscheidet verschiedene Arten von KI-Systemen. Je höher das Risiko des KI-Systems ist, desto strengere Pflichten sind einzuhalten:
  
  Verbotene KI-Systeme sind gemäß Art. 5 KI-VO KI-Systeme, die die Grundrechte erheblich gefährden. Sie sind komplett verboten. Dazu gehören beispielsweise Systeme zur Emotionserkennung am Arbeitsplatz oder Social Scoring.
  
  Hochrisiko-KI-Systeme (Art. 6-27 KI-VO) unterliegen strengen Auflagen. Zu diesen gehören unter anderem solche KI-Systeme, die in den Bereichen kritische Infrastruktur, Bildung, Beschäftigung und Gesundheitswesen eingesetzt werden. Hochrisiko-KI-Systeme sind auch die für viele Unternehmen relevanten Bereiche aus Anhang III Ziff. 4. Darunter fallen KI-Systeme, die bei der Einstellung oder Auswahl natürlicher Personen eingesetzt werden, insbesondere zur gezielten Schaltung von Stellenanzeigen, zur Analyse und Filterung von Bewerbungen und zur Bewertung von Bewerbern. KI-Systeme, die dazu bestimmt sind, Entscheidungen über die Bedingungen von Arbeitsverhältnissen, Beförderungen und Beendigungen von Arbeitsverhältnissen zu treffen, Aufgaben auf der Grundlage individuellen Verhaltens oder persönlicher Eigenschaften und Merkmale zuzuweisen und die Leistung und das Verhalten von Personen in solchen Verhältnissen zu überwachen und zu bewerten, fallen ebenfalls darunter. Rückausnahmen sieht Art. 6 Abs. 3 KI-VO vor, wenn trotz des Vorliegens eines Hochrisiko-KI-Systems kein erhebliches Risiko für die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen besteht (z.B. bei KI-Systemen zur Durchführung eng gefasster Verfahrensaufgaben).
  
  Bei KI-Systemen mit geringem Risiko gelten nach Art. 50 KI-VO Transparenzpflichten, wie die Offenlegung der bei der Entwicklung verwendeten Inhalte und die Einhaltung des EU-Urheberrechts. Die Betreiber sind zudem verpflichtet, Modellbewertungen durchzuführen, systemische Risiken zu bewerten und zu mindern sowie Vorfälle zu melden. KI-Systeme wie Chatbots müssen so konzipiert werden, dass die betroffenen Personen darüber informiert werden, dass sie mit einem KI-System interagieren. Schließlich bedarf es auch der Kennzeichnung von KI-generierten Inhalten.
  
  Anbieter und Betreiber müssen bei KI-Systemen mit minimalem Risiko: sicherstellen, dass ihr Personal über ausreichende Kenntnisse und Kompetenzen im Bereich KI verfügt (Art. 4 KI-VO). Die KI-VO setzt insofern Anreize zur Durchführung von KI-Schulungen. Es bestehen im Übrigen für KI-Systeme mit minimalem Risiko keine besonderen Anforderungen nach der KI-VO. Es ist jedoch möglich, sich freiwillig Verhaltenskodizes zu unterwerfen (Art. 95 KI-VO).
  

III. Wer ist von der KI-VO betroffen?

Die Verordnung betrifft verschiedene Adressaten (Einführer, Händler, Akteure, Anbieter, Betreiber). Von besonderer Bedeutung sind Anbieter und Betreiber von KI-Systemen:

Anbieter sind Unternehmen, die KI-Systeme entwickeln oder entwickeln lassen und unter ihrem Namen in Verkehr bringen oder in Betrieb nehmen (Art. 3 Nr. 3 KI-VO).

Unternehmen, die KI-Systeme nutzen, sind Betreiber. Arbeitgeber, die KI-Systeme im Personalbereich einsetzen, fallen unter diese Kategorie. Arbeitnehmer, die solche KI-Systeme nutzen, handeln nicht „in eigener Verantwortung“ und sind somit selbst keine Betreiber. Zu beachten ist, dass ein Betreiber in den Fällen des Art. 25 Abs. 1 KI-VO zum Anbieter werden kann. Dies ist beispielsweise der Fall, wenn er die Zweckbestimmung eines KI-Systems so verändert, dass es zu einem Hochrisiko-KI-System wird.

Unternehmen müssen prüfen, ob sie als Anbieter oder Betreiber einzustufen sind, da dies Auswirkungen auf die zu erfüllenden spezifischen Pflichten hat.

IV. Welche Pflichten treffen Anbieter und Betreiber?

Je nach Risikoeinstufung eines KI-Systems variieren die Pflichten erheblich. Besonders umfangreiche Pflichten treffen Anbieter und Betreiber, wenn es sich um ein Hochrisiko-KI-System handelt:

Anbieter von Hochrisiko-KI-Systemen haben Pflichten gemäß Art. 6 ff. KI-VO. Sie müssen umfangreiche technische Dokumentationen erstellen und strenge Sicherheitsmaßnahmen einhalten. Diese gelten ab der Entwicklungsphase und vor Inverkehrbringen des Systems sowie nach der Inbetriebnahme.

Auch die Betreiber von Hochrisiko-KI-Systemen treffen umfangreiche Pflichten, welche sich aus Art. 26 KI-VO ergeben. Betreiber sind dazu verpflichtet, ihre Mitarbeiter und deren Vertreter über die Nutzung der KI-Systeme zu informieren und sicherzustellen, dass alle Datenschutzvorschriften eingehalten werden. Die Unterrichtung erfolgt im Einklang mit den auf Unionsebene und nationaler Ebene geltenden Vorschriften und Gepflogenheiten für die Unterrichtung der Arbeitnehmer und ihrer Vertreter. Damit kommen neben den Unterrichtungspflichten aus der KI-VO insbesondere auch die Unterrichtungspflichten aus dem Betriebsverfassungsgesetz (z.B. §§ 90 Abs. 1 Nr. 3, 95 Abs. 2a BetrVG) in Betracht.

V. In welchem Verhältnis steht die KI-VO zur DSGVO?

Die KI-VO ergänzt die Datenschutz-Grundverordnung (DSGVO) und stellt sicher, dass die Datenschutzrechte der betroffenen Personen weiterhin gewahrt bleiben. Unternehmen müssen daher sowohl die Anforderungen der KI-VO als auch der DSGVO beachten.

VI. Wie erfolgt die Durchsetzung der KI-VO und welche Sanktionen drohen?

Verstöße gegen die KI-VO können zu hohen Geldbußen führen – bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres, je nachdem, welcher Betrag höher ist. Zudem haben natürliche oder juristische Personen in Verdachtsfällen die Möglichkeit, Beschwerden bei der betreffenden Marktüberwachungsbehörde einzureichen (Art. 85 KI-VO). Auch Klagen von Mitbewerbern oder Schadensersatzforderungen von Betroffenen sind möglich.

VII. Wann tritt die KI-VO in Kraft und gibt es Übergangsfristen?

Die Verordnung wurde am 12. Juli 2024 im Amtsblatt der Europäischen Union veröffentlicht und ist am 01. August 2024 in Kraft getreten. Es gibt gestaffelte Übergangsfristen:

• 6 Monate nach Inkrafttreten (Februar 2025):
  Verbotene KI-Systeme müssen abgeschaltet werden (Art. 5 KI-VO) und Schulungspflichten treten in Kraft (Art. 4 KI-VO).
  
• 12 Monate nach Inkrafttreten (August 2025):
  Weitere Teile der Verordnung (Kapitel III Abschnitt 4, Kapitel V, Kapitel VII, Kapitel XII sowie Art. 78 KI-VO), darunter insbesondere bestimmte Transparenzpflichten, werden wirksam.
  
• 24 Monate nach Inkrafttreten (August 2026):
  Vollständige Anwendung der Verordnung.
  
• 36 Monate nach Inkrafttreten (August 2027):
  Pflichten für Hochrisiko-KI-Systeme nach Art. 6 Abs. 1 KI-VO treten in Kraft.

VIII. Welche Auswirkungen hat die KI-VO auf die Arbeitswelt?

Die Risikobewertung von KI-Systemen ist komplex. Arbeitgeber müssen kontinuierlich prüfen, ob ihre KI-Systeme den Anforderungen entsprechen, und ihre Pflichten anpassen. Die Einhaltung der Verordnung kann erhebliche Auswirkungen auf die Personalabteilung und das gesamte Unternehmen haben.

IX. Welche Geschäftschancen und -risiken bietet die KI-VO?

Die KI-VO klärt den Rechtsrahmen für den Einsatz von KI: Auch wenn einige Fragen, wie insbesondere der Begriff des KI-Systems noch weiterer Klärung in der Praxis bedürfen, hat man eine erste Handhabe für die Unternehmenspraxis. Insofern sollte die KI-VO als Chancengeber verstanden werden, um eine gute KI-Compliance im Unternehmen zu gewährleisten. Die KI-VO bietet die Möglichkeit zur Effizienzsteigerungen und der Erschließung neue Geschäftsfelder. Unternehmen sollten frühzeitig analysieren, inwieweit ihre Aktivitäten von der Verordnung betroffen sind und welche Chancen sich daraus ergeben.

Andererseits ist eine Beachtung der Vorgaben aus einer Risikoperspektive angesichts der drohenden Sanktionen zwingend nötig. Kommt es indes zu einer strengen Durchsetzung der KI-VO bietet dies für seriöse Marktteilnehmer Chancen, da Unternehmen, die unterhalb dieser operieren, vom Wettbewerb ausgeschlossen werden.

X. Was sind unmittelbare Umsetzungsschritte für Ihr Unternehmen?

1. Erfassen der KI-Systeme: Audit der im Unternehmen eingesetzten KI-Systeme.
2. Rollenverteilung klären: Bestimmen, ob das Unternehmen als Anbieter oder Betreiber für jedes einzelne KI-System agiert.
3. Risikobewertung: Prüfen, ob KI-Systeme als Hochrisiko-KI-Systeme eingestuft werden müssen. Dafür ist nicht entscheidend, was das KI-System kann, sondern wozu es eingesetzt werden soll.
4. Pflichten umsetzen: Erstellung eines Pflichtenkatalogs.
5. Schulung der Mitarbeiter/ Transparenzvorgaben gegenüber Dritten: Entwicklung von Schulungskonzepten und Informationsblättern.
6. Rechtliche Vorgaben berücksichtigen: Datenschutz- und Urheberrechte sowie Geschäftsgeheimnisschutz beachten.
7. Prüfung, Kontrolle und Monitoring: Etablierung eines Prozesses zur fortwährenden Prüfung und Kontrolle der KI-VO, insbesondere bei veränderten Anwendungsbereichen bereits eingesetzter und neu eingesetzten KI-Systemen.

Durch Einhaltung dieser Schritte können Unternehmen sicherstellen, dass sie den Anforderungen der KI-VO gerecht werden und dabei die Chancen der KI-Technologie optimal nutzen.

Für weitere Informationen verweisen wir auf unseren ausführlichen Blogbeitrag.