English version below

Was müssen Unternehmen jetzt wissen und tun?

Die KI-Verordnung der EU (VO (EU) 2024/1689) tritt am 01. August 2024 in Kraft. Die für praktisch alle Unternehmen relevanten Regelungen zum Einsatz von Künstlicher Intelligenz (KI) sind ab dem 02. Februar 2025 zu beachten. Dieser Beitrag gibt einen Überblick über das weltweit erste umfassende Regelwerk für KI und zeigt auf, was Unternehmen jetzt tun müssen und was empfehlenswert ist.

I. Welchen Ansatz und welche Ziele verfolgt die KI-Verordnung?

Die KI-Verordnung verfolgt im Wesentlichen einen Ansatz der Produktregulierung: Sie stellt je nach Risiko für die Sicherheit, Gesundheit und Grundrechte von Menschen unterschiedliche Anforderungen an ein KI-System.

Übergeordnetes Ziel der KI-Verordnung ist es, das Funktionieren des Binnenmarkts zu verbessern und die Einführung einer auf den Menschen ausgerichteten und vertrauenswürdigen KI zu fördern und gleichzeitig ein hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und die in der Charta verankerten Grundrechte, einschließlich Demokratie, Rechtsstaatlichkeit und Umweltschutz, vor schädlichen Auswirkungen von KI‑Systemen in der Union zu gewährleisten und die Innovation zu unterstützen (vgl. Art. 1 Abs. 1 KI-Verordnung).

Die KI-Verordnung verfolgt hierbei insbesondere folgende Ziele:

• die Schaffung eines sicheren und ethischen Umfelds für die Entwicklung und Nutzung von KI-Systemen,
• der Schutz der Grundrechte und Sicherheit der Menschen,
• die Förderung von Innovationen in KI,
• die Förderung der Entwicklung und Nutzung vertrauenswürdiger KI,
• die Schaffung eines einheitlichen Binnenmarktes für KI in der EU sowie
• die Erhöhung der Transparenz und Dokumentation der technischen Umsetzung.

II. Was regelt die KI-Verordnung und wieso ist die KI-Verordnung für die meisten Unternehmen relevant?

1. Begriff des KI-Systems

Der Anwendungsbereich der KI-Verordnung ist eröffnet, wenn ein „KI-System“ im Sinne des Art. 3 Abs. 1 KI-Verordnung vorliegt. Ein KI-System ist nach der Legaldefinition

„ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“ (Hervorhebungen nur hier)

Erfasst sind damit jedenfalls die auf den bekannten KI-Modellen basierenden KI-Systeme: Die bekannten Language Large Models (LLM) wie ChatGPT, Gemini, Copilot erfüllen nach derzeit allgemeinem Verständnis die Voraussetzungen eines KI-Systems.

Blick auf aktuelle Praxisfragen – Anpassungsfähigkeit: Die KI-Verordnung fordert insbesondere das Vorhandensein von Anpassungsfähigkeit. Viele KI-Systeme, die derzeit auf dem Markt angeboten werden, bieten die Möglichkeit, die Verwendung von Daten für weiteres Training auszuschließen und damit den Zustand des Systems faktisch „einzufrieren“. Daher wird immer wieder die Frage aufgeworfen, ob ein solches System überhaupt noch den Anspruch der Anpassungsfähigkeit erfüllt. Diskutiert wird auch, ob das Merkmal der Anpassungsfähigkeit zwingend vorhanden sein muss und als Abgrenzungskriterium überhaupt sinnvoll ist. Wäre Anpassungsfähigkeit zwingend erforderlich, hätte die gesamte KI- Verordnung kaum einen Anwendungsbereich. Viele KI-Modelle werden nach bestimmten Optimierungszielen trainiert und können sich nach dem Inverkehrbringen nicht selbstständig anpassen. Richtigerweise wird man daher das Merkmal der Anpassungsfähigkeit nicht zu eng auslegen dürfen, um den Anwendungsbereich der KI-Verordnung nicht zu stark einzuschränken.

Weitere Auslegungshinweise zur Abgrenzung des Begriffs des KI-Systems finden sich in Erwägungsgrund 12 der KI-Verordnung. Danach sollte die Begriffsbestimmung auf den wesentlichen Merkmalen der KI beruhen, die sie von einfacheren herkömmlichen Softwaresystemen und Programmieransätzen unterscheiden, und sich nicht auf Systeme beziehen, die auf ausschließlich von natürlichen Personen festgelegten Regeln für die automatische Durchführung von Operationen beruhen.

Ein weiteres wesentliches Merkmal von KI-Systemen ist ihre Fähigkeit zur Ableitung. Die Ableitungsfähigkeit eines KI-Systems geht dabei über die reine Datenverarbeitung hinaus, indem sie Lern-, Schlussfolgerungs- und Modellierungsprozesse ermöglicht. Diese Fähigkeit bezieht sich auf den Prozess der Erzeugung von Ausgaben wie Vorhersagen, Inhalten, Empfehlungen oder Entscheidungen, die physische und digitale Umgebungen beeinflussen können, sowie auf die Fähigkeit von KI-Systemen, aus Eingaben oder Daten Modelle oder Algorithmen oder beides abzuleiten. Der europäische Gesetzgeber wollte damit wohl einfache Excel-Rechenoperationen aus dem Anwendungsbereich der KI-Verordnung herausnehmen. Sicherlich ist nicht alles, was heute unter dem Label „KI“ vermarktet wird, auch ein KI-System im Sinne der KI-Verordnung. Das wird Unternehmen vor Schwierigkeiten stellen. Als Orientierung kann die Vorgabe dienen, dass der Begriff des KI-Systems gerade nicht solche Systeme erfassen soll, die nach ausschließlich von Menschen aufgestellten Regeln agieren. Bei komplexeren Softwareanwendungen bleiben jedoch Unsicherheiten.

Der Begriff des KI-Systems wird in Zukunft durch die Rechtsprechung und die Behörden, insbesondere durch die Europäische Kommission (vgl. Art. 96 Abs. 1 lit. f KI-Verordnung) weiter konkretisiert werden. Fest steht jedoch, dass aufgrund der technischen Entwicklung in Zukunft immer mehr Softwareanwendungen als KI-Systeme zu qualifizieren sein werden und Unternehmen die KI-Verordnung beachten müssen.

2. Anwendungsausschluss trotz Vorliegen eines KI-Systems

Die KI-Verordnung sieht in Art. 2 der KI-Verordnung verschiedene Anwendungsfälle vor, in denen trotz Vorliegen eines KI-Systems die KI-Verordnung keine Anwendung findet. So findet die KI-Verordnung keine Anwendung

• für KI‑Systeme, wenn und soweit sie ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit in Verkehr gebracht, in Betrieb genommen oder, mit oder ohne Änderungen, verwendet werden, unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt (Art. 2 Abs. 3 KI-Verordnung),

• für KI‑Systeme oder KI‑Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden (Art. 2 Abs. 6 KI-Verordnung),

• für Forschungs-, Test- und Entwicklungstätigkeiten zu KI‑Systemen oder KI‑Modellen, bevor diese in Verkehr gebracht oder in Betrieb genommen werden (Art. 2 Abs. 8 KI-Verordnung),

• für die Pflichten von Betreibern, die natürliche Personen sind und KI‑Systeme im Rahmen einer ausschließlich persönlichen und nicht beruflichen Tätigkeit verwenden (Art. 2 Abs. 10 KI-Verordnung; sog. „Haushaltsausnahme“) und

• für KI‑Systeme, die unter freien und quelloffenen Lizenzen bereitgestellt werden, es sei denn, sie werden als Hochrisiko-KI‑Systeme oder als ein KI‑System, das unter Artikel 5 oder 50 fällt, in Verkehr gebracht oder in Betrieb genommen (Art. 2 Abs. 12 KI-Verordnung).

3. Geltung auch für nicht-europäische Unternehmen

Der Anwendungsbereich der KI- Verordnung ist weit gefasst und betrifft Anbieter und Betreiber unabhängig von ihrem Standort, sofern die KI-Systeme in der EU in Verkehr gebracht oder genutzt werden (sog. „Marktortprinzip“, Art. 2 Abs. 1 KI-Verordnung).

4. Ebenfalls geregelt: KI-Modelle mit allgemeinem Verwendungszweck

Die KI-Verordnung unterscheidet zwischen einem KI-System und einem KI-Modell, wobei sich die KI-Verordnung bei Letzterem konkret auf die sogenannten „KI-Modelle mit allgemeinem Verwendungszweck“ bezieht (vgl. Kapitel V der KI-Verordnung).

Nach Art. 3 Nr. 63 der KI-Verordnung meint „KI-Modell mit allgemeinem Verwendungszweck“

„ein KI-Modell — einschließlich der Fälle, in denen ein solches KI-Modell mit einer großen Datenmenge unter umfassender Selbstüberwachung trainiert wird —, das eine erhebliche allgemeine Verwendbarkeit aufweist und in der Lage ist, unabhängig von der Art und Weise seines Inverkehrbringens ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen, und das in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann, ausgenommen KI-Modelle, die vor ihrem Inverkehrbringen für Forschungs- und Entwicklungstätigkeiten oder die Konzipierung von Prototypen eingesetzt werden.“

Dabei handelt es sich bei den KI-Modellen gerade noch nicht um ein KI-System, sondern um Modelle, die eine erhebliche allgemeine Verwendbarkeit aufweisen und ein breites Spektrum unterschiedlicher Aufgaben kompetent erfüllen können (vgl. Erwägungsgrund 98 der KI-Verordnung). Diese Modelle wurden als Reaktion auf ChatGPT nach dem ersten Vorschlag der Kommission eingeführt und stellen einen Versuch dar, große Sprachmodelle zu regulieren.

Da nur wenige Unternehmen solche Modelle selbst erstellen oder weiterentwickeln, sind diese Modelle für die meisten Unternehmen nicht relevant. Aus diesem Grund wird im Folgenden nicht weiter auf diese Modelle eingegangen.

III. Inwiefern gilt die KI-Verordnung für Unternehmen?

Die KI-Verordnung normiert verschiedene Adressaten. Neben dem Einführer (Art. 3 Nr. 6 KI-Verordnung), Händler (Art. 3 Abs. 7 KI-Verordnung) und dem Akteur (Art. 3 Nr. 8 KI-Verordnung), sind vor allem der Anbieter (Art. 3 Nr. 3 KI-Verordnung) sowie der Betreiber (Art. 3 Nr. 4 KI-Verordnung) die zentralen Adressaten der KI-Verordnung, deren Bedeutung im Folgenden näher betrachtet werden soll.

Anbieter im Sinne des Art. 3 Nr. 3 KI-Verordnung ist

„eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI‑System oder ein KI‑Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI‑System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich“

Alle in der Definition genannten Voraussetzungen werden in der KI-Verordnung definiert und in den Erwägungsgründen näher erläutert. Entwickelt ein Unternehmen also eigene KI-Systeme (z.B. OpenAI, Microsoft), dann handelt es sich bei diesen Unternehmen um Anbieter. Dagegen dürfte nicht ausreichen, ein System zu kaufen / zu lizensieren und „out of the box“ zu verwenden.

Blick auf aktuelle Praxisfragen – KI Anbieter bei Einsatz von GPTs o.Ä.: Es spricht viel dafür, dass ein Unternehmen kein Anbieter ist, wenn es GPTs lizensiert und in eigene Systeme z.B. über API-Schnittstellen einbindet oder auch nur eine eigene Nutzerfläche davor schaltet. Eine andere Bewertung wäre denkbar, wenn das Unternehmen das Modell weiterentwickelt und das weiterentwickelte Modell auf den Markt bringt.

Betreiber im Sinne des Art. 3 Nr. 4 KI-Verordnung meint

„eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI‑System in eigener Verantwortung verwendet, es sei denn, das KI‑System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet“

Setzt ein Unternehmen KI-Systeme von Anbietern ein oder integriert es diese in eigene Produkte, so ist das Unternehmen als Betreiber anzusehen. Arbeitgeber, die KI-Systeme z.B. im Personalbereich einsetzen, sind danach grundsätzlich als Betreiber zu qualifizieren. Arbeitnehmer, die solche KI-Systeme nutzen, dürften nicht als Betreiber anzusehen sein, da sie das KI-System nicht „in eigener Verantwortung“ nutzen, wie es Art. 3 Nr. 4 KI-Verordnung voraussetzt.

Der Betreiber wird zum Anbieter: Wichtig ist, dass Art. 25 Abs. 1 KI-Verordnung einen Wechsel vom Betreiber zum Anbieter vorsieht, wenn bestimmte Voraussetzungen erfüllt sind. So soll ein Betreiber zum Anbieter eines Hochrisiko-KI-Systems werden und den Anbieterpflichten gemäß Art. 16 KI-Verordnung unterliegen, wenn

• sie ein bereits in Verkehr gebrachtes oder in Betrieb genommenes Hochrisiko-KI‑System mit ihrem Namen oder ihrer Handelsmarke versehen, unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Pflichten vorsehen;

• sie eine wesentliche Veränderung eines Hochrisiko-KI‑Systems, das bereits in Verkehr gebracht oder in Betrieb genommen wurde, so vornehmen, dass es weiterhin ein Hochrisiko-KI‑System gemäß Art. 6 KI-Verordnung bleibt; oder

• sie die Zweckbestimmung eines KI‑Systems, einschließlich eines KI‑Systems mit allgemeinem Verwendungszweck, das nicht als hochriskant eingestuft wurde und bereits in Verkehr gebracht oder in Betrieb genommen wurde, so verändern, dass das betreffende KI‑System zu einem Hochrisiko-KI‑System im Sinne von Art. 6 KI-Verordnung wird.

Ein solcher Fall könnte vorliegen, wenn der Arbeitgeber ein KI-System, das lediglich eine reine Filterung von Bewerbungen ermöglicht, eigenständig um Komponenten erweitert, die neben der Filterung auch eine Bewertung der Bewerber ermöglichen. Selbst ein reines „Branding“ des KI-Systems durch den Arbeitgeber könnte ausreichen. In diesem Fall würde der Arbeitgeber die Zweckbestimmung im Sinne von Art. 3 Nr. 12 KI-Verordnung ändern und damit eine originäre Anbieterhandlung vornehmen.

IV. Was müssen Unternehmen für welche KI-Systeme beachten? Welche Risikoklassen gibt es?

Die KI-Verordnung verfolgt einen risikobasierten Ansatz. Grundsätzlich gilt: Je höher das Risiko des KI-Systems, desto strengere Pflichten sind einzuhalten.

Dabei unterscheidet die KI-Verordnung zwischen

• verbotenen KI-Systemen (Art. 5 KI-Verordnung),
• Hochrisiko-KI-Systemen (Art. 6-27 KI-Verordnung),
• KI-Systemen mit geringem Risiko (Art. 50 KI-Verordnung),
• KI-Systemen mit minimalem Risiko (Art. 4, 95 KI-Verordnung).

Im Überblick gilt:

1. Verbotene KI-Praktiken (Art. 5 KI-Verordnung)

Der europäische Gesetzgeber hat in Art. 5 der KI-Verordnung Anwendungsfälle normiert, die aus seiner Sicht eine solche Gefährdung der Grundrechte von Personen darstellen, dass der Einsatz von bestimmten KI-Praktiken zu diesen Zwecken gänzlich verboten ist:

2. Hochrisiko-KI-Systeme (Art. 6-27 KI-Verordnung)

Die Hochrisiko-KI-Systeme dürften in der Praxis die größten Auswirkungen haben. Der europäische Gesetzgeber hat dies bereits durch eine Vielzahl von Regelungen zum Ausdruck gebracht.

Der Verordnungsgeber hat den Begriff des Hochrisiko-KI-Systems nicht legal definiert, sondern in Art. 6 und 7 der KI-Verordnung ein Klassifizierungssystem geschaffen. Allerdings verweist Art. 6 Abs. 2 KI-Verordnung auf Anhang III der Verordnung, der die dort genannten Anwendungen als Hochrisiko-KI-Systeme einstuft. Vor diesem Hintergrund hängt es entscheidend von der bestimmungsgemäßen Verwendung des KI-Systems ab, ob der Arbeitgeber es in der Praxis mit einem Hochrisiko-KI-System zu tun hat.

Zu den Hochrisiko-KI-Systemen zählen unter anderem KI-Systeme, die in den Bereichen kritische Infrastruktur, (Aus-)Bildung oder Beschäftigung sowie Dienstleistungen im Gesundheits- oder Bankwesen eingesetzt werden. Auch Anwendungen im Bereich der Strafverfolgung, der Justiz oder im Zusammenhang mit demokratischen Prozessen (z.B. Wahlbeeinflussung) werden als hochriskant eingestuft.

Für viele Unternehmen ist insbesondere Anhang III Ziff. 4 relevant. Dieser erklärt bestimmte KI-Systeme im Bereich der Beschäftigung und des Personalmanagements zu Hochrisiko-Systemen. Erfasst werden KI-Systeme, die bei der Einstellung oder Auswahl natürlicher Personen eingesetzt zu werden, insbesondere

• zur gezielten Schaltung von Stellenanzeigen,
• zur Analyse und Filterung von Bewerbungen und
• zur Bewertung von Bewerbern.

KI-Systeme, die dazu bestimmt sind, Entscheidungen über die Bedingungen von Arbeitsverhältnissen, Beförderungen und Beendigungen von Arbeitsverhältnissen zu treffen, Aufgaben auf der Grundlage individuellen Verhaltens oder persönlicher Eigenschaften und Merkmale zuzuweisen und die Leistung und das Verhalten von Personen in solchen Verhältnissen zu überwachen und zu bewerten, fallen ebenfalls als sogenannte Hochrisiko-KI-Systeme darunter.

Die Veranlassung von Qualifizierungsmaßnahmen, die Genehmigung von Nebentätigkeiten oder die Genehmigung von Urlaubsanträgen werden voraussichtlich nicht darunterfallen.

Hochrisiko-KI-Systeme unterliegen strengen technischen und organisatorischen Anforderungen. Durch delegierte Rechtsakte kann die EU-Kommission die Liste erweitern (Art. 7 Abs. 1 KI-Verordnung), weshalb eine kontinuierliche Risikobewertung erforderlich ist. Nimmt der Betreiber des KI-Systems eine solche Bewertung selbst vor, ist er nach Art. 6 Abs. 4 KI-Verordnung verpflichtet, diese zu dokumentieren.

Art. 6 Abs. 3 KI-Verordnung sieht Rückausnahmen vor, wenn trotz Vorliegens eines Hochrisiko-KI-Systems kein erhebliches Risiko für die Gesundheit, Sicherheit oder die Grundrechte natürlicher Personen besteht, u.a. weil das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflusst wird (ein Hochrisiko-KI-System liegt wiederum vor, wenn das KI-System ein Profiling natürlicher Personen i.S.v. Art. 3 Nr. 52 KI-Verordnung i.V.m. Art. 4 Nr. 4 Datenschutz-Grundverordnung [„DSGVO“] vornimmt). Dies ist der Fall, wenn eine der folgenden Voraussetzungen erfüllt ist:

• das KI System ist dazu bestimmt, eine eng gefasste Verfahrensaufgabe durchzuführen (z.B. das Ordnen von unstrukturierten Daten);
• das KI System ist dazu bestimmt, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern (z.B. KI-basierte Redigieren von Texten);
• das KI-System ist dazu bestimmt, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und ist nicht dazu gedacht, die zuvor abgeschlossene menschliche Bewertung, ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen; oder
• das KI-System ist dazu bestimmt, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist (z.B. Verknüpfung von Daten).

Blick auf aktuelle Praxisfragen – Reichweite der Rückausnahme und insbesondere „Vorbereitung menschlicher Entscheidungen“: Die Rückausnahmen werden in der Praxis mit Sicherheit intensiv diskutiert werden. Die Frage, wann ein KI-System lediglich menschliche Entscheidungen vorbereitet, muss im Einzelfall genau geprüft werden. Es dürfte wohl nicht ausreichen, dass lediglich formal ein Mensch über die Entscheidung schaut. Erforderlich wird wohl vielmehr sein, dass der Mensch eine Letztentscheidungskompetenz trifft und er diese auch inhaltlich treffen muss. Hier kann man möglicherweise Parallelen zu Art. 22 DSGVO ziehen.

Beispiele für solche Rückausnahmen sind KI-gestützte Bildungssysteme, Online-Werbung oder die Kennzeichenerfassung bei der Einfahrt in Tiefgaragen.

3. KI-Systeme mit geringem Risiko (Art. 50 KI-Verordnung)

Art. 50 der KI-Verordnung normiert für Anbieter und Betreiber bestimmter KI-Systeme sogenannte Transparenzpflichten, die Pflicht zur Offenlegung der bei der Entwicklung verwendeten Inhalte sowie die Einhaltung des EU-Urheberrechts. Die Betreiber sind zudem verpflichtet, Modellbewertungen durchzuführen, systemische Risiken zu bewerten und zu mindern sowie Vorfälle zu melden.

KI-Systeme wie Chatbots müssen so konzipiert und entwickelt werden, dass die betroffenen Personen darüber informiert werden, dass sie mit einem KI-System interagieren.

Schließlich müssen künstlich erzeugte oder bearbeitete Bild-, Ton- und Videoinhalte im Rahmen der Transparenzpflicht des Art. 50 KI-Verordnung eindeutig als solche gekennzeichnet werden.

4. KI-Systeme mit minimalem Risiko (Art. 4, 95 KI-Verordnung)

Anbieter und Betreiber müssen sicherstellen, dass ihr Personal über ausreichende Erfahrungen, Kenntnisse und Kompetenzen im Bereich der Entwicklung von KI verfügt, wobei deren technische Kenntnisse, Erfahrungen, Ausbildung und Schulung sowie der Kontext, in dem die KI-Systeme eingesetzt werden sollen, und die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, zu berücksichtigen sind (Art. 4 KI-Verordnung).  

Die Beschäftigten müssen daher ein ausreichendes Verständnis von KI entwickeln. Damit ist die Fähigkeit gemeint, KI-Systeme bewusst einzusetzen und ein Bewusstsein für die Chancen und Risiken von KI sowie für mögliche Schäden zu entwickeln. Insofern setzt die KI-Verordnung Anreize zur Durchführung von KI-Schulungen.

Für KI-Systeme mit minimalem Risiko gelten keine besonderen Anforderungen aus der KI-Verordnung. Nach Art. 95 der KI-Verordnung besteht jedoch die Möglichkeit, sich freiwillig so genannten Verhaltenskodizes zu unterwerfen.

V. Welche Pflichten treffen Anbieter und Betreiber?

Ausgehend von einem risikobasierten Ansatz sieht die KI-Verordnung je nach Risikoeinstufung unterschiedliche Pflichten vor. Besonders umfangreich ist der Pflichtenkatalog für Anbieter und Betreiber, wenn es sich um ein Hochrisiko-KI-System handelt. Dabei sieht der europäische Gesetzgeber unterschiedliche Pflichten für die verschiedenen Phasen der Einführung und Entwicklung eines KI-Systems vor.

1. Anbieter

Die KI-Verordnung richtet sich in erster Linie an die Anbieter von KI-Systemen. Anbieter von Hochrisiko-KI-Systemen unterliegen umfangreichen Pflichten:

Den Anbieter nach Art. 3 Nr. 3 KI-Verordnung treffen somit insbesondere Pflichten zur technischen Dokumentation im Sinne des Art. 11 Abs. 1 i.V.m. Anhang IV. Konkrete Pflichten ergeben sich für den Anbieter bereits in der Planungs- und Entwicklungsphase, vor dem Inverkehrbringen sowie nach der Inbetriebnahme.

2. Betreiber

Betreiber von Hochrisiko-KI-Systemen haben – wie der Anbieter – ebenfalls umfangreiche Pflichten:

Hervorzuheben ist die Verpflichtung des Betreibers, der Arbeitgeber ist, gemäß Art. 26 Abs. 7 S. 1 KI-Verordnung, die Arbeitnehmervertreter und die betroffenen Arbeitnehmer vor der Inbetriebnahme oder Nutzung eines Hochrisiko-KI-Systems am Arbeitsplatz über die Nutzung des Hochrisiko-KI-Systems zu informieren. Als Arbeitnehmervertreter dürften insbesondere Betriebsräte in Betracht kommen. Nach Art. 26 Abs. 7 S. 2 KI-Verordnung erfolgt die Unterrichtung im Einklang mit den auf Unionsebene und auf nationaler Ebene geltenden Vorschriften und Gepflogenheiten für die Unterrichtung der Arbeitnehmer und ihrer Vertreter. Damit kommen neben den Unterrichtungspflichten aus der KI-Verordnung insbesondere auch die Unterrichtungspflichten aus dem Betriebsverfassungsgesetz (z.B. §§ 90 Abs. 1 Nr. 3, 95 Abs. 2a BetrVG) in Betracht.

Blick auf aktuelle Praxisfragen – Mitbestimmungsrechte des Betriebsrates: Diese Unterrichtungspflichten werden insofern von erheblicher praktischer Bedeutung sein, weil sie den Betriebsrat insbesondere auch in die Lage versetzen, sein „IT-Mitbestimmungsrecht“ aus § 87 Abs. 1 Nr. 6 BetrVG ggf. restriktiv auszuüben. Im Ergebnis bedarf es danach einer Zustimmung des Betriebsrates, um KI-Systeme einzuführen. Erteilt der Betriebsrat diese nicht, muss die Zustimmung in den meisten Fällen durch eine Einigungsstelle ersetzt werden – was bei streitigem Verfahren einige Zeit in Anspruch nehmen kann. Effektiv hat damit der Betriebsrat ein gewisses Potenzial, um Einfluss auf den Einsatz von KI-Systemen zu nehmen bzw. diesen Einsatz zu bremsen. Vor diesem Hintergrund empfiehlt sich sehr, den Aspekt der Mitbestimmung bei der Einführung von KI-Systemen frühzeitig „mitzudenken“ und entsprechend strategisch vorzugehen.

VI. In welchem Verhältnis steht die KI-Verordnung zur DSGVO?

Art. 2 Abs. 7 S. 2 KI-Verordnung bestimmt, dass die KI-Verordnung die DSGVO unberührt lässt. In Erwägungsgrund 10 heißt es dann weiter, dass die KI-Verordnung die Pflichten der Anbieter und Betreiber von KI-Systemen als Verantwortliche oder Auftragsverarbeiter unberührt lässt, soweit bei der Gestaltung, Entwicklung oder Nutzung von KI-Systemen personenbezogene Daten verarbeitet werden. Darüber hinaus sollten die betroffenen Personen weiterhin über alle Rechte und Garantien verfügen, die ihnen durch dieses Unionsrecht gewährt werden, einschließlich der Rechte im Zusammenhang mit der ausschließlich automatisierten Entscheidungsfindung im Einzelfall und dem Profiling.

Im Ergebnis bedeutet dies, dass Unternehmen neben den Anforderungen aus der KI-Verordnung auch die zusätzlichen Pflichten aus der DSGVO zu beachten haben.

VII. Wie erfolgt die Durchsetzung der KI-Verordnung? Welche Sanktionen drohen?

Verstöße gegen die KI-Verordnung können zu Geldbußen von bis zu 35.000.000 EUR oder – im Falle von Unternehmen – von bis zu 7 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres führen, je nachdem, welcher Betrag höher ist.

Zudem besteht für jede natürliche oder juristische Person, die Grund zu der Annahme hat, dass gegen die Bestimmungen der KI-Verordnung verstoßen wurde, die Möglichkeit unbeschadet anderer verwaltungsrechtlicher oder gerichtlicher Rechtsbehelfe, bei der betreffenden Marktüberwachungsbehörde Beschwerden einzureichen (vgl. Art. 85 KI-Verordnung). Auch Klagen von Mitbewerbern oder Schadenersatzforderungen von Betroffenen sind möglich.

VIII. Wann kommt die KI-Verordnung zur Anwendung?

Die KI-Verordnung sieht ein gestaffeltes System von Übergangsfristen vor:

• 6 Monate nach Inkrafttreten, d.h. Februar 2025:
  • Verbotene KI-Systeme (Art. 5 KI-Verordnung) müssen abgeschaltet werden
  • KI-Schulungspflicht muss erfüllt werden (Art. 4 KI-Verordnung)

• 12 Monate nach Inkrafttreten, d.h. August 2025: Kapitel III Abschnitt 4, Kapitel V, Kapitel VII und Kapitel XII sowie Art. 78 KI-Verordnung kommen zur Anwendung

• 24 Monate nach Inkrafttreten, d.h. August 2026: Es gelten die übrigen Vorgaben der KI-Verordnung, etwa die Transparenzpflichten für generative KI-Systeme.

• 36 Monate nach Inkrafttreten, d.h. August 2027: Pflichten für Hochrisiko-KI-Systeme nach Art. 6 Abs. 1 KI-Verordnung kommen zur Anwendung.

IX. Welche Geschäftschancen und -risiken bietet die KI-Verordnung?

Die KI-Verordnung klärt jedenfalls den Rechtsrahmen für den Einsatz von KI. Auch wenn einige Fragen und insbesondere der Begriff des KI-Systems noch weiterer Klärung durch die Praxis bedürfen, hat man eine erste Handhabe für die Unternehmenspraxis. Insofern sollte die KI-Verordnung als Chancengeber verstanden werden, um eine gute KI-Compliance im Unternehmen und auch im Hinblick auf die Produkte zu gewährleisten. Das kann wiederum zur Akzeptanz und damit Marktfähigkeit von KI-Produkten beitragen. Andererseits ist eine Beachtung der Vorgaben aus einer Risikoperspektive angesichts der drohenden Sanktionen zwingend nötig. Kommt es indes zu einer strengen Durchsetzung der KI-Verordnung, bietet dies für seriöse Markteilnehmer Chancen, da Unternehmen, die unterhalb dieser operieren, vom Wettbewerb ausgeschlossen werden.

X. Was sind unmittelbare Umsetzungsschritte für Ihr Unternehmen?

1. Erfassen der KI-Systeme: Audit der im Unternehmen eingesetzten KI-Systeme. Liegt ein KI-System vor?

2. Rollenverteilung klären: Welcher Adressat ist das Unternehmen für jedes einzelne KI-System? Anbieter, Betreiber etc.?

3. Prüfung, ob KI-Systeme als Hochrisiko-KI-Systeme eingestuft werden müssen: Für die Risikobewertung ist nicht entscheidend, was das KI-System kann, sondern wozu es eingesetzt werden soll (anders als bei § 87 Abs. 1 Nr. 6 BetrVG)

4. Prüfung und Umsetzung der einschlägigen Pflichten: Erstellung eines Pflichtenkatalogs

5. Schulung der Mitarbeiter / Transparenzvorgaben gegenüber Dritten: Erstellung von Informationsblättern / Schulungskonzepten

6. Berücksichtigung weiterer rechtlicher Vorgaben: insb. Datenschutzrecht, Urheberrecht, Geschäftsgeheimnisschutz

7. Prüfung, Kontrolle und Monitoring: Etablierung eines Prozesses zur fortwährenden Prüfung und Kontrolle der KI-Verordnung, insb. bei veränderten Anwendungsbereichen bereits eingesetzter und neu eingesetzten KI-Systemen

____________________________________________________________________________________________________________________________________________________

What do companies need to know and do now?

The EU AI Regulation (Regulation (EU) 2024/1689) becomes effective on August 01, 2024. The regulations on the use of artificial intelligence (AI), which are relevant for practically all companies, must be observed from February 2, 2025. This article provides an overview of the world’s first comprehensive set of regulations for AI and shows what companies need to do now and what is recommended.

I. What are the approach and objectives of the AI Regulation?

The AI Regulation essentially follows a product regulation approach: it places different requirements on an AI system depending on the risk to the safety, health and fundamental rights of people.

The overarching objective of the AI Regulation is to improve the functioning of the internal market and to promote the deployment of human-centric and trustworthy AI while ensuring a high level of protection of health, safety and fundamental rights enshrined in the Charter, including democracy, the rule of law and environmental protection, from the harmful effects of AI systems in the Union and to support innovation (see Art. 1 (1) AI Regulation).

The AI Regulation pursues the following objectives in particular:

• the creation of a safe and ethical environment for the development and use of AI systems,
• the protection of people’s fundamental rights and security,
• the support of innovations in AI,
• supporting the development and use of trustworthy AI,
• the creation of a single market for AI in the EU and
• increasing the transparency and documentation of technical implementation.

II. What does the AI Regulation regulate and why is the AI Regulation relevant for most companies?

 1. Concept of the AI system

The scope of application of the AI Regulation is opened if an „AI system“ within the meaning of Art. 3 (1) of the AI Regulation exists. According to the legal definition, an AI system is

„a machine-based system that is designed for varying degrees of autonomous operation and that, once operational, can be adaptive and that derives from inputs received for explicit or implicit goals how outputs such as predictions, content, recommendations or decisions are produced that can affect physical or virtual environments“ (emphasis added here only)

In any case, this includes the AI systems based on the known AI models: The well-known Language Large Models (LLM) such as ChatGPT, Gemini, Copilot fulfill the requirements of an AI system according to current general understanding.

A look at current practical issues – adaptability: The AI Regulation requires in particular the existence of adaptability. Many AI systems currently available on the market offer the option of excluding the use of data for further training, thereby effectively „freezing“ the state of the system. The question is therefore repeatedly raised as to whether such a system still fulfills the requirement of adaptability at all. There is also debate as to whether the characteristic of adaptability must necessarily be present and whether it even makes sense as a differentiation criterion. If adaptability were mandatory, the entire AI regulation would hardly have any area of application. Many AI models are trained according to specific optimization goals and cannot adapt independently after being placed on the market. It would therefore be correct not to interpret the characteristic of adaptability too narrowly in order not to restrict the scope of the AI Regulation too much.

Further interpretative guidance on the definition of an AI-system can be found in recital 12 of the AI Regulation. According to this, the definition should be based on the essential characteristics of AI that distinguish it from simpler conventional software systems and programming approaches and should not refer to systems based on rules for the automatic execution of operations determined exclusively by natural persons.

Another key feature of AI systems is their ability to derive. The inference capability of an AI system goes beyond pure data processing by enabling learning, reasoning and modeling processes. This capability refers to the process of generating outputs such as predictions, content, recommendations or decisions that can influence physical and digital environments, as well as the ability of AI systems to derive models or algorithms, or both, from inputs or data. The European legislator probably wanted to exclude simple Excel calculation operations from the scope of the AI Regulation. Certainly not everything that is marketed today under the label „AI“ is also an AI system within the meaning of the AI Regulation. This will present companies with difficulties. The requirement that the term „AI system“ should not cover systems that operate exclusively according to rules established by humans can serve as a guide. However, uncertainties remain for more complex software applications.

The concept of an AI system will be further defined in the future by case law and the authorities, in particular the European Commission (see Art. 96 para. 1 lit. f of the AI Regulation). However, it is certain that, due to technical developments, more and more software applications will qualify as AI systems in the future and companies will have to comply with the AI Regulation.

2. Exclusion of application despite the presence of an AI system

Art. 2 of the AI Regulation provides for various cases of application in which the AI Regulation does not apply despite the existence of an AI system. For example, the AI Regulation does not apply

• for AI systems if and insofar as they are placed on the market, put into service or used, with or without modification, exclusively for military, defense or national security purposes, regardless of the type of entity carrying out these activities (Art. 2 para. 3 AI Regulation),

• for AI systems or AI models, including their output, which are developed and put into operation for the sole purpose of scientific research and development (Art. 2 para. 6 AI Regulation),

• for research, testing and development activities on AI systems or AI models before they are placed on the market or put into operation (Art. 2 para. 8 AI Regulation),

• for the obligations of deployer who are natural persons and use AI systems in the course of an exclusively personal and non-professional activity (Art. 2 para. 10 AI Regulation; so-called „household exemption„) and

• for AI systems provided under free and open source licenses, unless they are placed on the market or put into service as high-risk AI systems or as an AI system falling under Article 5 or 50 (Art. 2 para. 12 AI Regulation).

3. Also applies to non-European companies

The scope of application of the AI Regulation is broad and applies to providers and deployer regardless of their location, provided that the AI systems are placed on the market or used in the EU (so-called „market place principle“, Art. 2 (1) AI Regulation).

4. Also regulated: AI models with a general purpose

The AI Regulation distinguishes between an AI system and an AI model, with the latter referring specifically to the so-called „general purpose AI models“ (see Chapter V of the AI Regulation).

According to Art. 3 No. 63 of the AI Regulation, „general purpose AI model“ means

„an AI model, including where such an AI model is trained with a large amount of data under extensive self-monitoring, that has significant general usability and is capable of competently performing a wide range of different tasks, regardless of how it is placed on the market, and that can be integrated into a variety of downstream systems or applications, excluding AI models that are used for research and development activities or prototyping before being placed on the market.„

The AI models are not yet an AI system, but models that have significant general usability and can competently perform a wide range of different tasks (see recital 98 of the AI Regulation). These models were introduced in response to ChatGPT after the Commission’s first proposal and represent an attempt to regulate large language models.

As only a few companies create or further develop such models themselves, these models are not relevant for most companies. For this reason, these models are not discussed further below.

III. To what extent does the AI Regulation apply to companies?

The AI Regulation standardizes various addressees. In addition to the importer (Art. 3 No. 6 of the AI Regulation), distributor (Art. 3 (7) of the AI Regulation) and the actor (Art. 3 No. 8 of the AI Regulation), the main addressees of the AI Regulation are the provider (Art. 3 No. 3 of the AI Regulation) and the deployer (Art. 3 No. 4 of the AI Regulation), the significance of which will be examined in more detail below.

Provider within the meaning of Art. 3 No. 3 of the AI Regulation is

„a natural or legal person, public authority, agency or other body that develops or has developed an AI system or an AI model with a general purpose and places it on the market under its own name or trademark or puts the AI system into operation under its own name or trademark, whether in return for payment or free of charge„

All of the requirements mentioned in the definition are defined in the AI Regulation and explained in more detail in the recitals. If a company develops its own AI systems (e.g. OpenAI, Microsoft), then these companies are providers. On the other hand, it should not be sufficient to buy/license a system and use it „out of the box“.

A look at current practical issues – AI providers when using GPTs or similar: There is much to suggest that a company is not a provider if it licenses GPTs and integrates them into its own systems, e.g. via API interfaces, or even just connects its own user interface in front of them. A different assessment would be conceivable if the company further develops the model and brings the further developed model onto the market.

Deployer within the meaning of Art. 3 No. 4 AI Regulation means

„a natural or legal person, public authority, agency or other body using an AI system under its own responsibility, unless the AI system is used in the course of a personal and non-professional activity„

If a company uses AI systems from providers or integrates them into its own products, the company is to be considered a deployer. Employers who use AI systems, e.g. in the area of human resources, are therefore generally to be qualified as deployer. Employees who use such AI systems should not be regarded as deployer, as they do not use the AI system „on their own responsibility“, as required by Art. 3 No. 4 of the AI Regulation.

The deployer becomes the provider: It is important to note that Art. 25 (1) of the AI Regulation provides for a change from deployer to provider if certain conditions are met. For example, a deployer should become a provider of a high-risk AI system and be subject to the provider obligations pursuant to Art. 16 of the AI Regulation if

• they endow their name or trademark to a high-risk AI system already placed on the market or put into service, without prejudice to agreements providing for a different allocation of obligations;

• they make a substantial modification to a high-risk AI-system that has already been placed on the market or put into service in such a way that it remains a high-risk AI-system in accordance with Art. 6 of the AI Regulation; or

• they change the intended purpose of an AI-system, including a general purpose AI-system that has not been classified as high-risk and has already been placed on the market or put into service, in such a way that the AI-system in question becomes a high-risk AI-system within the meaning of Art. 6 of the AI Regulation.

Such a case could exist if the employer independently adds components to an AI system, which only enables the filtering of applications, that also enable the evaluation of applicants in addition to filtering. Even a pure „branding“ of the AI system by the employer could be sufficient. In this case, the employer would change the intended purpose within the meaning of Art. 3 No. 12 AI Regulation and thus carry out an original provider act.

IV. What do companies need to consider for which AI systems? What risk classes are there?

The AI Regulation follows a risk-based approach. As a principle, the higher the risk of the AI system, the stricter the obligations to be complied with.

The AI Regulation distinguishes between

• prohibited AI systems (Art. 5 AI Regulation),
• High-risk AI systems (Art. 6-27 AI Regulation),
• AI systems with low risk (Art. 50 AI Regulation),
• AI systems with minimal risk (Art. 4, 95 AI Regulation).

At a glance:

1. Prohibited AI practices (Art. 5 AI Regulation)

In Art. 5 of the AI Regulation, the European legislator has standardized use cases which, in its view, pose such a threat to the fundamental rights of individuals that the use of certain AI practices for these purposes is completely prohibited:

2. High-risk AI systems (Art. 6-27 AI Regulation)

High-risk AI systems are likely to have the greatest impact in practice. The European legislator has already expressed this through a large number of regulations.

The legislator has not legally defined the term high-risk AI system, but has created a classification system in Art. 6 and 7 of the AI Regulation. However, Art. 6 (2) of the AI Regulation refers to Annex III of the Regulation, which classifies the applications listed there as high-risk AI systems. Against this background, it depends crucially on the intended use of the AI system whether the employer is dealing with a high-risk AI system in practice.

High-risk AI systems include AI systems that are used in the areas of critical infrastructure, (education) training or employment as well as healthcare or banking services. Applications in law enforcement, the judiciary or in connection with democratic processes (e.g. influencing elections) are also classified as high-risk.

Annex III No. 4 is particularly relevant for many companies. This declares certain AI systems in the area of employment and personnel management to be high-risk systems. It covers AI systems that are used in the recruitment or selection of natural persons, in particular

• for the targeted placement of job advertisements,
• for analyzing and filtering applications and
• for the evaluation of applicants.

AI systems that are designed to make decisions on the terms and conditions of employment, promotions and terminations of employment, assign tasks based on individual behavior or personal traits and characteristics, and monitor and evaluate the performance and behavior of individuals in such relationships are also included as so-called high-risk AI systems.

The initiation of qualification measures, the approval of secondary employment or the approval of vacation requests will probably not be included.

High-risk AI systems are subject to strict technical and organizational requirements. The EU Commission can extend the list by means of delegated acts (Art. 7 para. 1 of the AI Regulation), which is why a continuous risk assessment is required. If the deployer of the AI system carries out such an assessment itself, it is obliged to document it in accordance with Art. 6 para. 4 of the AI Regulation.

Art. 6 para. 3 of the AI Regulation provides for exemptions if, despite the existence of a high-risk AI system, there is no significant risk to the health, safety or fundamental rights of natural persons, inter alia because the outcome of the decision-making process is not significantly influenced (a high-risk AI system is in turn present if the AI system carries out profiling of natural persons within the meaning of Art. 3 no. 52 of the AI Regulation in conjunction with Art. 4 no. 4 of the General Data Protection Regulation [„GDPR“]). Art. 4 No. 4 General Data Protection Regulation [„GDPR“]). This is the case if one of the following conditions is met

• the AI system is intended to perform a narrowly defined procedural task (e.g. organizing unstructured data);
• the AI system is intended to improve the result of a previously completed human activity (e.g. AI-based editing of texts);
• the AI system is intended to recognize decision-making patterns or deviations from previous decision-making patterns and is not intended to replace or influence the previously completed human assessment without appropriate human review; or
• the AI system is intended to perform a preparatory task for an assessment relevant for the purposes of the use cases listed in Annex III (e.g. linking of data).

A look at current practical issues – the scope of the backward exceptions and, in particular, „preparation of human decisions“: The backward exceptions will certainly be intensively discussed in practice. The question of when an AI system is merely preparing human decisions must be carefully examined in each individual case. It will probably not be sufficient for a human to merely formally look over the decision. Rather, it will probably be necessary for the human to have the final decision-making authority and to make the decision in terms of content. Parallels can possibly be drawn here with Art. 22 GDPR.

Examples of such backward exceptions include AI-supported education systems, online advertising or license plate recognition when entering underground car parks.

3. AI systems with low risk (Art. 50 AI Regulation)

Art. 50 of the AI Regulation standardizes so-called transparency obligations for providers and deployer of certain AI systems, the obligation to disclose the content used in development and compliance with EU copyright law. Deployer are also obliged to carry out model evaluations, assess and mitigate systemic risks and report incidents.

AI systems such as chatbots must be designed and developed in such a way that the people concerned are informed that they are interacting with an AI system.

Finally, artificially generated or edited image, sound and video content must be clearly labeled as such as part of the transparency obligation under Art. 50 of the AI Regulation.

4. AI systems with minimal risk (Art. 4, 95 AI Regulation)

Providers and deployer must ensure that their personnel have sufficient experience, knowledge and skills in the field of AI development, taking into account their technical knowledge, experience, education and training, the context in which the AI systems are to be used and the persons or groups of persons with whom the AI systems are to be used (Art. 4 AI Regulation).  

Employees must therefore develop a sufficient understanding of AI. This means the ability to consciously use AI systems and to develop an awareness of the opportunities and risks of AI as well as possible damage. In this respect, the AI Regulation provides incentives to carry out AI training.

No special requirements from the AI Regulation apply to AI systems with minimal risk. However, according to Art. 95 of the AI Regulation, it is possible to voluntarily submit to so-called codes of conduct.

V. What obligations do providers and deployer have?

Based on a risk-based approach, the AI Regulation provides for different obligations depending on the risk classification. The list of obligations for providers and deployer is particularly extensive when it comes to a high-risk AI system. The European legislator provides for different obligations for the various phases of the introduction and development of an AI system.

1. Provider

The AI Regulation is primarily aimed at providers of AI systems. Providers of high-risk AI systems are subject to extensive obligations:

The provider under Art. 3 No. 3 of the AI Regulation is therefore subject in particular to technical documentation obligations within the meaning of Art. 11 para. 1 in conjunction with Annex IV. Specific obligations arise for the provider as early as the planning and development phase, before placing on the market and after commissioning.

2. Deployer

Deployer of high-risk AI systems – like the provider – also have extensive obligations:

The obligation of the deployer, who is the employer, to inform the employee representatives and the employees concerned about the use of a high-risk AI system prior to the commissioning or use of a high-risk AI system in the workplace in accordance with Art. 26 para. 7 sentence 1 of the AI Regulation should be emphasized. Works councils in particular are likely to be considered as employee representatives. According to Art. 26 para. 7 sentence 2 of the AI Regulation, the information shall be provided in accordance with the rules and practices applicable at Union and national level for the information of employees and their representatives. This means that, in addition to the information obligations under the AI Regulation, the information obligations under the Works Constitution Act (e.g. Sections 90 (1) No. 3, 95 (2a) BetrVG) also come into consideration.

A look at current practical issues – co-determination rights of the works council: These information obligations will be of considerable practical importance because they also enable the works council to exercise its „IT co-determination right“ under Section 87 (1) No. 6 BetrVG restrictively if necessary. As a result, the consent of the works council is required in order to introduce AI systems. If the works council does not grant this consent, in most cases it must be replaced by a conciliation committee – which can take some time if the procedure is contentious. Effectively, the works council therefore has a certain potential to influence or slow down the use of AI systems. Against this backdrop, it is highly recommended that the aspect of co-determination be considered at an early stage when introducing AI systems and that a corresponding strategic approach be taken.

VI. What is the relationship between the AI Regulation and the GDPR?

Art. 2 para. 7 sentence 2 of the AI Regulation states that the AI Regulation is without prejudice to the GDPR. Recital 10 then goes on to state that the AI Regulation does not affect the obligations of providers and deployer of AI systems as controllers or data processors insofar as personal data is processed in the design, development or use of AI systems. In addition, data subjects should continue to have all the rights and safeguards granted to them by this Union law, including the rights related to solely automated individual decision-making and profiling.

As a result, this means that, in addition to the requirements of the AI Regulation, companies must also comply with the additional obligations arising from the GDPR.

VII. How is the AI Regulation enforced? What sanctions can be imposed?

Violations of the AI Regulation can lead to fines of up to EUR 35,000,000 or – in the case of companies – up to 7% of the total worldwide annual turnover of the previous financial year, whichever is higher.

In addition, any natural or legal person who has reason to believe that the provisions of the AI Regulation have been infringed may, without prejudice to other administrative or judicial remedies, lodge a complaint with the market surveillance authority concerned (see Art. 85 AI Regulation). Complaints by competitors or claims for damages by those affected are also possible.

VIII. When does the AI Regulation apply?

The AI Regulation provides for a staggered system of transitional periods:

• 6 months after entry into force, i.e. February 2025:
  • Prohibited AI systems (Art. 5 AI Regulation) must be switched off
  • AI training obligation must be fulfilled (Art. 4 AI Ordinance)

• 12 months after entry into force, i.e. August 2025: Chapter III Section 4, Chapter V, Chapter VII and Chapter XII as well as Art. 78 AI Regulation apply

• 24 months after entry into force, i.e. August 2026: The other requirements of the AI Regulation apply, such as the transparency obligations for generative AI systems.

• 36 months after entry into force, i.e. August 2027: Obligations for high-risk AI systems under Art. 6 para. 1 AI Regulation apply.

IX. What business opportunities and risks does the AI regulation offer?

In any case, the AI Regulation clarifies the legal framework for the use of AI. Even if some questions and, in particular, the concept of an AI system still require further clarification in practice, it provides an initial framework for corporate practice. In this respect, the AI regulation should be seen as an opportunity to ensure good AI compliance within the company and also with regard to the products. This in turn can contribute to the acceptance and therefore marketability of AI products. On the other hand, compliance with the requirements is essential from a risk perspective in view of the threat of sanctions. However, if the AI regulation is strictly enforced, this offers opportunities for reputable market participants, as companies that operate below these standards will be excluded from competition.

X. What are the immediate implementation steps for your company?

1. Recording the AI systems: Audit of the AI systems used in the company. Is there an AI system?

2. Clarify role allocation: Which addressee is the company for each individual AI system? Provider, deployer, etc.?

3. Examination of whether AI systems must be classified as high-risk AI systems: The decisive factor for the risk assessment is not what the AI system can do, but what it is to be used for (unlike Section 87 (1) no. 6 BetrVG)

4. Examination and implementation of the relevant obligations: Creation of a catalog of duties

5. Employee training / transparency requirements vis-à-vis third parties: preparation of information sheets / training concepts

6. Consideration of further legal requirements: in particular data protection law, copyright law, trade secret protection

7. Review, control and monitoring: Establishment of a process for the ongoing review and control of the AI Regulation, in particular in the event of changes to the areas of application of already deployed and newly deployed AI systems