Große FAQ zur KI-Verordnung (KI-VO) mit Check

Immer mehr Unternehmen setzen künstliche Intelligenz (KI) in ihren Produkten und Internetseiten ein. Wir erklären, was man nach der KI-Verordnung beachten muss, wenn man KI benutzen oder (weiter-)entwickeln will.

1. Was ist die KI-Verordnung?

Die EU-Verordnung 2024/1689 („KI-Verordnung“, „KI-VO“ oder „AI-Act“ genannt), ist das weltweit erste Gesetz, das sich umfassend der Regulierung von Künstlichen Intelligenz-Systemen und Künstlichen Intelligenz-Modellen widmet. Sie gilt unmittelbar in allen EU-Mitgliedsstaaten, ein zusätzliches deutsches Umsetzungsgesetz ist nicht erforderlich.

Die KI-VO wurde durch die am 27.07.2026 in Kraft getretene EU-Verordnung 2026/1744 („Digital-Omnibus-Verordnung zur KI“ oder „AI Omnibus“) in zahlreichen Punkten geändert.

nach oben

2. Was regelt die KI-Verordnung?

Die KI-VO soll einen einheitlichen Rechtsrahmen mit Regeln und Pflichten für die Verwendung und Entwicklung von künstlicher Intelligenz (KI) innerhalb des europäischen Binnenmarktes schaffen und die Grundrechte der Unionsbürger in Bezug auf die Auswirkungen von künstlicher Intelligenz schützen (Art. 1 Abs. 1 KI-VO).

Der EU-Gesetzgeber hat sich für einen Regulierungsansatz entschieden, bei dem die Anforderungen in der Verordnung nur umrissen und anschließend durch die europäischen Normungsorganisationen und die Anbieter selbst konkretisiert werden. Der Normungsprozess ist derzeit noch nicht abgeschlossen. Die Verzögerungen bei der Erstellung harmonisierter Normen waren einer der wesentlichen Gründe für den AI Omnibus. Die Anwendungszeitpunkte der Hochrisiko-Regelungen wurden deshalb nach hinten verschoben, damit technische Normen, Leitlinien und andere unterstützende Instrumente vor dem Beginn der verbindlichen Anwendung zur Verfügung stehen. Daher ist der Inhalt vieler Pflichten noch nicht final geklärt. Sobald der Normierungsprozess abgeschlossen ist, gilt eine sog. Konformitätsvermutung (Art. 40 Abs. 1 KI-VO): Durch Einhalten der Norm wird vermutet, dass der Akteur die entsprechende Pflicht der KI-VO erfüllt.

nach oben

3. Ab wann gilt die KI-Verordnung?

Die KI-VO ist am 01.08.2024 in Kraft getreten und wird schrittweise wie folgt umgesetzt (Art. 113 KI-VO in Verbindung mit den Anpassungen des AI Omnibus):

• 02.02.2025
  Die allgemeinen Regelungen der KI-Verordnung sind zu beachten (Kapitel I). Das Verbot des Einsatzes von KI-Systemen mit inakzeptablen Praktiken (in seiner damaligen Form) greift, Art. 113 Satz 3 lit. a KI-VO. Anbieter und Betreiber müssen Maßnahmen zur Förderung der KI-Kompetenz ergreifen. Die ursprünglich strengere Pflicht wurde durch den AI Omnibus mit Wirkung ab dem 27.07.2026 abgeschwächt.
• 02.08.2025
  Die Verpflichtungen für KI-Modelle mit allgemeinen Verwendungszweck treten in Kraft. Diese umfassen Kapitel III Abschnitt 4, Kapitel V, Kapitel VII und Kapitel XII sowie Art. 78 KI-VO, Art. 113 Satz 3 lit. b KI-VO. Geldbußen für Anbieter von KI-Modellen mit allgemeinen Verwendungszweck sind zu diesem Zeitpunkt noch ausgenommen, Art. 101 der KI-VO.
• 02.08.2026
  Soweit der AI Omnibus keine abweichenden Übergangsregelungen vorsieht, finden grundsätzlich die übrigen Bestimmungen der KI-VO Anwendung. Dies betrifft insbesondere die Transparenz- und Kennzeichnungspflichten nach Art. 50 KI-VO, die Beschwerderechte nach Art. 85 KI-VO, das Recht auf Erläuterung nach Art. 86 KI-VO sowie die Sanktionsvorschriften. Für Anbieter bestimmter KI-Systeme, die bereits vor dem 02.08.2026 in Verkehr gebracht wurden und synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, gilt hinsichtlich Art. 50 Abs. 2 KI-VO eine Übergangsfrist bis zum 02.12.2026.
• 02.12.2026
  Die neu eingefügten Verbote betreffend nicht einvernehmliche intime Darstellungen und KI-generierte oder KI-manipulierte Missbrauchsdarstellungen von Kindern finden Anwendung. Die Übergangsfrist für bestimmte bereits vor dem 02.08.2026 in Verkehr gebrachte KI-Systeme hinsichtlich Art. 50 Abs. 2 KI-VO endet.
• 02.12.2027
  Bestimmte Anforderungen und Pflichten für Hochrisiko-KI-Systeme nach Art. 6 Abs. 2 KI-VO in Verbindung mit Anhang III treten in Kraft.
• 02.08.2028
  Bestimmte Anforderungen und Pflichten für produktbezogene Hochrisiko-KI-Systeme nach Art. 6 Abs. 1 KI-VO in Verbindung mit Anhang I treten in Kraft.

nach oben

4. Wo gilt die KI-Verordnung?

Die KI-Verordnung greift bei Bezug zur EU oder dem europäischen Binnenmarkt. Sie gilt also nicht nur innerhalb der EU-Mitgliedstaaten, sondern auch im gesamten Europäischen Wirtschaftsraum (EWR) sowie zusätzlich in Norwegen, Island und Liechtenstein. Entscheidend ist nicht nur der geografische Standort, sondern auch, wo ein KI-System angeboten, eingesetzt oder verwendet wird.

Für Anbieter von KI-Systemen greift das sogenannte Marktortprinzip. Das bedeutet: Die KI-Verordnung gilt unabhängig vom Sitz des Anbieters, sobald ein KI-System in der EU oder im EWR bereitgestellt, in Verkehr gebracht oder in Betrieb genommen wird. Dies betrifft auch Unternehmen mit Sitz außerhalb der EU, sofern deren KI-Systeme auf den europäischen Markt ausgerichtet sind.

Für Betreiber von KI-Systemen gilt hingegen das Niederlassungsprinzip. Maßgeblich ist hier, ob die betreffende Organisation oder Person ihren Sitz oder eine Niederlassung innerhalb der Union hat.

nach oben

5. Was sind KI-Systeme und KI-Modelle?

Zunächst ist es wichtig zu verstehen, was KI-Systeme und KI-Modelle im Sinne der KI-VO sind.

Nach Art. 3 Nr. 1 KI-VO ist ein KI-System definiert als

„ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“.

Demnach sind KI-Systeme Softwareanwendungen, die auf Basis von Daten arbeiten, diese analysieren und selbständige Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen generieren. Diese Ergebnisse können sowohl die reale als auch die virtuelle Umgebung beeinflussen.

Der Begriff des KI-Modells wird in der KI-VO nicht definiert. Im Unterschied zum KI-System, das eine zur Nutzung geeignete Anwendung darstellt, versteht man unter einem KI-Modell das hinter dem KI-System stehende Element. Ein KI-Modell allein ist daher also noch kein KI-System. Damit ein KI-System entsteht, sind zusätzliche Komponenten erforderlich, wie z.B. eine Nutzerschnittstelle, die die Interaktion mit dem System ermöglicht (vgl. Wendt in Wendt/Wendt, Das neue KI-Recht, § 10 Rn. 8). Ein KI-System kann aus einem oder mehreren KI-Modellen bestehen. Die KI-Modelle werden mit Datensätzen trainiert, um Muster zu erkennen und entsprechenden Output zu erzeugen (What is AI).

nach oben

6. Was sind KI-Systeme oder KI-Modelle mit allgemeinem Verwendungszweck?

Die KI-VO spricht häufig von KI-Systemen oder KI-Modellen mit allgemeinem Verwendungszweck. Der Begriff der KI-Systeme mit allgemeinem Verwendungszweck, auch als generative KI-Systeme bekannt, wurde in der KI-VO ursprünglich nicht berücksichtigt. Erst nachdem OpenAI im November 2022 ChatGPT der breiten Öffentlichkeit zugänglich gemacht hatte, wurde klar, dass auch KI-Systeme mit allgemeinem Verwendungszweck in der Verordnung zu berücksichtigen seien (vgl. Wendt in Wendt/Wendt, Das neue KI-Recht, § 10 Rn. 17-19).

• Ein KI-System mit allgemeinem Verwendungszweck ist nach Art. 3 Nr. 66 KI-VO ein KI-System, das auf einem KI-Modell mit allgemeinem Verwendungszweck beruht und in der Lage ist, einer Vielzahl von Zwecken sowohl für die direkte Verwendung als auch für die Integration in andere KI-Systeme zu dienen.
• Ein KI-Modell mit allgemeinem Verwendungszweck ist nach Art. 3 Nr. 63 KI-VO ein KI-Modell, dass eine erhebliche allgemeine Verwendbarkeit aufweist und in der Lage ist, unabhängig von der Art und Weise seines Inverkehrbringens ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen, und das in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann.

nach oben

7. CHECK: Für wen gilt die KI-Verordnung?

Die KI-VO richtet sich vor allem an Anbieter (provider) und Betreiber (deployer) von KI-Systemen und -Modellen. Ihre Geltung ist standortunabhängig. Nach Art. 2 Abs. 1 lit. c KI-VO erfasst sie auch Anbieter und Betreiber mit Sitz in Drittstaaten, sofern das KI-System innerhalb der EU genutzt wird oder der daraus resultierende Output in der EU Verwendung findet (vgl. Wendt in Wendt/Wendt, Das neue KI-Recht, § 3 Rn. 53).

Die KI-VO definiert Anbieter und Betreiber wie folgt:

Art. 25 KI-VO regelt Fälle, in denen ein Händler, Einführer, Betreiber oder sonstiger Dritter rechtlich als Anbieter eines Hochrisiko-KI-Systems behandelt wird. Das ist unter anderem der Fall, wenn er ein bereits in Verkehr gebrachtes Hochrisiko-KI-System wesentlich verändert oder die Zweckbestimmung eines bislang nicht als hochriskant eingestuften KI-Systems so ändert, dass das System dadurch zu einem Hochrisiko-KI-System wird.

Die bloße Verwendung eines allgemeinen KI-Systems in einem Unternehmen führt daher nicht automatisch dazu, dass das Unternehmen zum Anbieter eines Hochrisiko-KI-Systems wird. Entscheidend ist vielmehr, ob das Unternehmen die Zweckbestimmung des Systems ändert oder durch die konkrete technische und organisatorische Einbindung ein eigenes Hochrisiko-KI-System schafft.

Zum Spannungsfeld der Kooperationspflicht des Art. 25 KI-VO und möglicher Geschäftsgeheimnisse empfehlen wir diesen vertiefenden Beitrag der geschätzten Kollegen von Löffel Abrar.

nach oben

8. Wann gilt die KI-Verordnung nicht?

Die KI-VO gilt nicht für Verbraucher, die KI Systeme im Rahmen einer ausschließlich persönlichen und nicht beruflichen Tätigkeit verwenden (Art. 2 Abs. 10 KI-VO).

Auch die meisten Open-Source-KI-Systeme sind von der Anwendbarkeit der KI-VO ausgeschlossen. Eine Ausnahme besteht, wenn sie als Hochrisiko-KI-Systeme oder als KI-Systeme, die unter Art. 5 KI-VO oder Art. 50 KI-VO fallen, in Verkehr gebracht oder in Betrieb genommen werden (Art. 2 Abs. 12 KI-VO). Dazu zählen beispielsweise quelloffene Hochrisiko-KI-Systeme, die synthetische Inhalte wie Bilder, Texte, Audio- und Videodateien erzeugen (z.B. Deepfakes) oder für Emotionserkennung und biometrische Kategorisierung eingesetzt werden.

Weiter von der KI-VO ausgenommen sind:

• KI-Systeme, die mit oder ohne Änderung ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit in Verkehr gebracht, in Betrieb genommen oder verwendet werden (Art. 2 Abs. 3 Abs. 2 KI-VO) und
• KI-Systeme und KI-Modelle, die allein für Forschungs- und Entwicklungszwecken dienen (Art. 2 Abs. 6 KI-VO). Der AI Omnibus erweitert und erleichtert insbesondere Möglichkeiten der Entwicklung, Erprobung und des Testens. Das betrifft unter anderem Reallabore, Erprobungen unter realen Bedingungen sowie bestimmte Konstellationen außerhalb klassischer KI-Reallabore.

nach oben

9. Wie funktioniert das Risikosystem der KI-Verordnung?

Die KI-VO unterteilt KI-Systeme in die vier Risikostufen. Je nach Risikostufe kann die KI völlig einschränkungslos nutzbar sein, Beschränkungen unterliegen oder verboten sein. Neben den vier Risikostufen, die sich an dem Gefahrenpotenzial der konkreten Anwendung eines KI-Systems orientieren gibt es noch die KI-Systeme mit allgemeinem Verwendungszweck (Art. 51 ff. KI-VO). Bei KI-Systemen mit allgemeinem Verwendungszweck lässt sich gerade kein konkretes Anwendungsszenario ausmachen (vgl. Wendt in Wendt/Wendt Das neue KI-Recht, § 3 Rn. 48), weswegen diese nicht vom Risiko-Stufensystem der KI-VO umfasst sind.

nach oben

a. Verbotene Praktiken

KI-Systeme, die Praktiken einsetzen, die der Liste des Art. 5 KI-VO unterfallen, sind verboten. Hierzu zählen KI-Systeme, die

• Betroffene unterschwellig beeinflussen oder absichtlich manipulieren oder täuschen mit dem Ziel, die Betroffenen in ihrer Entscheidungsfindung zu beeinflussen und sie oder andere Personen zu einem schädigenden Verhalten zu bewegen,
• die Schutzbedürftigkeit und Vulnerabilität von bestimmten Personen ausnutzen (z.B. Alter, Behinderung oder die wirtschaftliche und soziale Situation), um ein schädigendes Verhalten hervorzurufen oder ein solches mit hoher Wahrscheinlichkeit hervorrufen,
• Social Scoring vornehmen, z.B. Bonitäts-Scoring bei der Vergabe von Krediten,
• Predictive Policing, also die Risikobewertung von natürlichen Personen zur Berechnung der Wahrscheinlichkeit zukünftiger Straftaten ohne vorausgehende menschliche Analyse, die auf objektiven und überprüfbaren Tatsachen beruht,
• Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen erstellen oder erweitern,
• Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen ermöglichen,
• Biometrische Fernidentifizierung von Personen, um Rückschlüsse über Merkmale wie ihre Rasse, politische Überzeugung oder sexuelle Orientierung zu ziehen.

Hinzu kamen durch den AI Omnibus weitere Verbote, die ab dem 02.12.2026 gelten:

• Nicht einvernehmliche intime Darstellungen: Erfasst werden KI-Systeme, die realistische intime oder sexualisierte Bilder bzw. Videos einer identifizierten oder identifizierbaren natürlichen Person ohne deren Einwilligung erzeugen oder manipulieren. Praktisch werden hier insbesondere sogenannte „Nudify“- oder „Undress“-Anwendungen adressiert.
• Darstellungen sexuellen Kindesmissbrauchs: Erfasst werden KI-Systeme, die Darstellungen sexuellen Missbrauchs von Kindern erzeugen oder manipulieren, sofern dies nicht aufgrund einer gesetzlichen Erlaubnis insbesondere zu Zwecken der Strafverfolgung oder bestimmter Sicherheitstests erfolgt.

nach oben

b. Hochrisiko-KI-Systeme

Den Schwerpunkt der KI-VO bilden die Hochrisiko-KI-Systemen nach Art. 6 ff. KI-VO. Diese sind nicht verboten, aber streng reguliert. Der Gesetzgeber hat sich für ein dynamisches System zur Klassifizierung von Hochrisiko-KI-Systemen entschieden. Die Einstufung hängt von der Anwendung und den möglichen Auswirkungen auf Grundrechte, Gesundheit oder Sicherheit ab. Wann liegt ein Hochrisiko-KI-System vor? Nach Art. 6 Abs. 1 KI-VO fallen unter Hochrisiko-KI-Systeme solche, die als Sicherheitsbauteil für ein Produkt dienen, das bereits Regelungsgegenstand eines in Anhang I Abschnitt A der VO aufgeführtem EU-Rechtsakts ist oder das KI-System selbst ein solches Produkt ist.

Dazu zählen Maschinen, Spielzeuge, Medizinprodukte aber auch Aufzüge, Druckgeräte und Funkanlagen (vgl. Wendt in Wendt/Wendt, Das neue KI-Recht § 4 Rn. 23). Hochrisiko-KI-Systeme müssen, bevor diese in den Verkehr gebracht oder in Betrieb genommen werden, einer Konformitätsbewertung durch Dritte unterzogen werden. Diese Bewertung erfolgt gemäß den in Anhang I der KI-VO aufgeführten Harmonisierungsrechtsvorschriften der Union (Art. 6 Abs. 1 lit. b KI-VO). Die Anforderungen und Pflichten für produktbezogene Hochrisiko-KI-Systeme nach Art. 6 Abs. 1 KI-VO in Verbindung mit Anhang I gelten aufgrund der durch den AI Omnibus geänderten Übergangsregelungen grundsätzlich ab dem 02.08.2028. Zusätzlich zu den in Art. 6 Abs. 1 KI-VO genannten Hochrisiko-KI-Systemen gelten gemäß Art. 6 Abs. 2 KI-VO auch die in Anhang III als hochriskant. Diese KI-Systeme werden aufgrund ihres sensiblen Anwendungsbereichs eigenständig von der KI-VO als Hochrisiko-System eingestuft. Unter Anhang III der KI-VO fallen die folgenden Bereiche:

• Biometrie beispielsweise zur Fernidentifizierung oder zur Emotionserkennung (Anhang III Nr. 1 zur KI-VO),
• Kritischer Infrastruktur (Anhang III Nr. 2 zur KI-VO)
• Allgemeine und berufliche Bildung, beispielsweise KI-Systeme, die Zugangs- oder Zulassungsentscheidungen zu Bildungseinrichtungen vornehmen (Anhang III Nr. 3 zur KI-VO),
• Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit, z.B. KI-System die in Bewerbungsverfahren oder im Rahmen von Beförderungs- oder Kündigungsentscheidungen zum Einsatz kommen (Anhang III Nr. 4 zur KI-VO),
• Zugänglichkeit und Inanspruchnahme grundlegender privater und öffentlicher Diensten und Leistungen, z.B. indem sie die Kreditwürdigkeit oder Bonität von Betroffenen bewerten oder für die Risikobewertung oder Preisbildung von Lebens- und Krankenversicherungen eingesetzt werden (Anhang III Nr. 5 zur KI-VO),
• Strafverfolgung (Anhang III Nr. 6 zur KI-VO),
• Migration, Asyl und Grenzkontrollen (Anhang III Nr. 7 zur KI-VO) oder
• Rechtspflege und demokratischen Prozessen (Anhang III Nr. 8 zur KI-VO).

Die Anforderungen und Pflichten für diese Hochrisiko-KI-Systeme nach Anhang III gelten aufgrund des AI Omnibus grundsätzlich erst ab dem 02.12.2027.

Ein KI-System gilt gemäß Art. 6 Abs. 3 Satz 1 KI-VO nicht als hochriskant, wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es u.a. nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst. Ein Ergebnis wird beeinflusst, wenn mindestens eine der folgenden Bedingungen erfüllt ist:

Das KI-System ist dazu bestimmt

• eine eng gefasste Verfahrensaufgabe durchzuführen;
• das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern;
• Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und ist nicht dazu gedacht, die zuvor abgeschlossene menschliche Bewertung, ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen oder
• eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist.

Ausnahme: Unabhängig von den oben genannten Bedingungen ist ein KI-System als hochriskant einzustufen, wenn es ein Profiling natürlicher Personen vornimmt, Art. 6 Abs. 3 Satz 3 KI-VO. Gemäß Art. 6 Abs. 5 KI-VO soll die EU-Kommission nach Konsultation des Europäischen Gremiums für Künstliche Intelligenz spätestens innerhalb von 18 Monaten nach Inkrafttreten der KI-VO Leitlinien sowie eine umfassende Liste von Regel- und Gegenbeispielen für eine rechtssichere Einstufung von KI-Systeme veröffentlichen. Dadurch sollen sowohl Unternehmen als auch Behörden unterstützt werden, ein korrekte Risikoeinstufung vorzunehmen.

Ist ein Anbieter der Auffassung, dass ein in Anhang III aufgeführtes KI-System aufgrund der Voraussetzungen des Art. 6 Abs. 3 KI-VO nicht als hochriskant einzustufen ist, muss er diese Bewertung vor dem Inverkehrbringen oder der Inbetriebnahme dokumentieren. Auf Verlangen ist die Dokumentation der zuständigen nationalen Behörde vorzulegen, Art. 6 Abs. 4 KI-VO. Eine zusätzliche Registrierung des als nicht hochriskant bewerteten Systems in der EU-Datenbank ist nach dem AI Omnibus nicht mehr erforderlich.

nach oben

c. KI-Systeme mit begrenztem Risiko

KI-Systeme mit begrenztem Risiko unterliegen lediglich Transparenz- bzw. Kennzeichnungspflichten.  Darunter fallen:

• KI-Systeme, die direkt mit Menschen interagieren, z.B. KI-Chatbots oder KI-Kundenhotlines (Art. 50 Abs. 1 KI-VO).
• Anbieter von KI-Systemen, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen (z.B. ChatGPT), müssen sicherstellen, dass Ausgaben / Output ihres KI‑Systems in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind (Art. 50 Abs. 2 KI-VO).
• Betreiber von KI-Emotionserkennungssystemen oder KI-Systemen zur biometrischen Kategorisierung müssen Betroffene darauf hinweisen (Art. 50 Abs. 3 KI-VO).
• Praxisrelevant ist auch die Pflicht für Betreiber von KI-Systemen, Deepfakes im Sinne des Art. 3 Nr. 60 KI-VO als KI-generiert bzw. KI-manipuliert zu kennzeichnen (Art. 50 Abs. 4 KI-VO).
• Schließlich müssen KI-generierte bzw. KI-manipulierte Texte, die Angelegenheiten von öffentlichem Interesse betreffen, bei Veröffentlichung als solche gekennzeichnet werden, außer sie wurden vorab menschlich bzw. redaktionell überprüft und ein Mensch bzw. Unternehmen übernimmt die redaktionelle Verantwortung für den Textinhalt (Art. 50 Abs. 4 KI-VO). Beispielhaft würden darunter vollautomatisiert veröffentlichte Newsbeiträge auf Websites fallen, aber etwa auch entsprechend ungeprüft veröffentlichte KI-Texte in Social Media Posts.

Die Kennzeichnung bzw. Offenlegung muss Betroffenen spätestens zum Zeitpunkt der ersten Interaktion oder Exposition in klarer und eindeutiger Weise bereitgestellt werden (Art. 50 Abs. 5 KI-VO). Die Informationen müssen außerdem den geltenden Barrierefreiheitsanforderungen entsprechen.

nach oben

d. KI-Systeme mit keinem oder geringem Risiko

KI-Systeme, die nicht unter die obigen drei Stufen fallen, sind in die vierte Kategorie einzuordnen. Für solche KI-Systeme gelten keine besonderen Regeln, da von ihnen nur ein minimales Risiko ausgeht. Für diese Systeme können Anbieter freiwillige Verhaltenskodizes entwickeln und diese einhalten.

nach oben

e. KI-Systeme mit allgemeinem Verwendungszweck (GPAI)

Ein KI-Modell mit allgemeinem Verwendungszweck („General Purpose Artificial Intelligence“, kurz „GPAI“) weist ein systemisches Risiko auf, wenn es über Fähigkeiten mit hoher Wirkkraft bzw. hohem Wirkungsgrad verfügt. Dabei sind zwei Wege vorgesehen, worüber ein systemisches Risiko festgestellt werden kann (vgl. Bernsteiner/Schmitt in Martini/Wendehorst, KI-VO, Art. 51 Rn. 21):

• Feststellung eines systemischen Risikos mithilfe geeigneter technischer Instrumente und Methoden bewertet werden, wobei sich die Geeignetheit nach dem Stand der Technik einerseits und den Fähigkeiten bzw. Einsatzmöglichkeiten des KI-Modells anderseits richten wird (vgl. Martini/Wendehorst a.a.O.), Art. 51 Abs. 1a KI-VO).
• Die Feststellung durch Entscheidungen der Kommission von Amts wegen oder aufgrund von qualifizierten Warnung des wissenschaftlichen Gremiums unter Berücksichtigung der in Anhang XII der KI-VO festgelegten Kriterien (vgl. Martini/Wendehorst a.a.O.), (Art. 51 Abs. 1b KI-VO).

Ein systemisches Risiko wird in Art. 3 Nr. 65 KI-VO definiert als

„ein Risiko, das für die Fähigkeiten mit hoher Wirkkraft von KI Modellen mit allgemeinem Verwendungszweck spezifisch ist und aufgrund deren Reichweite oder aufgrund tatsächlicher oder vernünftigerweise vorhersehbarer negativer Folgen für die öffentliche Gesundheit, die Sicherheit, die öffentliche Sicherheit, die Grundrechte oder die Gesellschaft insgesamt erhebliche Auswirkungen auf den Unionsmarkt hat, die sich in großem Umfang über die gesamte Wertschöpfungskette hinweg verbreiten können“

Um diesem gesteigerten Risiko zu begegnen, gelten für KI-Systeme und Modelle mit systemischem Risiko verschärfte Regeln (siehe Ziffer 8e).

nach oben

10. Welche Anforderungen gelten für Hochrisiko-KI-Systeme?

Hochrisiko-KI-Systeme müssen eine Vielzahl von Anforderungen erfüllen. Die nachfolgenden Anforderungen gelten für Hochrisiko-KI-Systeme nach Anhang III grundsätzlich ab dem 02.12.2027 und für produktbezogene Hochrisiko-KI-Systeme nach Art. 6 Abs. 1 KI-VO grundsätzlich ab dem 02.08.2028.

• Einrichten und Führen eines Risikomanagementsystems für KI-Systeme (Art. 9 KI-VO): Der Anbieter hat die zu erwartenden Risiken des KI-Systems zu identifizieren und Maßnahmen zu ergreifen, diese Risiken zu bewältigen. Unter dem Begriff „Risiko“ sind vorhersehbare Schäden unter Berücksichtigung ihrer Wahrscheinlichkeit und Schwere zu verstehen. Der Betrachtungshorizont erstreckt sich zunächst auf die Verwendung des KI-Systems entsprechend seiner Zweckbestimmung (vgl. Wendt in Wendt/Wendt, Das neue KI-Recht, § 5 Rn. 7). Mit dem Risikomanagementsystem soll kontinuierlich während des gesamten Lebenszyklus der KI überprüft werden, welche Risiken von dem KI-System ausgehen und wie diese Risiken bewältigt werden können.
• Daten-Governance (Art. 10 KI-VO): Anbieter haben sicherzustellen, dass die Trainings-, Test- und Validierungsdaten, die für das zugrundeliegende KI-Modell verwendet werden, gewisse Qualitätsanforderungen erfüllen. Die Qualitätsanforderungen werden in Art. 10 KI-VO konkretisiert. Die Trainings-, Validierungs- und Testdaten müssen gemäß Art. 10 Abs. 3 KI-VO im Hinblick auf die Zweckbestimmung hinreichend repräsentativ und so weit wie möglich fehlerfrei und vollständig sein.
• Technische Dokumentation (Art. 11 KI-VO): Anbieter müssen die Funktionsweise des KI-Systems vor dem Inverkehrbringen oder der Inbetriebnahme dokumentieren und die Dokumentation während des laufenden Betriebs auf dem aktuellen Stand halten. Aus ihr muss hervorgehen, wie das Hochrisiko-KI-System die Anforderungen der KI-VO erfüllt. Sie muss mindestens die in Anhang IV genannten Angaben enthalten und den zuständigen nationalen Behörden sowie den notifizierten Stellen in klarer und verständlicher Form zur Verfügung gestellt werden. KMU einschließlich Start-up-Unternehmen sowie kleine Midcap-Unternehmen dürfen die in Anhang IV verlangten Angaben mithilfe eines von der Kommission bereitgestellten vereinfachten Formulars vorlegen. Entscheiden sie sich für diese vereinfachte Dokumentation, müssen sie das vorgesehene Formular verwenden; notifizierte Stellen müssen es im Konformitätsbewertungsverfahren akzeptieren.
• Aufzeichnungspflichten (Art. 12 KI-VO): Die Technik der Hochrisiko-KI-Systeme muss die automatische Aufzeichnung von Ereignissen („Protokollierung“) während des Lebenszyklus des Systems ermöglichen. Dies dient der Rückverfolgung, dass das Hochrisiko-KI-System in seinem der Zweckbestimmung angemessenen Maße funktioniert. Alle Situationen, die ein Risiko für die Gesundheit, die Sicherheit oder die Grundrechte von Personen bergen sowie alle Geschehnisse, die zu einer wesentlichen Änderung des KI-Systems führen, müssen protokolliert werden (vgl. Wendt in Wendt/Wendt, Das neue KI-Recht, § 5 Rn. 29).
• Transparenz- und Informationsanforderungen (Art. 13 KI-VO): Anbieter müssen Hochrisiko-KI-Systeme so transparent entwickeln, dass Betreiber die Ergebnisse des KI-Systems angemessen interpretieren und verwenden können. Dazu sollen Anbieter spezifische, vor allem technische Informationen in Form einer Betriebsanleitung regelmäßig digital und barrierefrei zur Verfügung stellen. Art. 13 Abs. 3 KI-VO legt fest, was die Betriebsanleitungen mindestens zu enthalten haben.
• Menschliche Aufsicht (Art. 14 KI-VO): Hochrisiko-KI-Systeme müssen so konzipiert sein, dass eine menschliche Aufsicht möglich ist. Diese ist ggf. vom Betreiber des KI-Systems auszuführen.
• Vorgaben zu Genauigkeit, Robustheit und Cybersecurity (Art. 15 KI-VO): Hochrisiko-Systeme sind so zu entwickeln, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen und dieses während ihres gesamten Lebenszyklus beständig halten.

nach oben

11. Welche Pflichten gelten für Anbieter, Betreiber und andere Beteiligte von KI-Systemen?

Die KI-VO berücksichtigt, dass an der Entwicklung und dem Betrieb von KI-Systemen in der Regel nicht nur ein Akteur beteiligt ist. Daher differenziert sie klar zwischen verschiedenen Akteuren und weist ihnen unterschiedliche Pflichten zu. Insbesondere obliegen dem Anbieter in diesem Zusammenhang umfassende Pflichten, die sich aus Art. 16 KI-VO ergeben. (vgl. Wendt in Wendt/Wendt, Das neue KI-Recht, § 6 Rn. 72).

nach oben

a. Pflichten der Anbieter von Hochrisiko-KI-Systemen

Im Folgenden geben wir einen Überblick über die Pflichten, die Anbieter von Hochrisiko-KI-Systemen treffen:

• Anbieter müssen, um eine Zuordnung zu erleichtern, den eingetragenen Handelsnahmen bzw. die eingetragene Handelsmarke und ihre Kontaktanschrift angeben (Art. 16 lit. b KI-VO).
• Qualitätsmanagementsystem (Art. 17 KI-VO): Anbieter müssen ein Qualitätsmanagementsystem einrichten, das die Einhaltung der KI-VO gewährleistet. Das System ist systematisch und ordnungsgemäß in Form schriftlicher Regeln, Verfahren und Anweisungen zu dokumentieren. Die erforderlichen Inhalte ergeben sich aus Art. 17 Abs. 1 lit. a – m KI-VO. Die konkrete Umsetzung muss in einem angemessenen Verhältnis zur Größe der Organisation des Anbieters stehen. Dies gilt insbesondere für KMU einschließlich Start-up-Unternehmen und nach dem AI Omnibus auch für kleine Midcap-Unternehmen. Das erforderliche Schutzniveau und die notwendige Strenge zur Gewährleistung der Konformität des Hochrisiko-KI-Systems dürfen dadurch jedoch nicht abgesenkt werden.
• Dokumentations- und Aufbewahrungspflichten (Art. 18 KI-VO und Art. 19 KI-VO): Anbieter sollen die sich aus Art. 18 Abs. 1 KI-VO ergebenden Unterlagen für einen Zeitraum von zehn Jahren ab Inverkehrbringung bzw. Inbetriebnahme aufbewahren und für die zuständigen Behörden bereithalten. Auch die von Hochrisiko-KI-Systemen erzeugten automatischen Protokolle (Art. 12 Abs. 1 KI-VO) sind aufzubewahren, sofern die Protokolle der Kontrolle der Anbieter unterliegen, Art. 19 Abs. 1 KI-VO (vgl. Wendt in Wendt/Wendt, Das neue KI-Recht, § 6 Rn. 18).
• Korrekturmaßnahmen und Informationspflicht (Art. 20 Abs. 1 KI-VO): Ist der Anbieter eines Hochrisiko-KI-Systems der Auffassung oder hat er Grund zur Annahme, dass ein von ihm in Verkehr gebrachtes oder in Betrieb genommenes Hochrisiko-KI-System nicht der KI-VO entspricht, hat er unverzüglich die erforderlichen Korrekturmaßnahmen zu ergreifen, um die Konformität des Systems herzustellen oder gegebenenfalls zurückzunehmen, zu deaktivieren oder zurückzurufen. Der Anbieter hat die Händler und ggf. die Betreiber, Bevollmächtigten und Einführer unverzüglich über die Nichtkonformität zu informieren.
• Meldepflicht (Art. 20 Abs. 2 KI-VO): Bei einem schwerwiegenden Vorfall hat der Anbieter die Marktaufsichtsbehörde zu informieren. Ein solcher liegt vor, wenn ein KI-System zu Ereignissen führt, die direkt oder indirekt den Tod oder die schwere gesundheitliche Schädigung einer Person verursachen (Art. 3 Nr. 49 lit. a KI-VO), den Betrieb einer kritischer Infrastrukturen stören (Art. 3 Nr. 49 lit. b KI-VO), Pflichten aus den Unionsrechtvorschriften zum Schutz der Grundrechte verletzen (Art. 3 Nr. 49 lit. c KI-VO) oder schwere Sach- oder Umweltschäden herbeiführen (Art. 3 Nr. 49 lit. c KI-VO).
• Zusammenarbeit mit zuständigen Behörden (Art. 21 KI-VO): Anbieter von Hochrisiko-KI-Systemen haben auf begründete Anfrage der zuständigen Behörden sämtliche Informationen und Dokumentationen zu übermitteln.
• Benennung eines Bevollmächtigten (Art. 22 KI-VO): Anbieter aus Drittländern müssen vor der Bereitstellung eines Hochrisiko-KI-Systems auf dem Unionsmarkt schriftlich einen in der Union niedergelassenen Bevollmächtigten benennen.
• Konformitätsbewertungsverfahren, Konformitätserklärung, CE-Kennzeichnung (Art. 43 KI-VO, Art. 47 KI-VO, Art. 48 KI-VO): Das Konformitätsbewertungsverfahren bildet eine zentrale Pflicht für Anbieter und muss vor Inbetriebnahme des KI-Systems durchgeführt werden. Ziel des Verfahrens ist die Überprüfung, ob das KI-System den Vorgaben der KI-VO entspricht. Unter bestimmten Voraussetzungen, wie sie in Anhang VI der KI-VO beschrieben sind, kann dieses Verfahren auch intern durchgeführt werden, wenn entsprechende Expertisen im Unternehmen vorliegen. Andernfalls übernimmt eine notifizierte Stelle gemäß Anhang VII der KI-VO die Durchführung.

Im externen Bewertungsverfahren werden das Qualitätsmanagement und die technische Dokumentation überprüft. Über die Überprüfung der technischen Dokumentation lassen sich darüber hinaus Rückschlüsse über weitere Vorgaben der KI-VO wie Transparenz, Robustheit und Cybersecurity nachvollziehen. Beim internen Verfahren sind die Prüfschritte in Anhang VI der KI-VO grob skizziert. Dadurch wird dem Anbieter ein größerer Spielraum bei der Konformitätsprüfung eingeräumt. Bei wesentlichen Änderungen am KI-System ist ein erneutes Konformitätsbewertungsverfahren durchzuführen.

• Registrierungspflicht (Art. 49 Abs. 1 KI-VO): Anbieter von Hochrisiko-KI-Systemen nach Art. 6 Abs. 2 KI-VO in Verbindung mit Anhang III der KI-VO müssen sich und ihr System vor dem Inverkehrbringen oder der Inbetriebnahme in der EU-Datenbank nach Art. 71 KI-VO registrieren. Eine Ausnahme gilt für bestimmte Hochrisiko-KI-Systeme im Bereich kritischer Infrastrukturen. Stuft ein Anbieter ein in Anhang III genanntes System dagegen gemäß Art. 6 Abs. 3 KI-VO als nicht hochriskant ein, muss er diese Bewertung zwar weiterhin dokumentieren und der zuständigen Behörde auf Verlangen vorlegen. Die bislang zusätzlich vorgesehene Registrierung solcher nicht als hochriskant eingestuften Systeme wurde durch den AI Omnibus jedoch abgeschafft.
• Beobachtungspflicht (Art. 72 KI-VO): Anbieter sind verpflichtet ihr KI-System nach Inverkehrbringen über den gesamten Lebenszyklus des Produkts auf Grundlage eines hierfür zu erstellenden Plans zu überwachen und diese Überwachung zu dokumentieren. Diese Dokumentation und Überwachung dient der Beurteilung der Konformität des KI-Systems mit den Anforderungen aus Kapitel III Abschnitt 2 der KI-VO. (vgl. Hartmann in Martini/Wendehorst, KI-VO, Art. 72 Rn.1).

nach oben

b. Pflichten der Betreiber von Hochrisiko-KI-Systemen

Auch Betreiber von Hochrisiko-KI-Systemen sind Adressaten eines umfassenden Pflichtenkatalogs:

• Technische und organisatorische Maßnahmen (Art. 26 Abs. 1 KI-VO): Betreiber müssen technische und organisatorische Maßnahmen ergreifen, um sicherzustellen, dass die Vorgaben der Betriebsanleitung des Anbieters des KI-Systems erfüllt werden.
• Menschliche Aufsicht (Art. 26 Abs. 2 KI-VO): Betreiber müssen sicherstellen, dass eine menschliche Aufsicht über den Betrieb des KI-Systems durch Personal erfolgt, das die erforderliche Kompetenz, Ausbildung und Befugnis besitzt.
• Eingabedaten (Art. 26 Abs. 4 KI-VO): Soweit ein Betreiber Einfluss auf die Eingabedaten des KI-Systems hat, ist er verpflichtet sicherzustellen, dass die Daten dem vorgesehenen Zweck (Art. 3 Nr. 12 KI-VO) des KI-Systems entsprechen und hinreichend repräsentativ (Art. 3 Nr. 33 KI-VO) sind. Den Betreiber treffen daher spezifische Pflichten in Bezug auf die Eingabedaten.

• Überwachungs- und Meldepflichten (Art. 26 Abs. 5 KI-VO): Fürchtet der Betreiber, dass die Verwendung des KI-Systems entsprechend den Vorgaben der Betriebsanleitung ein Risiko für die Gesundheit, Sicherheit oder die Grundrechte von Personen birgt, hat er unverzüglich den Anbieter, Händler und die zuständige Marktüberwachungsbehörde in Kenntnis zu setzen und die Verwendung des KI-Systems auszusetzen.
• Aufbewahrungspflichten (Art. 26 Abs. 6 KI-VO): Betreiber müssen die automatisch vom KI-System erzeugten Protokolle für mindestens sechs Monate aufbewahren. Stehen der Aufbewahrung Rechtsvorschriften zum Schutz personenbezogener Daten entgegen, gehen diese vor.
• KI-Systeme am Arbeitsplatz (Art. 26 Abs. 7 KI-VO): Soll das KI-System am Arbeitsplatz verwendet werden, hat der Betreiber die Arbeitnehmervertreter und die betroffenen Arbeitnehmer darüber zu informieren.
• Unterrichtung von Betroffenen (Art. 26 Abs. 11 KI-VO): Die Betroffenen sind vom Betreiber darüber zu informieren, wenn das KI-System Entscheidungen ihnen gegenüber trifft oder bei einer solchen Entscheidung mitwirkt. Sie sollen in die Lage versetzt werden, zu erkennen, dass sie Gegenstand KI-gestützter Entscheidungsfindung sind.
• Zusammenarbeit mit Behörden (Art. 26 Abs. 12 KI-VO): Die Betreiber haben sicherzustellen, dass sie mit den zuständigen Behörden zusammenarbeiten, um die Anforderungen der KI-VO an das KI-System zu erfüllen.
• Grundrechte-Folgenabschätzung (Art. 27 KI-VO): Eine Grundrechte-Folgenabschätzung ist nur von Einrichtungen des öffentlichen Rechts, von privaten Einrichtungen, die öffentliche Dienste erfüllen und von Banken und Versicherungen vorzunehmen, wenn Hochrisiko-KI-Systeme zur Kreditwürdigkeitsprüfung (Anhang III Nr. 5 lit. b der KI-VO) oder für die Risikobewertung und Preisbildung von Lebens- und Krankenversicherungen (Anhang III Nr. 5 lit. c der KI-VO) für natürliche Personen eingesetzt werden. Im Rahmen der Grundrechte-Folgenabschätzung sind die möglichen Auswirkungen des KI-Systems auf die Grundrechte von Bürgern abzuschätzen. Die Grundrecht-Folgenabschätzung beschränkt sich allein auf Hochrisiko-KI-Systeme nach Art. 6 Abs. 2 KI-VO in Verbindung mit Anhang III der KI-VO:
  • Biometrik (Ziff.1),
  • Allgemeine und berufliche Bildung (Ziff. 3),
  • Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit (Ziff. 4),
  • Zugang zu grundlegenden privaten und öffentlichen Leistungen (Ziff. 5),
  • Strafverfolgung (Ziff. 6),
  • Migration, Asyl und Grenzkontrolle (Ziff. 7) sowie
  • Rechtspflege und demokratische Prozesse (Ziff. 8).

Art. 27 Abs. 1 KI-VO zählt die erforderlichen Informationen auf, die die Grundrechte-Folgenabschätzung erhalten muss. Die Grundrechte-Folgenabschätzung ist vor der Inbetriebnahme des Hochrisiko-KI-Systems durchzuführen. Da sie sich auf Hochrisiko-KI-Systeme nach Art. 6 Abs. 2 KI-VO in Verbindung mit Anhang III der KI-VO bezieht, gilt diese Pflicht nach den durch den AI Omnibus geänderten Anwendungsregelungen grundsätzlich ab dem 02.12.2027.

nach oben

c. Pflichten der Händler von Hochrisiko-KI-Systemen

Nach Art. 24 KI-VO sind Händler u.a. verpflichtet zu überprüfen,

• ob das Hochrisiko-KI-System mit der erforderlichen CE-Kennzeichnung versehen ist,
• eine Kopie der Konformitätserklärung sowie der Betriebsanleitung beigefügt ist und
• ob der Anbieter bzw. ggf. der Einführer des Systems seine Pflichten (Art. 16 lit. b und c KI-VO sowie Art. 23 Abs. 3 KI-VO) erfüllt hat.

Erst nach positiver Kontrolle darf das KI-System auf den Markt gebracht werden.

nach oben

d. Allgemeine Pflichten für Anbieter und Betreiber aller Risikostufen

Für Anbieter und Betreiber von KI-Systemen aller Risikostufen gelten die folgenden Pflichten:

• Förderung von KI-Kompetenz (Art. 4 KI-VO): Anbieter und Betreiber müssen unter Berücksichtigung ihrer technischen Kenntnisse, Erfahrungen, Ausbildung und Schulung sowie des Einsatzkontexts Maßnahmen ergreifen, um die KI-Kompetenz ihres Personals und sonstiger in ihrem Auftrag mit KI-Systemen befasster Personen zu fördern. Anders als nach der ursprünglichen Fassung müssen sie nicht mehr gewährleisten, dass jede betroffene Person tatsächlich ein bestimmtes ausreichendes Kompetenzniveau erreicht. Erforderlich bleiben jedoch angemessene und nachweisbare Fördermaßnahmen, etwa Schulungen, interne Richtlinien, Nutzungsvorgaben und regelmäßige Sensibilisierungen. Die erforderlichen Kenntnisse unterscheiden sich je nach Einsatzbereich der KI. Menschen, die mit KI-Systemen arbeiten, müssen ein Bewusstsein dafür haben, wie sich von der KI getroffene Entscheidungen auswirken können. Sie sollen in der Lage sein, den Output des KI-Systems zu interpretieren. Die vermittelten Kenntnisse sollen der Einhaltung der KI-VO dienen.
• Freiwillige Verhaltenskodizes (Art. 95 Abs. 3 KI-VO): Anbieter und Betreiber von KI-Systemen können freiwillig Verhaltenskodizes aufstellen. Dabei können zusätzliche Anforderungen z.B. in Bezug auf ökologische Nachhaltigkeit Gegenstand der Verhaltenskodizes sein.

nach oben

e. Pflichten der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck

Für KI-Modelle mit allgemeinem Verwendungszweck gelten gesonderte Regelungen, die auf ihre spezifischen Risiken zugeschnitten sind.

• Laufende technische Dokumentation des Modells (Art. 53 Abs. 1 Satz 1 lit. a KI-VO): Die erforderlichen Informationen, welche zu dokumentieren sind, sind in Anhang XI Abschnitt 1 der KI-VO aufgelistet. Die Dokumentation muss dem Büro für Künstliche Intelligenz und den zuständigen nationalen Behörden auf Anfrage ausgehändigt werden. Unter „Büro für Künstliche Intelligenz“ ist laut Art. 3 Nr. 47 KI-VO die Aufgabe der Kommission zu verstehen. Der AI Omnibus stärkt die Stellung des Büros für Künstliche Intelligenz erheblich. Das AI Office erhält eigene Aufsichts-, Ermittlungs- und Inspektionsbefugnisse sowie Befugnisse zur Durchsetzung und Sanktionierung. Es übernimmt damit insbesondere im Zusammenhang mit GPAI-Modellen und darauf beruhenden Systemen eine wesentlich aktivere Rolle als nach der ursprünglichen Fassung der KI-VO.
• Informationspflicht (Art. 53 Abs. 1 Satz 1 lit. b KI-VO): Anbieter von KI-Modellen mit allgemeinem Verwendungszweck haben Informationen und Dokumentationen bereitzustellen, um anderen Anbietern die Integration dieser Modelle in ihre eigenen KI-Systeme zu ermöglichen. Diese Informationen müssen dazu geeignet sein, erkennen zu können, wozu das KI-Modell im Stande ist und wie die Anforderungen der KI-VO eingehalten werden können. Die erforderlichen Informationen sind in Anhang XII der KI-VO aufgelistet.
  Die Pflichten nach Art. 53 Abs. 1 lit. a und b KI-VO gelten nicht für quelloffene KI-Modelle, bei denen die Modifikation und Weitergabe des Modells erlaubt ist und Parameter, Architektur sowie Nutzungsinformationen öffentlich zugänglich sind. Eine Rückausnahme gilt für Modelle mit systemischem Risiko (Art. 53 Abs. 2 KI-VO)
• Urheberrecht (Art. 53 Abs. 1 Satz 1 lit. c KI-VO): Anbieter müssen eine Strategie zur Einhaltung des Urheberrechts erarbeiten. Dies zielt auf das Training von KI-Modellen und soll insbesondere zur Ermittlung und Einhaltung des Rechtevorbehalts im Rahmen des Text- und Data-Minings dienen, und zwar unter Einsatz modernster Technologien (Art. 4 Abs. 3 DSM-RL bzw. § 44b Abs. 3 UrhG). Die Pflichten aus Art. 53 KI-VO gelten auch für Anbieter, die ihre Modelle unter einer freien und quelloffenen Lizenz bereitstellen, da die Open-Source-Ausnahme des Art. 53 Abs. 2 KI-VO die urheberrechtlichen Regelungen nicht erfasst (Erwgr. 104 KI-VO). Für kleine oder mittlere Unternehmen (KMU) gelten keine Ausnahmen, es soll nur vereinfachte Verfahren geben (Erwgr. 104 Satz 2 KI-VO).
• Zusammenfassung der für das KI-Training genutzten Inhalte (Art. 53 Abs. 1 Satz 1 lit. d KI-VO): KI-Anbieter müssen darüber hinaus eine hinreichend detaillierte Zusammenfassung der verwendeten Trainingsdaten veröffentlichen.
• Zusammenarbeit mit Behörden (Art. 53 Abs. 3 KI-VO)
• Benennung eines Bevollmächtigten (Art. 54 KI-VO): Wenn der Anbieter außerhalb der EU niedergelassen ist.

Für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck können harmonisierte Normen ausgearbeitet werden. Bei Einhaltung einer im Amtsblatt der Europäischen Union veröffentlichten harmonisierten Norm gilt grundsätzlich die Vermutung, dass die von ihr erfassten Anforderungen der KI-VO erfüllt sind. Solange keine einschlägigen harmonisierten Normen veröffentlicht sind, können Anbieter ihre Einhaltung der Pflichten aus Art. 53 KI-VO und – bei Modellen mit systemischem Risiko – Art. 55 KI-VO insbesondere durch Befolgung des freiwilligen GPAI Code of Practice nachweisen.

nach oben

f. Pflichten der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und systemischem Risiko

Für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und systemischem Risiko gelten zusätzliche Pflichten:

• Mitteilungsobliegenheit (Art. 52 Abs. 1 KI-VO): Anbieter sollen der Europäischen Kommission mitteilen, dass ihr KI-Modell ein KI-Modell mit allgemeinem Verwendungszweck und systemischem Risiko ist.
• Modellbewertung zum Erfassen und Mindern von Risiken (Art. 55 Abs. 1 lit. a, b KI-VO): Anbieter haben eine Modellbewertung mit standardisierten Protokollen und Instrumenten zu erstellen, die die systemischen Risiken erfasst und mindert. Ebenso haben die Anbieter sich aus dem KI-Modell ergebende systemische Risiken auf Unionsebene zu bewerten und zu mindern.
• Informieren über schwerwiegende Vorfälle (Art. 55 Abs. 1 lit. c KI-VO): Anbieter müssen Informationen über schwerwiegende Vorfälle sowie potenzielle Abhilfemaßnahmen erfassen und dokumentieren. Die zuständigen Behörden sind darüber zu informieren.
• Cybersecurity (Art. 55 Abs. 1 lit. d KI-VO): Anbieter müssen ein angemessenes Maß an Cybersecurity sicherstellen.
• Anbieter von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko müssen zusätzliche Informationen im Rahmen der technischen Dokumentation nach Art. 53 Abs. 1 Satz 1 lit. a KI-VO bereitstellen. Diese befinden sich in Anhang XI Abschnitt 2 der KI-VO.

Auch für KI-Modelle mit allgemeinem Verwendungszweck und systemischem Risiko können harmonisierte Normen ausgearbeitet werden. Solange keine einschlägigen harmonisierten Normen veröffentlicht sind, können Anbieter zur Erfüllung der Pflichten aus Art. 55 KI-VO insbesondere das Kapitel „Safety and Security“ des freiwilligen GPAI Code of Practice heranziehen.

nach oben

g. Konkretisierung durch Normen, Leitlinien und Praxisleitfäden

Zahlreiche Anforderungen der KI-VO werden durch harmonisierte Normen, Leitlinien der Europäischen Kommission und freiwillige Praxisleitfäden konkretisiert.

• Harmonisierte Normen: Art. 40 KI-VO sieht die Ausarbeitung harmonisierter europäischer Normen vor. Diese werden insbesondere von den europäischen Normungsorganisationen CEN und CENELEC erarbeitet. Wird die Fundstelle einer harmonisierten Norm im Amtsblatt der Europäischen Union veröffentlicht und hält ein Anbieter die Norm ein, gilt grundsätzlich die Vermutung, dass die von der Norm erfassten Anforderungen der KI-VO erfüllt sind. Die Normen verändern die gesetzlichen Pflichten nicht, erleichtern aber den Nachweis ihrer Einhaltung. Der Normungsprozess ist noch nicht für sämtliche Anforderungen abgeschlossen. Der AI Omnibus verschiebt deshalb insbesondere die Anwendung der Hochrisiko-Vorschriften: Für Hochrisiko-KI-Systeme nach Art. 6 Abs. 2 KI-VO in Verbindung mit Anhang III gelten die entsprechenden Anforderungen grundsätzlich ab dem 2. Dezember 2027. Für produktbezogene Hochrisiko-KI-Systeme nach Art. 6 Abs. 1 KI-VO in Verbindung mit Anhang I gilt grundsätzlich der 2. August 2028. Dadurch soll gewährleistet werden, dass die erforderlichen Normen und sonstigen Umsetzungshilfen rechtzeitig zur Verfügung stehen.
• Leitlinien der Kommission: Die Europäische Kommission veröffentlicht gemäß Art. 96 KI-VO Leitlinien zur praktischen Anwendung der Verordnung. Dazu gehören insbesondere Leitlinien zur Abgrenzung von KI-Systemen, zu verbotenen Praktiken, zu GPAI-Modellen, zur Einstufung von Hochrisiko-KI-Systemen und zu den Transparenzpflichten nach Art. 50 KI-VO. Die Leitlinien sind grundsätzlich nicht mit einer unmittelbar verbindlichen Rechtsnorm gleichzusetzen, geben aber die Auslegung der Kommission wieder und sind für die praktische Umsetzung und behördliche Durchsetzung von erheblicher Bedeutung.
• Praxisleitfäden: Daneben können freiwillige Praxisleitfäden eine einheitliche Umsetzung der KI-VO erleichtern. Für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck steht seit Juli 2025 der GPAI Code of Practice zur Verfügung. Für die Kennzeichnung und Markierung KI-generierter oder KI-manipulierter Inhalte wurde außerdem ein eigener Praxisleitfaden zu Art. 50 KI-VO veröffentlicht. Anbieter und Betreiber können durch dessen Befolgung die Einhaltung der erfassten Transparenzpflichten nachweisen. Die gesetzlichen Pflichten gelten jedoch unabhängig davon, ob ein Unternehmen einen Praxisleitfaden unterzeichnet oder befolgt.

Die Konkretisierung der KI-VO ist damit kein einmaliger Vorgang. Unternehmen müssen neben dem Verordnungstext auch die weitere Entwicklung der harmonisierten Normen, Leitlinien, Praxisleitfäden und behördlichen Auslegung beobachten.

nach oben

h. Erprobung unter realen Bedingungen

Der AI Omnibus erleichtert unter bestimmten Voraussetzungen Tests von Hochrisiko-KI-Systemen in realen Umgebungen. Solche Tests können teilweise auch außerhalb eines formellen KI-Reallabors durchgeführt werden. Voraussetzung sind insbesondere ein genehmigter Testplan, geeignete Schutzmaßnahmen, eine zeitliche und sachliche Begrenzung sowie die Beachtung der Rechte betroffener Personen.

nach oben

12. Welche Sanktionen drohen bei Verstoß gegen die KI-Verordnung?

Die KI-VO sieht bei Verstößen ein gestaffeltes Sanktionssystem vor. Die Höhe der Geldbuße ist abhängig von Art, Schwere und den Folgen des Verstoßes sowie u.a. auch von dem Jahresumsatz, der Marktmacht und der Größe des Unternehmens. Es bedarf gemäß Art. 99 Abs. 7 KI-VO einer umfassenden Beurteilung der Umstände des Einzelfalls.

Für KMU und bestimmte Small Mid-Caps gelten nach dem AI Omnibus günstigere Höchstgrenzen. Bei ihnen ist bei der Gegenüberstellung des festen Höchstbetrags und des umsatzbezogenen Höchstbetrags grundsätzlich der niedrigere der beiden Beträge maßgeblich. Für größere Unternehmen bleibt es grundsätzlich bei dem jeweils höheren Betrag.

Bei Missachtung des Verbots der in Art. 5 KI-VO genannten Praktiken werden Geldbußen von bis zu 35 Mio. Euro oder – im Falle von Unternehmen – bis zu 7 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres verhängt, je nachdem, welcher Betrag höher ist (Art. 99 Abs. 3 KI-VO).

Bei Verstößen gegen die

• Pflichten der Anbieter (Art. 16 KI-VO);
• Pflichten der Bevollmächtigten (Art. 22 KI-VO);
• Pflichten der Einführer (Art. 23 KI-VO);
• Pflichten der Händler (Art. 24 KI-VO);
• Pflichten der Betreiber (Art. 26 KI-VO);
• für notifizierte Stellen geltenden Anforderungen und Pflichten (Art. 31 KI-VO, Art. 33 Abs. 1, 3 und 4 KI-VO bzw. Art. 34 KI-VO);
• Transparenzpflichten für Anbieter und Betreiber (Art. 50 KI-VO),

werden Geldbußen von bis zu 15 Mio. Euro oder – im Falle von Unternehmen – bis zu 3 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres verhängt, je nachdem, welcher Betrag höher ist (Art. 99 Abs. 4 KI-VO).

Bei Mängeln in der Dokumentation oder Auskunftserteilung werden Geldbußen von bis zu 7,5 Mio. Euro oder – im Falle von Unternehmen – von bis zu 1 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres verhängt (Art. 99 Abs. 5 KI-VO).

Für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck gelten die gesonderten Sanktionsvorschriften aus Art. 101 KI-VO. Das durch den Omnibus gestärkte AI Office erhält eigene Befugnisse zur Untersuchung und Durchsetzung, insbesondere gegenüber GPAI-Anbietern und bestimmten auf GPAI-Modellen beruhenden Systemen.

nach oben

13. Was ist hinsichtlich des Datenschutzrechts zu beachten?

Die DSGVO findet neben der KI-VO Anwendung. Da Anbieter und Betreiber im Umgang mit personenbezogenen Daten häufig Verantwortliche im Sinne des Datenschutzrechts sind, müssen diese die Vorgaben der DSGVO beachten. Das gilt beispielsweise für personenbezogene Eingabedaten durch Kunden, die mit einem KI-gestützten Chatbot interagieren. Muss eine Datenschutz-Folgenabschätzung gemäß der DSGVO gemacht werden, ist zu beachten, dass die nach Art. 13 KI-VO bereitgestellten Daten hierfür verwendet werden müssen.

• Verarbeitung besonderer Kategorien personenbezogener Daten: Durch den AI Omnibus wurde mit Art. 4a KI-VO eine eigenständige Regelung geschaffen, die unter engen Voraussetzungen die Verarbeitung besonderer Kategorien personenbezogener Daten zur Erkennung und Korrektur von Verzerrungen von KI-Systemen erlaubt. Die Vorschrift gilt nicht nur für Anbieter von Hochrisiko-KI-Systemen, sondern unter den gesetzlichen Voraussetzungen auch für Betreiber von Hochrisiko-KI-Systemen sowie für Anbieter und Betreiber anderer KI-Systeme und KI-Modelle. Voraussetzung ist insbesondere, dass der Zweck nicht mit synthetischen, anonymisierten oder sonstigen Daten erreicht werden kann und die in Art. 4a KI-VO vorgesehenen Schutzmaßnahmen eingehalten werden. Die DSGVO bleibt daneben uneingeschränkt anwendbar.

Hinweis: An diesem Beitrag haben Rechtsanwältin Katja Schott sowie unsere wissenschaftliche Mitarbeiterin Laura Hellfeuer mitgewirkt.

nach oben