EU AI Act: Welche Pflichten gelten für Ihr KI-System?

Von Hochrisiko-KI bis Transparenzpflicht: Was Unternehmen prüfen sollten

EU AI Act – Warum Compliance mit der richtigen Einordnung beginnt

Welche Pflichten gelten für unser KI-System?

Der EU AI Act ist umfangreich. Das ist zunächst keine überraschende Nachricht. Europäische Verordnungen werden selten mit dem Ehrgeiz geschrieben, noch bequem auf die Rückseite einer Postkarte zu passen.

Für Unternehmen entsteht daraus jedoch eine sehr praktische Frage:

Welche Pflichten gelten eigentlich für unser konkretes KI-System?

Die Antwort hängt nicht allein davon ab, ob irgendwo Künstliche Intelligenz verwendet wird. Entscheidend sind vielmehr die Rolle des Unternehmens, der Zweck des Systems, dessen Risikoklasse und die Art, wie es entwickelt, angeboten oder eingesetzt wird.

Deshalb beginnt AI-Act-Compliance nicht mit einem Ordner voller Richtlinien.

Sie beginnt mit Einordnung.

Die erste Frage: Ist es überhaupt ein KI-System?

Nicht jede automatisierte Software ist automatisch ein KI-System im Sinne des EU AI Act.

Die Verordnung erfasst maschinengestützte Systeme, die mit einem gewissen Grad an Autonomie arbeiten und aus Eingaben ableiten, wie sie Ausgaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugen. Diese Ausgaben können wiederum reale oder virtuelle Umgebungen beeinflussen.

Das klingt technisch. Im Unternehmensalltag geht es aber um sehr konkrete Anwendungen:

  • Chatbots und KI-Assistenten,
  • Systeme zur Bewerberauswahl,
  • automatisierte Bonitätsbewertungen,
  • KI-gestützte medizinische Anwendungen,
  • Systeme zur biometrischen Erkennung,
  • generative KI für Texte, Bilder, Audio oder Videos,
  • KI-Komponenten in Maschinen und anderen Produkten.

Bevor über Pflichten gesprochen wird, muss deshalb geklärt werden, ob der konkrete Anwendungsfall überhaupt unter die Definition fällt.

Denn auch Regulierung braucht einen Eingang. Man sollte nur wissen, durch welche Tür man geht.


EU AI Act

Welche Rolle hat das Unternehmen?

Eine der wichtigsten Fragen des EU AI Act lautet nicht: „Nutzen Sie KI?“

Sie lautet: In welcher Rolle handeln Sie?

Der AI Act unterscheidet unter anderem zwischen Anbietern, Betreibern, Importeuren, Händlern, Produktherstellern und Bevollmächtigten.

Ein Anbieter entwickelt ein KI-System oder lässt es entwickeln und bringt es unter dem eigenen Namen auf den Markt. Ein Betreiber setzt ein KI-System unter eigener Verantwortung ein. Ein Importeur bringt ein System eines außerhalb der EU ansässigen Anbieters auf den europäischen Markt. Händler stellen Systeme innerhalb der Lieferkette bereit.

Diese Rollen sind keine juristische Dekoration. Sie bestimmen, welche Pflichten gelten.

Ein Unternehmen, das einen fertigen KI-Chatbot intern nutzt, befindet sich regelmäßig in einer anderen Position als ein Unternehmen, das einen eigenen KI-Service unter seiner Marke anbietet.

Hinzu kommt: Rollen können sich verändern.

Wer ein bestehendes KI-System wesentlich verändert, dessen Zweck neu bestimmt oder es unter dem eigenen Namen vertreibt, kann selbst zum Anbieter werden. Aus einer vermeintlich kleinen Anpassung kann damit ein erheblich größeres Pflichtenpaket entstehen.

Der EU AI Act kennt also durchaus den Moment, in dem aus „Wir haben da nur etwas angepasst“ ein regulatorisches „Dann sind Sie jetzt zuständig“ wird.

Nicht jedes KI-System ist Hochrisiko

Der EU AI Act folgt einem risikobasierten Ansatz. Je größer das mögliche Risiko für Gesundheit, Sicherheit oder Grundrechte, desto umfangreicher sind die Anforderungen.

Bestimmte Praktiken sind vollständig verboten. Dazu gehören beispielsweise verschiedene Formen manipulativer KI, Social Scoring sowie bestimmte biometrische oder prognostische Anwendungen.

Daneben gibt es Hochrisiko-KI-Systeme. Dazu können Systeme in Bereichen wie Beschäftigung, Bildung, kritischer Infrastruktur, medizinischen Anwendungen, Kreditwürdigkeitsprüfung, Strafverfolgung, Migration oder Justiz gehören.

Ob ein System tatsächlich als Hochrisiko-KI gilt, hängt jedoch nicht nur von einer groben Branchenbezeichnung ab.

Zu prüfen ist unter anderem:

  • Welchem Zweck dient das System?
  • Beeinflusst es Entscheidungen über natürliche Personen?
  • Kann es Gesundheit, Sicherheit oder Grundrechte erheblich beeinträchtigen?
  • Ist es Bestandteil eines regulierten Produkts?
  • Unterliegt dieses Produkt einer Konformitätsbewertung?
  • Unterstützt die KI lediglich eine vorbereitende oder eng begrenzte Tätigkeit?
  • Findet eine angemessene menschliche Kontrolle statt?

Ein KI-System im Personalbereich ist daher nicht allein deshalb automatisch Hochrisiko, weil irgendwo das Wort „Bewerbung“ auftaucht. Gleichzeitig darf ein entscheidungsrelevantes System nicht als harmlose Assistenz etikettiert werden, wenn es faktisch Auswahlentscheidungen prägt.

Die Einordnung muss zur tatsächlichen Nutzung passen. Nicht zur angenehmsten Beschreibung im Projektantrag.

Hochrisiko bedeutet systematische Governance

Wird ein KI-System als Hochrisiko eingestuft, entstehen umfassende Anforderungen.

Anbieter müssen unter anderem Risikomanagement, technische Dokumentation, Datenqualität, Protokollierung, menschliche Aufsicht, Genauigkeit, Robustheit und Cybersicherheit berücksichtigen. Vor dem Inverkehrbringen kann außerdem eine Konformitätsbewertung erforderlich sein.

Betreiber müssen Hochrisiko-Systeme entsprechend den Gebrauchsanweisungen einsetzen, ihren Betrieb überwachen und geeignete Personen mit der menschlichen Aufsicht betrauen. Je nach Einsatzbereich können zusätzliche Informations-, Dokumentations- oder Prüfpflichten hinzukommen.

Das zeigt: AI Compliance ist kein einzelnes Rechtsdokument.

Sie verbindet Recht, Technik, Prozesse, Informationssicherheit, Datenschutz, Qualitätsmanagement und betriebliche Verantwortung.

Genau deshalb sollten KI-Systeme nicht erst kurz vor ihrer Einführung juristisch betrachtet werden. Die relevante Frage lautet nicht: „Können wir das am Ende noch dokumentieren?“

Sondern: „Haben wir es von Anfang an beherrschbar gestaltet?“

Transparenzpflichten für Chatbots und generative KI

Auch KI-Systeme, die nicht als Hochrisiko eingestuft werden, können Pflichten auslösen.

Besonders relevant sind die Transparenzpflichten für interaktive und generative KI-Systeme. Menschen sollen erkennen können, wenn sie unmittelbar mit einem KI-System interagieren. Generierte oder manipulierte Inhalte müssen in bestimmten Fällen technisch gekennzeichnet oder für Betroffene sichtbar offengelegt werden.

Das betrifft etwa:

  • Chatbots und KI-Agenten,
  • synthetisch erzeugte Bilder, Audio- oder Videoinhalte,
  • Deepfakes,
  • Systeme zur Emotionserkennung oder biometrischen Kategorisierung,
  • KI-generierte Texte zu Themen von öffentlichem Interesse.

Auch hier kommt es auf die Rolle an. Anbieter müssen Systeme technisch entsprechend gestalten. Betreiber müssen in bestimmten Fällen die betroffenen Personen informieren oder Inhalte kennzeichnen.

Ein Text wird also nicht allein dadurch menschlich, dass er ohne Roboter-Emoji veröffentlicht wird.

KI-Kompetenz gilt nicht nur für Spezialisten

Eine zentrale Pflicht gilt bereits: Anbieter und Betreiber müssen für ein angemessenes Maß an KI-Kompetenz sorgen.

Das betrifft nicht nur Entwicklerinnen und Entwickler. Auch Beschäftigte, die KI-Systeme bedienen, Ergebnisse bewerten oder Entscheidungen darauf stützen, müssen deren Möglichkeiten und Risiken ausreichend verstehen.

Welche Schulung angemessen ist, hängt vom Einsatzkontext ab.

Eine Marketingabteilung, die generative KI für Entwürfe nutzt, benötigt andere Kenntnisse als eine Personalabteilung, die KI-gestützte Bewertungen einsetzt. Führungskräfte wiederum müssen verstehen, welche Verantwortung sie tragen und welche Kontrollstrukturen erforderlich sind.

KI-Kompetenz bedeutet deshalb nicht, allen dieselbe Präsentation zu zeigen und anschließend eine Teilnahmebescheinigung auszudrucken.

Sie muss rollenbezogen, praxisnah und nachvollziehbar sein.

Welche Rolle ein AI Officer übernehmen kann

Der EU AI Act schreibt nicht pauschal vor, dass jedes Unternehmen einen AI Officer benennen muss.

Trotzdem kann eine solche Funktion sehr sinnvoll sein.

Der AI Officer kann koordinieren:

  • which AI systems are used in the company,
  • welche Rollen das Unternehmen dabei einnimmt,
  • wie Systeme risikobasiert eingeordnet werden,
  • welche Fachbereiche beteiligt werden müssen,
  • welche Dokumentation und Schulung erforderlich ist,
  • wie Änderungen an Systemen bewertet werden,
  • und wie regulatorische Entwicklungen überwacht werden.

Dabei ersetzt der AI Officer weder Datenschutzbeauftragte noch Informationssicherheit, Legal, Compliance oder IT. Er bringt diese Perspektiven zusammen.

Denn viele Probleme entstehen nicht, weil niemand zuständig ist. Sie entstehen, weil fünf Personen teilweise zuständig sind und jede davon vernünftigerweise davon ausgeht, dass die anderen den Rest übernehmen.

Ein KI-Inventar als Ausgangspunkt

Unternehmen sollten zunächst ein vollständiges KI-Inventar aufbauen.

Darin sollten zumindest folgende Punkte erfasst werden:

  • Name und Beschreibung des KI-Systems,
  • Anbieter und eingesetztes Modell,
  • verantwortlicher Fachbereich,
  • Zweck und konkrete Nutzung,
  • verwendete Daten,
  • betroffene Personen,
  • Rolle des Unternehmens,
  • mögliche Risikoklasse,
  • Transparenzpflichten,
  • menschliche Kontrollmechanismen,
  • bestehende Verträge und Dokumentationen,
  • geplante Änderungen oder Erweiterungen.

Ein solches Inventar schafft noch keine vollständige Compliance. Aber ohne Inventar bleibt jede Governance lückenhaft.

Man kann schließlich nur steuern, was man kennt. Der Rest wird nicht automatisch unproblematisch. Er ist lediglich schlechter beleuchtet.

Conclusion

Der EU AI Act lässt sich nicht sinnvoll mit einer einzigen Checkliste für alle Systeme umsetzen.

Jede Prüfung beginnt mit dem konkreten Anwendungsfall:

  • Ist es ein KI-System?
  • Welche Rolle hat das Unternehmen?
  • Fällt die Anwendung in den Geltungsbereich?
  • Handelt es sich um eine verbotene Praxis, Hochrisiko-KI oder ein System mit Transparenzpflichten?
  • Welche organisatorischen und technischen Maßnahmen folgen daraus?

Erst danach lässt sich bestimmen, welche Pflichten tatsächlich gelten.

Ein AI Officer kann diesen Prozess koordinieren und dafür sorgen, dass Einordnung, Dokumentation, KI-Kompetenz und laufendes Monitoring nicht nebeneinanderher arbeiten.

Denn beim EU AI Act ist nicht jedes KI-System gleich.

Aber jedes verdient eine vernünftige Prüfung.

```