KI-Verordnung Risikobasiertes Regelwerk für KI-Systeme

Die Verordnung über künstliche Intelligenz (Verordnung (EU) 2024/1689) bildet seit 1. August 2024 einen einheitlichen Rechtsrahmen für „die Entwicklung, das Inverkehrbringen, die Inbetriebnahme und die Verwendung“ von KI-Systemen im Einklang mit den Werten der EU. Sie verfolgt das Ziel, die Einführung menschenzentrierter, vertrauenswürdiger KI (sowie Innovationen in diesem Bereich) zu fördern und gleichzeitig den Schutz von Gesundheit, Sicherheit und den in der Charta der Union verankerten Grundrechten zu gewährleisten. Zu Letzteren zählen insbesondere Demokratie, Rechtsstaatlichkeit und Umweltschutz. Der „AI Act“ – wie die KI-Verordnung häufig genannt wird – ist dabei das weltweit erste reine KI-Gesetz.

Risikobasierte Regulierung von KI-Systemen

Den Kern der Verordnung bildet eine risikobasierte Beurteilung von KI. In der vielfach vereinfachten medialen und behördlichen Darstellung ist diesbezüglich häufig von vier Risikostufen die Rede, in die KI-Systeme eingeteilt werden:

• Unannehmbares Risiko,
• hohes Risiko,
• begrenztes Risiko,
• minimales Risiko.

Diese Vier-Stufen-Systematik geht auf die offizielle Kommunikation der Europäischen Kommission zum Verordnungsvorschlag von 2021 zurück und wird seitens der EU nach wie vor zur anschaulichen Darstellung des Regelungsansatzes verwendet. Eine tatsächliche Definition von vier einander ausschließenden Rechtskategorien findet sich im Verordnungstext allerdings nicht. Die KI-Verordnung bestimmt vielmehr, was unvereinbar mit den Werten der EU und somit verboten ist. Außerdem legt sie fest, welche KI-Systeme als Hochrisiko-Systeme einzustufen sind und welchen Anforderungen die Anbieter und Betreiber solcher Systeme unterliegen.

Eine eigenständige „dritte Stufe“ für KI-Systeme mit begrenztem Risiko wird nicht direkt ausgeführt. Stattdessen definiert die KI-Verordnung Transparenzpflichten, die auch für bestimmte KI-Anwendungen gelten, die nicht unbedingt als hochriskant einzustufen sind. Für Systeme, die weder unter die Verbote noch unter die Hochrisikoregelungen oder besondere Transparenzpflichten fallen, gelten wiederum grundsätzlich keine vergleichbaren risikospezifischen Anforderungen.

Verbotene Praktiken im KI-Bereich

Einige KI-Systeme sind aufgrund ihres hohen Schadenspotenzials oder wegen Verstößen gegen die Grundwerte der EU laut Artikel 5 KI-VO verboten. Der Rechtstext nennt hier beispielsweise Systeme, die

• „Techniken zur unterschwelligen Beeinflussung oder absichtlich manipulative oder täuschende Techniken“ einsetzen, um Entscheidungen von Personen herbeizuführen, die diesen oder anderen Personen erheblichen Schaden zufügen,
• Social Scoring (Bewertung von Personen auf Grundlage ihres sozialen Verhaltens etc.) betreiben oder
• der biometrischen Kategorisierung natürlicher Personen anhand sensibler Merkmale wie politischer Einstellung, religiöser Überzeugung oder sexueller Orientierung dienen oder
• der biometrischen Echtzeit-Fernidentifizierung natürlicher Personen im öffentlichen Raum zu Strafverfolgungszwecken dienen – mit engen, gesetzlich definierten Ausnahmen.

Hochrisiko-KI-Systeme

Für Hochrisiko-KI-Systeme sieht die KI-Verordnung aufgrund ihres besonderen Risikopotenzials umfangreiche Anforderungen vor. Dabei handelt es sich um KI-Anwendungen, die nicht gegen Werte und geltende Gesetze der EU verstoßen und bei missbräuchlicher oder unsachgemäßer Nutzung ein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte darstellen. Hierzu zählen laut Art. 6 Abs. 1 KI-Verordnung (Klassifizierungsregeln für KI-Systeme mit hohem Risiko) zunächst Systeme, die ein von den Harmonisierungsrechtsvorschriften der Union gemäß Anhang I erfasstes Produkt sind oder als Sicherheitsbauteil eines solchen Produkts verwendet werden sollen. Zusätzliche Voraussetzung ist, dass das betreffende Produkt nach diesen Rechtsvorschriften einer Konformitätsbewertung durch Dritte unterzogen werden muss. Daneben enthält Anhang III eine Liste von KI-Systemen, die insbesondere aufgrund ihres Einsatzbereichs als hochriskant gelten.

Zu diesen besonders kritischen Bereichen zählen:

• Biometrie („soweit ihr Einsatz nach einschlägigem Unionsrecht oder nationalem Recht zugelassen ist“),
• kritische Infrastruktur (digitale Infrastruktur, Straßenverkehr sowie Wasser-, Gas-, Wärme- und Stromversorgung),
• allgemeine und berufliche Bildung,
• Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit,
• Zugänglichkeit und Inanspruchnahme grundlegender privater und öffentlicher Dienste und Leistungen,
• Strafverfolgung (soweit ihr Einsatz nach einschlägigem Unionsrecht oder nationalem Recht zugelassen ist),
• Migration, Asyl und Grenzkontrolle (soweit ihr Einsatz nach einschlägigem Unionsrecht oder nationalem Recht zugelassen ist),
• Rechtspflege und demokratische Prozesse.

Anforderungen an Hochrisiko-Systeme

Hochrisiko-KI-Systeme unterliegen laut KI-Verordnung besonders strengen technischen und organisatorischen Anforderungen. So müssen etwa Anbieter

• ein fortlaufendes Risikomanagement (Art. 9 KI-Verordnung) einrichten,
• geeignete und möglichst repräsentative Daten für das Training der KI (Art. 10) verwenden sowie
• technische Dokumentationen (Art. 11) und
• automatische Protokollierungsfunktionen (Art. 12) bereitstellen.

Die Systeme müssen nach Artikel 13 gegenüber Betreiberinnen und Betreibern transparent und nachvollziehbar und so gestaltet sein, dass qualifizierte Personen ihre Ergebnisse überwachen, korrigieren oder den Betrieb stoppen können (Art. 14). Darüber hinaus ist laut Artikel 15 KI-Verordnung ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit des KI-Systems sicherzustellen. Die Erfüllung dieser Pflichten wird vor dem Inverkehrbringen des Systems in einem Konformitätsbewertungsverfahren gemäß Artikel 43 überprüft. Nach dem Inverkehrbringen müssen Anbieter ihre Systeme weiter überwachen (Art. 72), Probleme beheben (Art. 20) und schwerwiegende Vorfälle melden (Art. 73).

Betreiber sind wiederum laut Artikel 26 verpflichtet,

• die Systeme bestimmungsgemäß einzusetzen,
• menschliche Aufsicht zu gewährleisten,
• Protokolle aufzubewahren und
• gegebenenfalls eine Grundrechte-Folgenabschätzung durchzuführen.

Transparenzpflichten für Anbieter und Betreiber bestimmter KI-Systeme

Je nach Funktion gelten nach Artikel 50 für bestimmte KI-Systeme Transparenzpflichten, um zu verhindern, dass Menschen über den Einsatz von KI oder die künstliche Herkunft von Inhalten getäuscht werden. Dies kann sowohl Hochrisiko- als auch weniger riskante Systeme betreffen. So müssen etwa Anbieter von KI-Systemen, die unmittelbar mit Menschen interagieren, sicherstellen, dass Betroffene erkennen, dass sie es mit einer KI zu tun haben. Darüber hinaus sind mit künstlicher Intelligenz erzeugte oder manipulierte Inhalte – soweit technisch möglich – in einem maschinenlesbaren Format zu kennzeichnen.

Fristverlängerungen durch „Digital-Omnibus-Verordnung zur KI-Verordnung“

Mit der am 27. Juli 2026 in Kraft getretenen „Digital-Omnibus-Verordnung zur KI-Verordnung“ (Verordnung (EU) 2026/1744) ändern sich diverse Fristen der KI-VO. So gelten die Anforderungen an eigenständige Hochrisiko-Systeme nach Anhang III nun erst ab dem 2. Dezember 2027 statt ab dem 2. August 2026. Für Hochrisiko-Systeme, die als Sicherheitsbauteile oder Bestandteile regulierter Produkte dienen, verschiebt sich der Beginn vom 2. August 2027 auf den 2. August 2028. Die Transparenzpflichten nach Artikel 50 gelten hingegen grundsätzlich weiterhin ab dem 2. August 2026. Lediglich bestimmte Anbieter von zuvor bereits in Verkehr gebrachten Systemen zur Erzeugung synthetischer Inhalte erhalten hier eine Übergangsfrist bis zum 2. Dezember 2026.

Welche Auswirkungen hat die KI-VO auf den Krankenhausbetrieb?

Künstliche Intelligenz gilt insbesondere in der Medizin als Hoffnungsträger. KI bietet hier neue Möglichkeiten, sei es in der Diagnostik, in Form automatisierter Verwaltungsprozesse, in der Entwicklung personalisierter Therapien, durch die Analyse großer Datensätze in der medizinischen Forschung oder in der robotergestützten Assistenz. Bei vielen medizinischen Anwendungen können Fehler gravierende Folgen haben. Nicht jedes im Krankenhaus eingesetzte KI-System ist jedoch automatisch ein Hochrisiko-System.

Eine KI in einem Medizinprodukt kann als hochriskant gelten, wenn sie selbst ein von Anhang I KI-Verordnung erfasstes Produkt ist oder als Sicherheitsbauteil eines solchen Produkts dient. Voraussetzung ist, dass das betreffende Produkt nach den einschlägigen EU-Harmonisierungsrechtsvorschriften einer Konformitätsbewertung durch Dritte unterzogen werden muss. Daneben können bestimmte in Anhang III aufgeführte Anwendungen als hochriskant gelten. Als Betreiber geht dies für Krankenhäuser mit diversen Pflichten einher:

• Nutzung entsprechend der Gebrauchsanweisung,
• menschliche Aufsicht des Systems durch eine fachkundige Person,
• Überwachung des laufenden Betriebs und Meldung schwerwiegender Vorfälle,
• Aufbewahrung automatisch erzeugter Protokolle für mindestens sechs Monate,
• Vorabinformation von betroffenen Mitarbeitenden und ihren Vertretungen, wenn eine Hochrisiko-KI zum Einsatz kommen soll.

Werden KI-gestützte Medizinprodukte eingesetzt, gelten ggf. Informations- und Transparenzpflichten gegenüber Patientinnen und Patienten. Welche Pflichten greifen, hängt vom jeweiligen KI-System und dessen Einsatz ab. So müssen Betroffene beispielsweise grundsätzlich darüber informiert werden, wenn sie unmittelbar mit einem KI-System interagieren und dies für sie nicht offensichtlich ist. Verändert die medizinische Einrichtung ein KI-System wesentlich oder ändert sich die Zweckbestimmung, kann sie zudem selbst zum Anbieter werden – mit entsprechenden Pflichten. Mit der Digital-Omnibus-Verordnung ist die bisherige Pflicht für Anbieter und Betreiber, zur Sicherstellung einer ausreichenden KI-Kompetenz ihres Personals Maßnahmen zu ergreifen, entfallen. Stattdessen sollen EU-Kommission und Mitgliedstaaten die Entwicklung und Vermittlung von KI-Kompetenz fördern. Für Krankenhäuser besteht damit keine eigenständige Verpflichtung mehr, für alle eingesetzten KI-Systeme ein bestimmtes Kompetenzniveau ihres Personals sicherzustellen.

Mögliche Auswirkungen auf das Abfallmanagement im Krankenhaus

Ob und inwiefern sich die KI-Verordnung auch auf das Abfallmanagement in Krankenhäusern auswirken wird, hängt von der KI-Entwicklung in diesem Bereich ab. Entscheidend bleibt jedoch die konkrete Zweckbestimmung und Ausgestaltung des jeweiligen Systems. Typische KI-Anwendungen im Abfallmanagement dürften daher in der Regel nicht unter die Hochrisiko-Kategorien fallen. Aktuell sind derartige Anwendungsfälle vermutlich noch kaum bis gar nicht gegeben. Allerdings hat die rasante Entwicklung von künstlicher Intelligenz in den letzten Jahren gezeigt, wie schnell Zukunftsvisionen heutzutage Realität werden können.

KI-Verordnung im Klinikalltag

Die KI-Verordnung schafft damit erstmals einen EU-weiten Rechtsrahmen, der speziell auf KI-Systeme zugeschnitten ist. Krankenhäuser werden dies vermutlich vor allem beim zunehmenden Einsatz von künstlicher Intelligenz auf medizinischer Ebene zu spüren bekommen. Ob auch das Abfallmanagement in Gesundheitseinrichtungen in Zukunft von der KI-VO betroffen sein wird, bleibt aktuell noch abzuwarten. Unwahrscheinlich ist es angesichts der wachsenden Verbreitung von KI-Systemen in immer neuen Bereichen und Anwendungen jedoch nicht.