Hochrisiko-KI

Definition

Hochrisiko-KI ist die Bezeichnung des EU AI Act für KI-Systeme, an die die Verordnung ihre strengsten Anforderungen knüpft. Ob ein System dazu gehört, regelt Art. 6, und es hängt an seiner Zweckbestimmung und seinem Einsatz. Dasselbe Sprachmodell kann als Terminassistent außerhalb der Klasse liegen und als Tool für die Triage in der Notfallversorgung innerhalb.

Rechtliche Verankerung

Art. 6 Abs. 1 EU AI Act in Verbindung mit Anhang I beschreibt den ersten Weg. Ein KI-System ist hochriskant, wenn es selbst ein Produkt nach einer Harmonisierungsvorschrift aus Anhang I ist oder dessen Sicherheitsbauteil und dieses Produkt eine Konformitätsbewertung durch Dritte braucht. Abschnitt A nennt die MDR als Nr. 11 und die IVDR als Nr. 12. Im Gesundheitswesen betrifft das Medizinprodukte-Software, die eine Benannte Stelle bewertet hat, in der Regel ab Klasse IIa. Software der Klasse I ohne Benannte Stelle ist über diesen Weg nicht hochriskant.

Art. 6 Abs. 2 in Verbindung mit Anhang III beschreibt den zweiten Weg. Anhang III listet Einsatzbereiche, in denen ein KI-System auch ohne Bezug zu einem Produkt als hochriskant gilt. Für das Gesundheitswesen kommen vor allem Nr. 5 Buchst. d in Betracht, also die Bewertung von Notrufen und die Triage von Patienten bei der Notfallversorgung, dazu Nr. 4 mit KI für Personalauswahl, Aufgabenzuweisung oder Leistungsbewertung und Nr. 1 Buchst. c mit der Emotionserkennung. Die Buchstaben a bis c der Nr. 5 betreffen die behördliche Prüfung von Ansprüchen auf öffentliche Leistungen, die Kreditwürdigkeit und die Preisbildung bei Lebens- und Krankenversicherungen. Sie werden im Gesundheitswesen häufig falsch zitiert.

Ein System aus Anhang III gilt nach Art. 6 Abs. 3 nicht als hochriskant, wenn es kein erhebliches Risiko birgt und das Ergebnis einer Entscheidung nicht wesentlich beeinflusst, etwa weil es nur eine eng gefasste Verfahrensaufgabe oder eine vorbereitende Aufgabe erfüllt. Diese Ausnahme muss der Anbieter dokumentieren, und er muss das System registrieren. Für ein System, das Profiling natürlicher Personen vornimmt, gilt sie nie.

Ein System kann beide Wege zugleich nehmen, etwa Triage-Software, die selbst Medizinprodukt mit Benannter Stelle ist. Welche Frist dann gilt, ist offen.

Pflichten bei Hochrisiko-Status

Anbieter trifft die Hauptlast der Compliance. Risikomanagement nach Art. 9, Datenqualitätssicherung nach Art. 10, technische Dokumentation nach Art. 11 mit den Vorgaben aus Anhang IV, Aufzeichnungspflichten nach Art. 12, Transparenzanforderungen nach Art. 13, Vorbereitung der menschlichen Aufsicht nach Art. 14, Genauigkeits- und Cybersicherheitsanforderungen nach Art. 15, dazu Konformitätsbewertung und CE-Kennzeichnung. Bei KI in Medizinprodukten läuft die Konformitätsbewertung im Verfahren der MDR mit.

Betreiber treffen die Pflichten aus Art. 26. Dazu gehören der Einsatz nach Betriebsanleitung, die menschliche Aufsicht durch Personal mit der nötigen Kompetenz, die Kontrolle der Eingabedaten, soweit der Betreiber sie in der Hand hat, die Überwachung des Betriebs mit Meldung von Vorfällen, die Aufbewahrung der automatisch erzeugten Protokolle für mindestens sechs Monate und die Information der Beschäftigten, bevor ein System am Arbeitsplatz in Betrieb geht. Bei Systemen nach Anhang III kommt die Information der Personen hinzu, über die das System mitentscheidet (Art. 26 Abs. 11). Die Datenschutz-Folgenabschätzung folgt aus Art. 35 DSGVO.

Die Grundrechte-Folgenabschätzung nach Art. 27 knüpft allein an Systeme nach Anhang III an. Sie trifft Betreiber, die Einrichtungen des öffentlichen Rechts sind oder als private Einrichtungen öffentliche Dienste erbringen; Erwägungsgrund 96 nennt die Gesundheitsversorgung ausdrücklich. Für die vertragsärztliche Versorgung ist die Frage offen. Über Anhang I fällt die Abschätzung nicht an.

Praxisbeispiele aus dem Gesundheitswesen

KI-Befundungssoftware in der Radiologie ist in aller Regel selbst Medizinprodukt, das eine Benannte Stelle bewertet hat, und damit hochriskant über Art. 6 Abs. 1 in Verbindung mit Anhang I. Die Betreiberpflichten greifen auf diesem Weg ab dem 02.08.2028.

Triage-Software kann beide Wege nehmen. Ist sie selbst Medizinprodukt mit Benannter Stelle, ist sie über Anhang I hochriskant. Dient sie der Triage von Patienten bei der Notfallversorgung, fällt sie zugleich unter Anhang III Nr. 5 Buchst. d. Die Unterscheidung hat Folgen. Über Anhang III gilt der 02.12.2027, und Art. 27 kann anfallen, über Anhang I gilt der 02.08.2028 ohne Art. 27.

Ein KI-Telefonassistent, der nur Termine vergibt, ist kein Hochrisiko-System. Stuft er Anrufe nach Dringlichkeit ein und zieht Notfälle vor, kann er unter Anhang III Nr. 5 Buchst. d fallen, und je nach Zweckbestimmung kommt das Medizinprodukterecht hinzu. Ob eine Praxisrufnummer zur Notfallversorgung gehört, ist offen.

Ein Modul in der Praxissoftware, das eine vom Arzt gestellte Diagnose als ICD-10-Code verschlüsselt, dient der Kodierung. Leitet es eine Diagnose ab, die so nicht gestellt wurde, rückt es an die Regel 11 MDR heran. Ist es danach Medizinprodukt der Klasse IIa oder höher, bewertet eine Benannte Stelle das Produkt, und KI, die selbst das Produkt ist, wird über Anhang I hochriskant.

Aktuelle Fristen nach Digital Omnibus

Der Digital Omnibus on AI (Verordnung (EU) 2026/1744, in Kraft seit 27.07.2026) hat die Fristen für Hochrisiko-Systeme verschoben. Die Pflichten für Systeme nach Anhang III gelten ab dem 02.12.2027, für Systeme nach Anhang I ab dem 02.08.2028. Die ursprünglichen Termine, August 2026 für Anhang III und August 2027 für Anhang I, sind damit überholt. Systeme, die vor der jeweiligen Frist in Verkehr gebracht oder in Betrieb genommen wurden, fallen nach Art. 111 Abs. 2 nur dann unter diese Pflichten, wenn ihre Konzeption danach erheblich verändert wird.

Art. 4 gilt seit dem 02.02.2025 für jedes KI-System, das eine Einrichtung einsetzt, seit dem Omnibus als Pflicht zu Maßnahmen, ohne geschuldetes Kompetenzniveau. Die menschliche Aufsicht nach Art. 26 Abs. 2 gehört zu den Hochrisiko-Pflichten und gilt erst mit diesen Fristen. Dass ein Arzt ein KI-Ergebnis prüft, bevor er sich darauf stützt, verlangen ärztliche Sorgfalt und Berufsrecht schon heute.