Hochrisiko-KI im Gesundheitswesen: Der Entscheidungsbaum zur Klassifizierung

Nicht jede KI im Gesundheitswesen ist automatisch Hochrisiko. Das klingt banal, ist aber eine der häufigsten Fehleinschätzungen, die uns in der Beratung begegnet. Kliniken und Praxen, die KI-Systeme einsetzen oder einführen wollen, gehen oft davon aus, dass allein der medizinische Kontext ausreicht, um ein System als Hochrisiko einzustufen. Das Ergebnis: Entweder übertriebene Vorsicht, die sinnvolle Innovation blockiert – oder, schlimmer noch, eine pauschale Verharmlosung nach dem Motto "Das betrifft uns nicht." Beides ist gefährlich. Die Wahrheit liegt, wie so oft, in den Details des EU AI Act.

Anhang III Nr. 5: Was medizinische KI zu Hochrisiko macht

Der EU AI Act definiert Hochrisiko-KI-Systeme nicht über den Einsatzort, sondern über die Funktion. Entscheidend ist Anhang III der Verordnung, insbesondere Nummer 5. Dort heißt es sinngemäß: KI-Systeme, die als Sicherheitskomponente eines Produkts dienen, das unter die EU-Harmonisierungsvorschriften fällt – und dazu gehören Medizinprodukte – sind Hochrisiko-KI-Systeme.

Der Schlüssel liegt in der Verbindung von zwei Elementen: Erstens muss die KI als Medizinprodukt oder als Komponente eines Medizinprodukts gelten. Zweitens muss das Medizinprodukt einer Konformitätsbewertung durch Dritte unterliegen – also in der Regel der Klasse IIa oder höher nach der MDR (Medical Device Regulation) zugeordnet sein. Software, die eigenständig diagnostische oder therapeutische Informationen liefert, fällt typischerweise in Klasse IIa oder IIb – und damit direkt in den Hochrisiko-Bereich des AI Act.

Aber: Nicht jede Software in einer Klinik ist ein Medizinprodukt. Und nicht jedes Medizinprodukt ist Hochrisiko im Sinne des AI Act. Diese Differenzierung ist entscheidend für eine rechtssichere Strategie, wie wir sie auch im Kontext des EU AI Act im Gesundheitswesen beschreiben.

Der Entscheidungsbaum: Ist Ihre KI Hochrisiko?

Die Klassifizierung lässt sich systematisch über eine Reihe von Leitfragen ermitteln. Gehen Sie die folgenden Fragen der Reihe nach durch:

Frage 1: Liefert Ihre Software Informationen, die für diagnostische oder therapeutische Entscheidungen herangezogen werden?

Wenn nein – etwa bei reiner Terminverwaltung, Abrechnungssoftware oder administrativen Chatbots – handelt es sich in der Regel nicht um ein Medizinprodukt. Die KI ist dann voraussichtlich kein Hochrisiko-System im Sinne des AI Act. Dennoch können andere Pflichten gelten, etwa Transparenzanforderungen.

Wenn ja, weiter zu Frage 2.

Frage 2: Gilt die Software als Medizinprodukt nach der MDR?

Medizinprodukte-Software (Medical Device Software, MDSW) ist Software, die für einen oder mehrere medizinische Zwecke bestimmt ist, ohne Teil eines Hardware-Medizinprodukts zu sein. Wenn Ihre KI eigenständig diagnostische Empfehlungen gibt, Befunde priorisiert oder Therapievorschläge generiert, ist sie sehr wahrscheinlich ein Medizinprodukt. Wenn ja, weiter zu Frage 3.

Frage 3: Unterliegt das Medizinprodukt einer Konformitätsbewertung durch eine Benannte Stelle?

Medizinprodukte der Klasse IIa und höher benötigen die Einschaltung einer Benannten Stelle. Wenn Ihre KI-basierte Software in diese Kategorie fällt – und das ist bei diagnostischer oder therapeutischer Software fast immer der Fall – dann ist das System ein Hochrisiko-KI-System nach dem EU AI Act.

Ergebnis: Drei Mal "Ja" bedeutet Hochrisiko. Aber selbst ein "Nein" bei einer der Fragen befreit nicht von jeder Pflicht. Der AI Act kennt auch Anforderungen für KI-Systeme mit geringerem Risiko, insbesondere Transparenzpflichten.

Praxisbeispiele: Wo die Grenze verläuft

Terminvergabe-KI: Nicht Hochrisiko

Ein KI-gestütztes System, das Patienten automatisch Termine zuweist, Wartezeiten optimiert oder Erinnerungen verschickt, ist kein Medizinprodukt. Es trifft keine diagnostischen oder therapeutischen Entscheidungen. Es fällt damit nicht unter Anhang III Nr. 5 und ist kein Hochrisiko-System. Gleichwohl müssen Sie Transparenzpflichten beachten – Patienten sollten wissen, dass sie mit einer KI interagieren.

Symptom-Triage-KI: Hochrisiko

Eine KI, die Patienten nach ihren Symptomen befragt und eine Dringlichkeitseinstufung vornimmt – etwa "Sofort in die Notaufnahme" versus "Termin beim Hausarzt reicht" – beeinflusst unmittelbar therapeutische Entscheidungen. Sie ist funktional ein Medizinprodukt und als solches Hochrisiko. Wer ein solches System betreibt, muss die vollen Anforderungen des AI Act erfüllen.

Arztbrief-KI: Es kommt darauf an

Hier wird es interessant. Eine KI, die aus strukturierten Daten einen Arztbrief-Entwurf generiert, ist zunächst ein Textgenerator – kein Medizinprodukt. Aber: Wenn dieselbe KI aus den Patientendaten eigenständig Diagnosen ableitet, Therapieempfehlungen formuliert oder Befunde interpretiert und in den Brief einfließen lässt, verschiebt sich die Einordnung. Die Zweckbestimmung entscheidet. Ein reines Diktierwerkzeug ist kein Medizinprodukt. Eine KI, die "mitdenkt" und klinische Schlüsse zieht, potenziell schon.

Diagnose-KI in der Radiologie: Hochrisiko

Ein KI-System, das radiologische Bilder analysiert und verdächtige Befunde markiert oder priorisiert, ist ein klassisches Hochrisiko-System. Es beeinflusst direkt die diagnostische Entscheidungsfindung, ist ein Medizinprodukt der Klasse IIa oder höher und unterliegt damit dem vollen Anforderungskatalog des AI Act. Für Betreiber solcher Systeme gelten strenge Pflichten, die weit über eine einfache CE-Kennzeichnung hinausgehen.

Was bedeutet Hochrisiko für Betreiber?

Wenn Ihr KI-System als Hochrisiko klassifiziert wird, treffen Sie als Betreiber (Deployer) spezifische Pflichten. Diese sind nicht identisch mit den Pflichten der Hersteller (Provider), aber keineswegs trivial:

• Menschliche Aufsicht: Sie müssen sicherstellen, dass qualifiziertes Personal das System überwacht und bei Bedarf eingreifen kann. Die KI darf nicht autonom über Patienten entscheiden.
• Eingabedatenqualität: Sie sind dafür verantwortlich, dass die Daten, die Sie dem System zuführen, relevant und hinreichend repräsentativ sind.
• Überwachung im Betrieb: Sie müssen die Funktionsfähigkeit des Systems laufend überwachen und Auffälligkeiten an den Hersteller und ggf. an die Aufsichtsbehörde melden.
• Protokollierung: Automatisch generierte Protokolle (Logs) müssen aufbewahrt werden – mindestens sechs Monate, sofern keine anderen Vorschriften längere Fristen vorsehen.
• Datenschutz-Folgenabschätzung: Bei Hochrisiko-KI im Gesundheitswesen ist eine DSFA nach Art. 35 DSGVO praktisch immer erforderlich.
• Information der Betroffenen: Patienten müssen darüber informiert werden, dass KI-Systeme bei ihrer Behandlung zum Einsatz kommen.

Einen umfassenden Überblick über die Risikostufen und ihre Konsequenzen finden Sie in unserem Beitrag zur Risikoklassifizierung im AI Act.

Was tun bei Unsicherheit?

Die ehrliche Antwort: Bei vielen KI-Anwendungen im Gesundheitswesen ist die Klassifizierung nicht auf den ersten Blick eindeutig. Das liegt daran, dass die Zweckbestimmung – also wofür das System tatsächlich eingesetzt wird – entscheidend ist, nicht nur die technische Funktionalität. Ein und dasselbe System kann je nach Einsatzkontext unterschiedlich einzuordnen sein.

Unsere Handlungsempfehlung für den Umgang mit Unsicherheit:

• Dokumentieren Sie die Zweckbestimmung: Halten Sie schriftlich fest, wofür das System eingesetzt wird – und wofür explizit nicht. Diese Dokumentation ist im Streitfall Gold wert.
• Holen Sie die Einschätzung des Herstellers ein: Der Hersteller (Provider) muss sein System klassifiziert haben. Fordern Sie diese Information aktiv ein.
• Im Zweifel konservativ klassifizieren: Wenn Sie unsicher sind, behandeln Sie das System als Hochrisiko. Die zusätzlichen Pflichten sind beherrschbar – die Konsequenzen einer Fehleinschätzung nach unten nicht.
• Lassen Sie sich beraten: Die Schnittstelle zwischen Medizinprodukterecht, AI Act und klinischer Praxis ist komplex. Eine spezialisierte Beratung kann erhebliche Kosten und Risiken vermeiden.

Die Klassifizierung ist kein einmaliger Akt, sondern ein lebendiger Prozess. Wenn sich der Einsatzzweck Ihres Systems ändert – etwa weil Ärzte es anders nutzen als ursprünglich vorgesehen – kann sich auch die Risikoklasse ändern. Regelmäßige Überprüfung gehört deshalb zu jeder verantwortungsvollen KI-Governance dazu.

Die gute Nachricht: Wer die Klassifizierung sauber durchführt, hat den ersten und wichtigsten Schritt zur AI-Act-Compliance bereits getan. Alles Weitere – von der Dokumentation über die Überwachung bis zur Schulung – baut darauf auf. Und wer früh Klarheit schafft, gewinnt nicht nur Rechtssicherheit, sondern auch Vertrauen: bei Patienten, bei Mitarbeitenden und bei Aufsichtsbehörden.

Häufig gestellte Fragen (FAQ)

Ist jede KI im Gesundheitswesen automatisch ein Hochrisiko-System nach dem EU AI Act?

Nein. Nicht der medizinische Kontext allein macht KI zu Hochrisiko, sondern die Funktion. Entscheidend ist, ob die KI als Medizinprodukt der Klasse IIa oder höher gilt und einer Konformitätsbewertung durch eine Benannte Stelle unterliegt.

Wie finde ich heraus, ob meine KI als Hochrisiko eingestuft wird?

Prüfen Sie drei Fragen: Liefert die Software Informationen für diagnostische oder therapeutische Entscheidungen? Gilt sie als Medizinprodukt nach der MDR? Unterliegt sie einer Konformitätsbewertung durch eine Benannte Stelle? Drei Mal „Ja“ bedeutet Hochrisiko.

Ist eine KI-gestützte Terminvergabe ein Hochrisiko-System?

Nein. Ein KI-System, das Termine zuweist und Wartezeiten optimiert, ist kein Medizinprodukt, da es keine diagnostischen oder therapeutischen Entscheidungen trifft. Transparenzpflichten gelten dennoch – Patienten sollten wissen, dass sie mit einer KI interagieren.

Welche Pflichten habe ich als Betreiber eines Hochrisiko-KI-Systems?

Sie müssen menschliche Aufsicht durch qualifiziertes Personal sicherstellen, die Eingabedatenqualität gewährleisten, das System laufend überwachen, Protokolle mindestens sechs Monate aufbewahren und eine Datenschutz-Folgenabschätzung durchführen. Patienten müssen über den KI-Einsatz informiert werden.

Was soll ich tun, wenn die Klassifizierung meiner KI unklar ist?

Dokumentieren Sie die Zweckbestimmung schriftlich, fordern Sie die Klassifizierung des Herstellers ein und klassifizieren Sie im Zweifel konservativ als Hochrisiko. Die Klassifizierung ist kein einmaliger Akt – sie muss regelmäßig überprüft werden, da sich der Einsatzzweck ändern kann.