KI-Governance-Framework für Kliniken: Rollen, Prozesse und ISO 42001

Ein KI-Governance-Framework für Krankenhäuser definiert die organisatorischen Strukturen, Verantwortlichkeiten und Prozesse für den rechtskonformen und klinisch sicheren Einsatz von KI-Systemen. Es bildet die Brücke zwischen den regulatorischen Anforderungen des EU AI Act und der klinischen Realität – und ist die Voraussetzung dafür, dass KI-Compliance nicht auf dem Papier bleibt, sondern im Klinikalltag gelebt wird.

Drei Rollen: Das KI-Governance-Dreieck

Effektive KI-Governance im Krankenhaus basiert auf drei klar definierten Rollen, die gemeinsam die Verantwortung tragen:

1. KI-Governance-Verantwortlicher

Diese Rolle ist das zentrale Bindeglied zwischen Klinikleitung, Fachabteilungen und IT. Der KI-Governance-Verantwortliche muss nicht selbst KI-Experte sein, aber das regulatorische Gesamtbild überblicken und koordinieren können. Typischerweise angesiedelt beim Qualitätsmanagement, bei der Medizintechnik oder als eigene Stabsstelle.

• Pflege und Aktualisierung des KI-Inventars (alle KI-Systeme im Haus)
• Koordination der Grundrechte-Folgenabschätzungen nach Art. 27 EU AI Act
• Sicherstellung der AI-Literacy-Schulungen nach Art. 4
• Ansprechpartner für Marktüberwachungsbehörden
• Reporting an die Klinikleitung über den KI-Compliance-Status
• Freigabeprozess für neue KI-Systeme und wesentliche Updates

2. Fachliche Aufsicht (Chefarzt/Oberarzt)

Art. 14 EU AI Act fordert "menschliche Aufsicht" (Human Oversight) über Hochrisiko-KI-Systeme. Im klinischen Kontext fällt diese Aufsichtspflicht naturgemäß dem ärztlichen Fachpersonal zu. Die fachliche Aufsicht umfasst:

• Klinische Validierung: Bewertung, ob die KI-Ergebnisse im jeweiligen klinischen Kontext plausibel und verwertbar sind
• Override-Entscheidungen: Klare Autorität und dokumentierte Prozesse, um KI-Empfehlungen zu überstimmen
• Eskalation: Meldung von klinisch relevanten Fehlfunktionen an den KI-Governance-Verantwortlichen
• Schulungsverantwortung: Sicherstellung, dass das ärztliche und pflegerische Team die KI-Systeme korrekt einsetzt
• Zweckbestimmung einhalten: Überwachung, dass KI-Systeme nur im Rahmen der vom Hersteller definierten Zweckbestimmung eingesetzt werden

3. Technische Aufsicht (IT/Medizintechnik)

Die technische Aufsicht stellt sicher, dass KI-Systeme technisch korrekt betrieben, überwacht und gewartet werden:

• Technisches Monitoring: Überwachung der Systemverfügbarkeit, Performance-Metriken, Modellverhalten
• Log-Management: Sicherstellung der ordnungsgemäßen Protokollierung gemäß Art. 19 EU AI Act
• Update-Management: Koordination von Modellaktualisierungen mit dem Hersteller, Bewertung der Auswirkungen auf die Compliance
• IT-Sicherheit: Schutz der KI-Systeme vor Cyberangriffen, insbesondere im KRITIS-Kontext
• Fallback-Systeme: Bereitstellung und Tests von Ausweichprozessen bei KI-Systemausfällen

Protokollierungspflichten nach Art. 19 EU AI Act

Art. 19 verpflichtet Betreiber von Hochrisiko-KI-Systemen, die automatisch erzeugten Logs aufzubewahren. Für Krankenhäuser bedeutet das:

• Aufbewahrungspflicht: Logs müssen mindestens sechs Monate aufbewahrt werden, sofern keine anderen Rechtsvorschriften längere Fristen vorsehen. Im Gesundheitswesen können aufgrund von Dokumentationspflichten nach Berufsrecht und SGB V deutlich längere Fristen gelten (bis zu 30 Jahre bei bestimmten Behandlungen).
• Umfang der Protokollierung: Die Logs müssen die vom Hersteller vorgesehene automatische Protokollierung umfassen. Typisch: Eingabedaten (oder deren Referenzen), Ausgabeergebnisse, Konfidenzwerte, Zeitstempel, Nutzeridentifikation.
• Technische Umsetzung: Integration der KI-Logs in das bestehende klinische Dokumentationssystem oder ein dediziertes KI-Log-System. Die Logs müssen manipulationssicher und für Aufsichtsbehörden zugänglich sein.
• Datenschutzbalance: Die Protokollierungspflicht muss mit der DSGVO in Einklang gebracht werden. Patientenbezogene Daten in Logs unterliegen den allgemeinen Datenschutzanforderungen.

Qualitätsmanagement: ISO 42001 als Orientierung

ISO/IEC 42001 ist der internationale Standard für KI-Managementsysteme. Obwohl der EU AI Act keine spezifische Norm vorschreibt, bietet ISO 42001 einen strukturierten Rahmen, der die Anforderungen des AI Act systematisch abdeckt. Für Krankenhäuser, die bereits über ein QMS nach ISO 9001 oder KTQ verfügen, lässt sich ISO 42001 als Erweiterungsmodul integrieren.

Die Kernelemente eines KI-QMS für Krankenhäuser umfassen:

• KI-Policy: Grundsatzerklärung der Klinikleitung zum KI-Einsatz, einschließlich ethischer Grundsätze und Qualitätsziele
• Risikomanagement: Systematische Identifikation, Bewertung und Steuerung KI-spezifischer Risiken – sowohl technischer als auch klinischer Natur
• Performance-Monitoring: Definierte KPIs für jedes KI-System (Accuracy, Sensitivity, Specificity, Fairness-Metriken)
• Änderungsmanagement: Strukturierte Bewertung und Freigabe von Modellaktualisierungen und Systemänderungen
• Kontinuierliche Verbesserung: Regelmäßige Reviews des KI-Governance-Systems, Lessons Learned aus Vorfällen

Incident Reporting und Response

KI-Vorfälle im Krankenhaus können klinische, regulatorische und haftungsrechtliche Konsequenzen haben. Ein strukturierter Incident-Response-Prozess muss verschiedene Eskalationsstufen und Meldepflichten berücksichtigen. Die Haftungsfragen bei KI-Einsatz in der Klinik sind dabei eng mit dem Incident Management verknüpft.

Kategorisierung von KI-Vorfällen

• Kategorie 1 – Kritisch: KI-Fehlfunktion mit direkter Patientenschädigung oder unmittelbarer Gefahr. Sofortige Abschaltung, Meldung an Klinikleitung, Benannte Stelle und BfArM (bei Medizinprodukten), ggf. Marktüberwachungsbehörde.
• Kategorie 2 – Erheblich: KI-Fehlfunktion mit potenzieller Patientengefährdung, die durch Human Oversight abgefangen wurde. Dokumentation, Analyse, Information des Herstellers, Prüfung der Meldepflicht.
• Kategorie 3 – Gering: Performance-Degradation ohne unmittelbare Patientengefährdung. Dokumentation im CIRS, Monitoring intensivieren, Hersteller informieren.

Meldepflichten

Bei schwerwiegenden Vorfällen mit Hochrisiko-KI-Systemen kann eine Meldepflicht gegenüber der Marktüberwachungsbehörde bestehen (Art. 26 Abs. 5 EU AI Act). Diese Meldepflicht besteht neben – nicht anstelle – der bestehenden Meldepflichten für Medizinprodukte (Vigilanzmeldung an das BfArM) und der Meldepflicht bei Datenschutzverletzungen (Art. 33/34 DSGVO). Krankenhäuser müssen sicherstellen, dass ihre Meldeprozesse alle drei Meldewege parallel bedienen können.

Framework-Struktur: Umsetzung in der Praxis

Ein KI-Governance-Framework für Krankenhäuser sollte als Dokumentenhierarchie aufgebaut sein, die sich in die bestehende QM-Struktur einfügt:

• Ebene 1 – KI-Governance-Policy: Grundsatzdokument der Klinikleitung. Definiert Ziele, Grundsätze, Verantwortlichkeiten und den Geltungsbereich. Genehmigung durch den Vorstand.
• Ebene 2 – Prozessbeschreibungen: Standardarbeitsanweisungen (SOPs) für die Kernprozesse: KI-Systembeschaffung, Inbetriebnahme-Freigabe, laufender Betrieb, Incident Response, Schulung, Außerbetriebnahme.
• Ebene 3 – Systemspezifische Dokumente: Pro KI-System: Betriebsanweisung, Risikoanalyse, FRIA (bei Hochrisiko), Schulungsnachweis, Monitoring-Dashboard.
• Ebene 4 – Nachweise und Aufzeichnungen: Logs, Audit-Berichte, Schulungsteilnahmen, Incident Reports, Review-Protokolle.

Dieses Framework muss nicht von Grund auf neu entwickelt werden. Krankenhäuser, die bereits über ein Medizinprodukte-Bestandsverzeichnis, ein CIRS und ein QMS verfügen, können bestehende Strukturen erweitern. Der Aufwand für den EU AI Act im Krankenhaus wird damit beherrschbar.

Entscheidend ist, dass das Framework lebt: Regelmäßige Management-Reviews (mindestens jährlich), Auswertung von Vorfällen und Performance-Daten sowie die kontinuierliche Anpassung an neue regulatorische Entwicklungen und den sich verändernden regulatorischen Rahmen im Gesundheitswesen machen den Unterschied zwischen einem Papiertiger und wirksamer KI-Governance.

Häufig gestellte Fragen (FAQ)

Welche Rollen braucht ein KI-Governance-Framework im Krankenhaus?

Drei Kernrollen: Der KI-Governance-Verantwortliche koordiniert Inventar, FRIA und Schulungen. Die fachliche Aufsicht (Chefarzt/Oberarzt) übernimmt klinische Validierung und Override-Entscheidungen. Die technische Aufsicht (IT/Medizintechnik) verantwortet Monitoring, Log-Management und Fallback-Systeme.

Was sind die Protokollierungspflichten nach Art. 19 EU AI Act für Krankenhäuser?

Krankenhäuser müssen die automatisch erzeugten Logs von Hochrisiko-KI-Systemen mindestens sechs Monate aufbewahren. Die Logs müssen manipulationssicher sein und Eingabedaten, Ergebnisse, Konfidenzwerte und Zeitstempel umfassen.

Ist ISO 42001 für Krankenhäuser verpflichtend?

Nein, der EU AI Act schreibt keine spezifische Norm vor. ISO/IEC 42001 bietet aber einen strukturierten Rahmen, der die AI-Act-Anforderungen systematisch abdeckt. Krankenhäuser mit bestehendem QMS nach ISO 9001 oder KTQ können ISO 42001 als Erweiterungsmodul integrieren.

Wie sollten KI-Vorfälle im Krankenhaus kategorisiert und gemeldet werden?

Drei Kategorien: Kritisch (Patientenschädigung, sofortige Abschaltung und Meldung an BfArM/Marktaufsicht), Erheblich (potenzielle Gefährdung durch Human Oversight abgefangen, Analyse und Herstellerinformation) und Gering (Performance-Degradation ohne Patientengefährdung, CIRS-Dokumentation).

Wie ist ein KI-Governance-Framework für Kliniken dokumentarisch aufgebaut?

Vier Ebenen: KI-Governance-Policy (Grundsatzdokument), Prozessbeschreibungen (SOPs für Beschaffung, Betrieb, Incident Response), systemspezifische Dokumente (Betriebsanweisung, Risikoanalyse, FRIA pro System) und Nachweise (Logs, Audit-Berichte, Schulungsnachweise).