KI-Governance-Framework für Kliniken: Rollen, Prozesse und ISO 42001

Ein KI-Governance-Framework für Krankenhäuser definiert die organisatorischen Strukturen, Verantwortlichkeiten und Prozesse für den rechtskonformen und klinisch sicheren Einsatz von KI-Systemen. Es bildet die Brücke zwischen den regulatorischen Anforderungen des EU AI Act und der klinischen Realität, die Voraussetzung dafür, dass KI-Compliance nicht auf dem Papier bleibt, sondern im Klinikalltag gelebt wird.

Drei Rollen: Das KI-Governance-Dreieck

Effektive KI-Governance im Krankenhaus basiert auf drei klar definierten Rollen, die gemeinsam die Verantwortung tragen:

1. KI-Governance-Verantwortlicher

Diese Rolle ist das zentrale Bindeglied zwischen Klinikleitung, Fachabteilungen und IT. Der KI-Governance-Verantwortliche muss nicht selbst KI-Experte sein, aber das regulatorische Gesamtbild überblicken und koordinieren können. Typischerweise angesiedelt beim Qualitätsmanagement, bei der Medizintechnik oder als eigene Stabsstelle.

• Pflege und Aktualisierung des KI-Inventars (alle KI-Systeme im Haus)
• Koordination der Grundrechte-Folgenabschätzungen nach Art. 27 EU AI Act, wo Systeme nach Anhang III im Einsatz sind
• Sicherstellung der AI-Literacy-Schulungen nach Art. 4
• Ansprechpartner für Marktüberwachungsbehörden
• Reporting an die Klinikleitung über den KI-Compliance-Status
• Freigabeprozess für neue KI-Systeme und wesentliche Updates

2. Fachliche Aufsicht (Chefarzt/Oberarzt)

Art. 14 EU AI Act verlangt, dass Hochrisiko-KI-Systeme wirksam von Menschen beaufsichtigt werden können. Die Aufsicht selbst überträgt das Krankenhaus als Betreiber nach Art. 26 Abs. 2 Personen mit Kompetenz, Ausbildung und Befugnis, im klinischen Kontext naturgemäß dem ärztlichen Fachpersonal. Die fachliche Aufsicht umfasst:

• Klinische Validierung: Bewertung, ob die KI-Ergebnisse im jeweiligen klinischen Kontext plausibel und verwertbar sind
• Override-Entscheidungen: Klare Autorität und dokumentierte Prozesse, um KI-Empfehlungen zu überstimmen
• Eskalation: Meldung von klinisch relevanten Fehlfunktionen an den KI-Governance-Verantwortlichen
• Schulungsverantwortung: Sicherstellung, dass das ärztliche und pflegerische Team die KI-Systeme korrekt einsetzt
• Zweckbestimmung einhalten: Überwachung, dass KI-Systeme nur im Rahmen der vom Hersteller definierten Zweckbestimmung eingesetzt werden

3. Technische Aufsicht (IT/Medizintechnik)

Die technische Aufsicht stellt sicher, dass KI-Systeme technisch korrekt betrieben, überwacht und gewartet werden:

• Technisches Monitoring: Überwachung der Systemverfügbarkeit, Performance-Metriken, Modellverhalten
• Log-Management: Sicherstellung der ordnungsgemäßen Aufbewahrung der Protokolle gemäß Art. 26 Abs. 6 EU AI Act
• Update-Management: Koordination von Modellaktualisierungen mit dem Hersteller, Bewertung der Auswirkungen auf die Compliance
• IT-Sicherheit: Schutz der KI-Systeme vor Cyberangriffen, insbesondere im KRITIS-Kontext
• Fallback-Systeme: Bereitstellung und Tests von Ausweichprozessen bei KI-Systemausfällen

Protokolle aufbewahren nach Art. 26 Abs. 6 EU AI Act

Art. 26 Abs. 6 verpflichtet Betreiber von Hochrisiko-KI-Systemen, die automatisch erzeugten Protokolle aufzubewahren, soweit sie ihrer Kontrolle unterliegen. Art. 19 regelt dieselbe Pflicht für den Anbieter. Die Pflicht gilt ab dem 2. August 2028 für KI in Medizinprodukten und ab dem 2. Dezember 2027 für Systeme nach Anhang III. Für Krankenhäuser bedeutet das:

• Aufbewahrungspflicht: Logs müssen mindestens sechs Monate aufbewahrt werden, sofern keine anderen Rechtsvorschriften längere Fristen vorsehen. Im Gesundheitswesen können aufgrund von Dokumentationspflichten nach Berufsrecht und SGB V deutlich längere Fristen gelten (bis zu 30 Jahre bei bestimmten Behandlungen).
• Umfang der Protokollierung: Welche Ereignisse das System aufzeichnet, legt der Anbieter nach Art. 12 fest. Typisch sind Eingabedaten (oder deren Referenzen), Ausgabeergebnisse, Konfidenzwerte, Zeitstempel, Nutzeridentifikation.
• Technische Umsetzung: Integration der KI-Logs in das bestehende klinische Dokumentationssystem oder ein dediziertes KI-Log-System. Die Logs sollten manipulationssicher abgelegt und für Aufsichtsbehörden auffindbar sein.
• Datenschutzbalance: Die Protokollierungspflicht muss mit der DSGVO in Einklang gebracht werden. Patientenbezogene Daten in Logs unterliegen den allgemeinen Datenschutzanforderungen.

Qualitätsmanagement: ISO 42001 als Orientierung

ISO/IEC 42001 ist der internationale Standard für KI-Managementsysteme. Obwohl der EU AI Act keine spezifische Norm vorschreibt, bietet ISO 42001 einen strukturierten Rahmen, der die Anforderungen des AI Act systematisch abdeckt. Für Krankenhäuser, die bereits über ein QMS nach ISO 9001 oder KTQ verfügen, lässt sich ISO 42001 als Erweiterungsmodul integrieren.

Die Kernelemente eines KI-QMS für Krankenhäuser umfassen:

• KI-Policy: Grundsatzerklärung der Klinikleitung zum KI-Einsatz, einschließlich ethischer Grundsätze und Qualitätsziele
• Risikomanagement: Systematische Identifikation, Bewertung und Steuerung KI-spezifischer Risiken, sowohl technischer als auch klinischer Natur
• Performance-Monitoring: Definierte KPIs für jedes KI-System (Accuracy, Sensitivity, Specificity, Fairness-Metriken)
• Änderungsmanagement: Strukturierte Bewertung und Freigabe von Modellaktualisierungen und Systemänderungen
• Kontinuierliche Verbesserung: Regelmäßige Reviews des KI-Governance-Systems, Lessons Learned aus Vorfällen

Incident Reporting und Response

KI-Vorfälle im Krankenhaus können klinische, regulatorische und haftungsrechtliche Konsequenzen haben. Ein strukturierter Incident-Response-Prozess muss verschiedene Eskalationsstufen und Meldepflichten berücksichtigen. Die Haftungsfragen bei KI-Einsatz in der Klinik sind dabei eng mit dem Incident Management verknüpft.

Kategorisierung von KI-Vorfällen

• Kategorie 1 (Kritisch): KI-Fehlfunktion mit direkter Patientenschädigung oder unmittelbarer Gefahr. Sofortige Abschaltung, Meldung an Klinikleitung und Hersteller, bei Medizinprodukten an das BfArM, gegebenenfalls an die Marktüberwachungsbehörde.
• Kategorie 2 (Erheblich): KI-Fehlfunktion mit potenzieller Patientengefährdung, die durch Human Oversight abgefangen wurde. Dokumentation, Analyse, Information des Herstellers, Prüfung der Meldepflicht.
• Kategorie 3 (Gering): Performance-Degradation ohne unmittelbare Patientengefährdung. Dokumentation im CIRS, Monitoring intensivieren, Hersteller informieren.

Meldepflichten

Bei schwerwiegenden Vorfällen mit Hochrisiko-KI-Systemen kann eine Meldepflicht gegenüber der Marktüberwachungsbehörde bestehen (Art. 26 Abs. 5 EU AI Act). Diese Meldepflicht besteht ergänzend zu den bestehenden Meldepflichten für Medizinprodukte, nicht als deren Ersatz (Vigilanzmeldung an das BfArM) und der Meldepflicht bei Datenschutzverletzungen (Art. 33/34 DSGVO). Krankenhäuser müssen sicherstellen, dass ihre Meldeprozesse alle drei Meldewege parallel bedienen können.

Framework-Struktur: Umsetzung in der Praxis

Ein KI-Governance-Framework für Krankenhäuser sollte als Dokumentenhierarchie aufgebaut sein, die sich in die bestehende QM-Struktur einfügt:

• Ebene 1: KI-Governance-Policy: Grundsatzdokument der Klinikleitung. Definiert Ziele, Grundsätze, Verantwortlichkeiten und den Geltungsbereich. Genehmigung durch den Vorstand.
• Ebene 2: Prozessbeschreibungen: Standardarbeitsanweisungen (SOPs) für die Kernprozesse: KI-Systembeschaffung, Inbetriebnahme-Freigabe, laufender Betrieb, Incident Response, Schulung, Außerbetriebnahme.
• Ebene 3: Systemspezifische Dokumente: Pro KI-System: Betriebsanweisung, Risikoanalyse, FRIA (bei Anhang-III-Systemen), Schulungsnachweis, Monitoring-Dashboard.
• Ebene 4: Nachweise und Aufzeichnungen: Logs, Audit-Berichte, Schulungsteilnahmen, Incident Reports, Review-Protokolle.

Dieses Framework muss nicht von Grund auf neu entwickelt werden. Krankenhäuser, die bereits über ein Medizinprodukte-Bestandsverzeichnis, ein CIRS und ein QMS verfügen, können bestehende Strukturen erweitern. Der Aufwand für den EU AI Act im Krankenhaus wird damit beherrschbar.

Entscheidend ist, dass das Framework lebt: Regelmäßige Management-Reviews (mindestens jährlich), Auswertung von Vorfällen und Performance-Daten sowie die kontinuierliche Anpassung an neue regulatorische Entwicklungen und den sich verändernden regulatorischen Rahmen im Gesundheitswesen machen den Unterschied zwischen einem Papiertiger und wirksamer KI-Governance.

Häufig gestellte Fragen (FAQ)

Welche Rollen braucht ein KI-Governance-Framework im Krankenhaus?

Drei Kernrollen: Der KI-Governance-Verantwortliche koordiniert Inventar, FRIA und Schulungen. Die fachliche Aufsicht (Chefarzt/Oberarzt) übernimmt klinische Validierung und Override-Entscheidungen. Die technische Aufsicht (IT/Medizintechnik) verantwortet Monitoring, Log-Management und Fallback-Systeme.

Wie lange muss ein Krankenhaus die Protokolle von Hochrisiko-KI aufbewahren?

Nach Art. 26 Abs. 6 EU AI Act mindestens sechs Monate, soweit die Protokolle unter der Kontrolle des Hauses stehen und andere Vorschriften keine längere Frist verlangen. Welche Daten das System protokolliert, legt der Anbieter nach Art. 12 fest. Die Pflicht gilt ab dem 2. August 2028 für KI in Medizinprodukten und ab dem 2. Dezember 2027 für Systeme nach Anhang III.

Ist ISO 42001 für Krankenhäuser verpflichtend?

Nein, der EU AI Act schreibt keine spezifische Norm vor. ISO/IEC 42001 bietet aber einen strukturierten Rahmen, der die AI-Act-Anforderungen systematisch abdeckt. Krankenhäuser mit bestehendem QMS nach ISO 9001 oder KTQ können ISO 42001 als Erweiterungsmodul integrieren.

Wie sollten KI-Vorfälle im Krankenhaus kategorisiert und gemeldet werden?

Drei Kategorien: Kritisch (Patientenschädigung, sofortige Abschaltung und Meldung an BfArM/Marktaufsicht), Erheblich (potenzielle Gefährdung durch Human Oversight abgefangen, Analyse und Herstellerinformation) und Gering (Performance-Degradation ohne Patientengefährdung, CIRS-Dokumentation).

Wie ist ein KI-Governance-Framework für Kliniken dokumentarisch aufgebaut?

Vier Ebenen: KI-Governance-Policy (Grundsatzdokument), Prozessbeschreibungen (SOPs für Beschaffung, Betrieb, Incident Response), systemspezifische Dokumente (Betriebsanweisung, Risikoanalyse, FRIA, wo Art. 27 greift) und Nachweise (Logs, Audit-Berichte, Schulungsnachweise).