Was unterscheidet Human Oversight von normaler Plausibilitätskontrolle?

Human Oversight ist mehr als eine Plausibilitätskontrolle. Sie verlangt, dass die aufsichtsführende Person das KI-System versteht, seine Grenzen kennt und in der Lage ist, eigenständig zu entscheiden, ob der Output übernommen wird. Wer KI-Vorschläge ungeprüft übernimmt, weil das System bisher zuverlässig war, hat Automation Bias und damit eine verletzte Aufsicht.

Wer in der Praxis darf Aufsicht führen?

Nur Personen, die fachlich qualifiziert, geschult und befugt sind. Für ärztliche Entscheidungen ist das in aller Regel der behandelnde Arzt selbst. Eine Delegation an MFA ist möglich, wenn die Entscheidung nicht ärztlich vorbehalten ist und die delegierte Person nachweislich KI-kompetent ist. Die Dokumentation, wer Aufsicht führt, gehört in die Verfahrensbeschreibung.

Reicht es, KI-Vorschläge stichprobenartig zu prüfen?

Nein. Art. 26 Abs. 2 verlangt menschliche Aufsicht über jeden Output, der wirksam wird. Stichproben sind nur dann ausreichend, wenn die Wirksamkeit selbst von der vorherigen Freigabe abhängt. Ein KI-Arztbrief, der ungeprüft an den Patienten geht, ist nicht durch Stichproben gedeckt.

Was passiert bei Verletzung der Human-Oversight-Pflicht?

Auf regulatorischer Ebene drohen Bußgelder nach Art. 99 AI Act. Auf zivilrechtlicher Ebene ist Automation Bias ein Anhaltspunkt für Behandlungsfehler nach § 630a BGB. Im Schadensfall kann die Beweislast nach § 630h BGB zulasten des Behandelnden umkehren, wenn die Dokumentation eine eigene fachliche Prüfung nicht erkennen lässt.

Human Oversight nach EU AI Act: Was menschliche Aufsicht in der Arztpraxis bedeutet

Menschliche Aufsicht über KI-Systeme — Pflicht für Betreiber von Hochrisiko-KI nach Art. 14 und Art. 26 EU AI Act.

Definition

Human Oversight, im deutschen Recht als menschliche Aufsicht bezeichnet, ist die Pflicht, KI-Systeme so einzusetzen, dass natürliche Personen ihre Funktionsweise überwachen, die Ergebnisse verstehen, im Bedarfsfall eingreifen und das System abschalten können. Sie ist das Gegenmodell zur autonomen Maschinenentscheidung.

Im ärztlichen Kontext bedeutet Human Oversight aktive Prüfung jedes KI-Outputs vor seiner Wirksamwerdung. Das gilt für KI-generierte Arztbriefe, Diagnose-Vorschläge, Therapieempfehlungen, ICD-Vorschläge und Triage-Entscheidungen. Wer KI-Vorschläge ungeprüft übernimmt, betreibt keine Aufsicht.

Rechtliche Verankerung

Art. 14 EU AI Act adressiert den Anbieter. Hochrisiko-KI-Systeme müssen so entworfen und entwickelt werden, dass sie eine wirksame menschliche Aufsicht ermöglichen. Der Anbieter muss die technischen Voraussetzungen schaffen, also Anzeigen, Eingriffsmöglichkeiten, Stop-Mechanismen und nachvollziehbare Begründungen für die Vorschläge des Systems.

Art. 26 Abs. 2 EU AI Act adressiert den Betreiber. Er muss die menschliche Aufsicht natürlichen Personen übertragen, die die nötige Kompetenz, Schulung und Befugnis besitzen. Diese Personen müssen die Möglichkeiten und Grenzen des Systems verstehen, den Output kritisch bewerten und das System bei Bedarf außer Betrieb setzen können.

Art. 26 Abs. 2 ist von der Fristverschiebung im Digital Omnibus on AI nicht betroffen. Die menschliche Aufsicht bleibt der ungebrochene Hochrisiko-Kern und gilt mit voller Wirkung, sobald die Hochrisiko-Pflichten greifen. Faktisch lebt die Aufsichtspflicht aber auch schon vor dem regulatorischen Stichtag, weil sie über § 630a BGB und die ärztliche Sorgfaltspflicht ohnehin gefordert ist.

Was Aufsicht konkret verlangt

Vier Elemente müssen zusammenkommen. Erstens, fachliche Kompetenz der aufsichtsführenden Person. Wer einen KI-Befund prüft, muss ihn fachlich beurteilen können. Eine MFA prüft keinen radiologischen Befund.

Zweitens, Kenntnis der Systemgrenzen. Die Person muss wissen, wo das KI-System typischerweise versagt, welche Verzerrungen es hat und unter welchen Umständen es halluziniert. Diese Kenntnis ist genau das, was Art. 4 als KI-Literacy fordert.

Drittens, aktive Prüfung jedes wirksam werdenden Outputs. Stichproben reichen nur dort, wo die Wirksamkeit selbst von einer Freigabe abhängt. Ein KI-Arztbrief, der nach Klick auf "Senden" beim Patienten ankommt, verlangt vor dem Senden eine ärztliche Prüfung.

Viertens, Eingriffs- und Abschaltmöglichkeit. Die Person muss in der Lage sein, den Output zu korrigieren oder zu verwerfen, ohne dass das System die Entscheidung überschreibt.

Automation Bias als Hauptrisiko

Automation Bias, also die Tendenz, automatisierten Vorschlägen unkritisch zu folgen, ist das verbreitetste Aufsichtsversagen. Eine KI, die in 95 Prozent der Fälle plausibel vorschlägt, verleitet dazu, auch die übrigen 5 Prozent ungeprüft zu übernehmen. Im Schadensfall ist Automation Bias kein Entlastungsargument, sondern ein Verschuldensvorwurf.

Gegenmaßnahmen sind technischer und organisatorischer Natur. Auf der technischen Seite gehören dazu Konfidenzanzeigen, sichtbare Quellenreferenzen und obligatorische Bestätigungsschritte. Auf der organisatorischen Seite gehören dazu Stichproben-Audits, regelmäßige Fortbildung und eine Praxiskultur, in der KI-Vorschläge als Vorschläge behandelt werden, nicht als Befunde.

Dokumentation der Aufsicht

Im Schadensfall ist die Dokumentation der Aufsicht die zentrale Verteidigungslinie. Drei Elemente gehören in jede Patientenakte oder ins zugehörige System-Log. Erstens, der KI-Output mit Zeitstempel. Zweitens, die ärztliche Prüfung mit Bewertung. Drittens, die finale Entscheidung mit Begründung, sofern sie vom KI-Vorschlag abweicht.

§ 630h BGB regelt die Beweislastumkehr bei groben Behandlungsfehlern. Wer keine Dokumentation der Aufsicht hat, riskiert, dass das Gericht von einer ungeprüften Übernahme ausgeht und die Beweislast zulasten des Behandelnden umkehrt.

Human Oversight

Auf einen Blick