Welche Pflichten hat ein Anbieter von Hochrisiko-KI?

Acht Pflichten in Kürze. Risikomanagement (Art. 9), Datenqualität (Art. 10), technische Dokumentation nach Anhang IV (Art. 11), Aufzeichnungspflichten (Art. 12), Transparenz (Art. 13), Vorbereitung der menschlichen Aufsicht (Art. 14), Genauigkeit und Cybersicherheit (Art. 15) sowie Konformitätsbewertung und CE-Kennzeichnung (Art. 16, 43).

Ist ein PVS-Anbieter automatisch Anbieter im Sinne des AI Act?

Ja, sobald er ein KI-System unter eigenem Namen vertreibt. Das gilt für CGM, medatixx, tomedo und alle anderen PVS-Hersteller mit KI-Modulen. Praxis und MVZ bleiben Betreiber. Die Pflichten beider Rollen laufen parallel, ohne Überschneidung der Verantwortlichkeiten.

Was bedeutet wesentliche Änderung im Sinne von Art. 25?

Eine wesentliche Änderung ist eine Modifikation, die die Konformität des Systems oder seine Zweckbestimmung berührt. Beispiele sind Fine-Tuning eines vortrainierten Modells mit eigenen Daten, die Verkettung mehrerer KI-Systeme zu einer neuen Pipeline oder der Einsatz für einen anderen klinischen Zweck als vom Hersteller vorgesehen.

Kann ich als Praxis versehentlich zum Anbieter werden?

Ja, das ist die häufigste Falle. Wer ChatGPT oder ein Open-Source-LLM in einen eigenen Praxis-Workflow einbindet, eine bestehende Klassifikations-KI auf eigenes Patientenkollektiv nachtrainiert oder mehrere KI-Tools über eine eigene Logik verkettet, wird nach Art. 25 zum Anbieter. Die Anbieterpflichten greifen dann sofort.

Anbieter (Provider) nach EU AI Act: Wer KI-Hersteller im Gesundheitswesen ist

Im EU AI Act die natürliche oder juristische Person, die ein KI-System entwickelt oder entwickeln lässt und unter eigenem Namen in Verkehr bringt.

Definition

Anbieter, im englischen Originaltext Provider, ist nach Art. 3 Nr. 3 EU AI Act jede natürliche oder juristische Person, die ein KI-System entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer eigenen Marke in Verkehr bringt oder in Betrieb nimmt. Die Anbieterstellung trifft typischerweise Hersteller, Health-Tech-Startups und Praxissoftware-Anbieter mit KI-Modulen.

Die Anbieterstellung ist nicht an die technische Eigenentwicklung gebunden. Wer ein vortrainiertes Modell unter eigenem Namen vermarktet, ist Anbieter, auch wenn das Modell ursprünglich von einem Dritten stammt. Die Anbieterpflichten lassen sich vertraglich nicht auf den Vorlieferanten abwälzen.

Pflichten von Anbietern von Hochrisiko-KI

Acht Hauptpflichten ergeben sich aus dem AI-Act-Pflichtenkanon. Erstens, Risikomanagement nach Art. 9 mit kontinuierlicher Bewertung über den gesamten Lebenszyklus. Zweitens, Datenqualität nach Art. 10 mit dokumentierten Anforderungen an Trainings-, Validierungs- und Testdaten. Drittens, technische Dokumentation nach Art. 11, deren Inhalte Anhang IV detailliert vorgibt. Viertens, Aufzeichnungspflichten nach Art. 12, die automatisch generierte Logs auf Systemebene erfordern.

Fünftens, Transparenz und Informationsbereitstellung nach Art. 13. Anwender müssen verstehen können, was das System tut und wo seine Grenzen liegen. Sechstens, Vorbereitung der menschlichen Aufsicht nach Art. 14. Die technischen Voraussetzungen für die Aufsicht durch den Betreiber müssen mit eingebaut sein. Siebtens, Genauigkeit, Robustheit und Cybersicherheit nach Art. 15. Achtens, Konformitätsbewertung und CE-Kennzeichnung nach Art. 43 und 49.

Wann ein Betreiber zum Anbieter wird

Art. 25 EU AI Act regelt drei Konstellationen, in denen der Betreiber kraft Gesetzes in die Anbieterrolle wechselt.

Erstens, Inverkehrbringen unter eigenem Namen. Ein MVZ, das ein Open-Source-LLM unter seiner Marke als Dienstleistung anbietet, wird Anbieter. Selten in der Praxis, aber denkbar bei Klinik-Spin-offs.

Zweitens, wesentliche Änderung der Zweckbestimmung eines Hochrisiko-KI-Systems. Ein Diktiersystem mit der Anbieter-Zweckbestimmung "Dokumentation" wird zur Diagnoseassistenz eingesetzt. Die Praxis hat die Zweckbestimmung geändert und ist nach Art. 25 Anbieter.

Drittens, wesentliche Modifikation am System selbst. Klassische Beispiele sind Fine-Tuning eines vortrainierten Modells mit eigenen Patientendaten, Verkettung mehrerer KI-Systeme zu einer neuen Pipeline oder substanzielle Konfigurationsänderungen am Modellverhalten. Die Schwelle der wesentlichen Modifikation ist im AI Act nicht trennscharf definiert. Anbieter und Betreiber bewegen sich hier in einer Grauzone, die im Zweifel zulasten des handelnden Akteurs ausgelegt wird.

Health-Tech-Startups als Anbieter

Health-Tech-Unternehmen mit KI-Produkten für den Gesundheitsmarkt sind nahezu immer Anbieter im Sinne des AI Act. Die Doppelregulierung mit MDR und AI Act ist die Regel, nicht die Ausnahme. Wer ein KI-Produkt für Diagnoseunterstützung oder Therapieempfehlung baut, durchläuft zwei parallele Konformitätsbewertungen.

Vier strategische Entscheidungen sollten Anbieter früh treffen. Die Zweckbestimmung mit Bedacht formulieren, weil sie über MDR-Klasse und AI-Act-Risiko entscheidet. Die Konformitätsbewertungen synchronisiert aufsetzen, weil parallele Bewertung Synergien hebt. Eine Compliance-as-Code-Architektur einbauen, die Audit Trail und Human Oversight technisch ermöglicht. Die Anbieter-Aufklärung gegenüber Betreibern aktiv betreiben, weil aufgeklärte Kunden weniger Haftungsrisiken auf den Hersteller zurückspiegeln.

PVS-Anbieter und der Add-on-Mechanismus

Praxissoftware-Anbieter wie CGM, medatixx und tomedo haben das Anbieter-Problem clever gelöst. KI-Funktionen sind opt-in-Add-ons, die der Betreiber bewusst zubuchen muss. Mit der Buchung wird die Praxis als Betreiber aktiv tätig, der Anbieter bleibt klar identifizierbar.

Diese Struktur entschärft das Problem der ungewollten Betreiberstellung durch automatische Updates. Sie löst aber nicht die Frage, ob die Praxis ausreichend über die Betreiberpflichten informiert wurde. Hier öffnet sich derzeit eine Kommunikationslücke, die Anbieter aus Reputationsgründen schließen sollten.

Anbieter (Provider)

Auf einen Blick