Welchen Teil Ihrer Arbeit darf die KI niemals übernehmen?

Ich war mit einer fertigen These in diese Ausgabe gegangen. Mein Thema sollte das Deskilling sein, der schleichende Kompetenzverlust durch zu viel Automatisierung, und die Frage, was er für die menschliche Aufsicht im AI Act bedeutet. Dann habe ich zur KI-Dokumentation in der Psychotherapie gepostet, und die Praktikerinnen und Praktiker in den Kommentaren haben mich an eine Stelle geschoben, die mein ursprünglicher Winkel gar nicht erfasst.

Die Deskilling-Debatte, und warum sie hier nur die halbe Miete ist

Deskilling ist gut belegt und es ist ernst. Hochzuverlässige Systeme verleiten dazu, die eigene Wachsamkeit zurückzufahren und die Aufgabenführung an die Maschine abzugeben. In der Koloskopie sinkt die Adenomdetektionsrate messbar, sobald die gewohnte KI-Markierung abgeschaltet wird, und das trifft sogar Endoskopiker mit fast drei Jahrzehnten Erfahrung. In der Mammographie folgen Radiologen aller Erfahrungsstufen einem fehlerhaften KI-Vorschlag bis weit in die eigene Fehldiagnose hinein. Bei den Jüngsten kommt das Never-Skilling dazu, also die Gefahr, dass eine Fähigkeit gar nicht erst aufgebaut wird, weil die KI von Anfang an als Stützgerüst danebensteht.

Für mich als Legal Engineer mündet das in eine unbequeme Frage zur zentralen Sicherung des AI Act. Art. 14 und Art. 26 verlangen menschliche Aufsicht über jedes KI-System. Diese Aufsicht ist aber nur so viel wert, wie die aufsichtführende Person den Vorschlag fachlich überhaupt prüfen kann. Wer einen Befund nie selbst erhoben hat, erkennt auch nicht, wenn die KI ihn glättet oder erfindet, und die Kontrolle verkommt zur Bestätigung.

Dieser Blickwinkel dreht sich um die Zukunft, um eine Fähigkeit, die verloren geht und die man später vermisst. Die Psychotherapeutinnen unter meinem Post haben mir gezeigt, dass es in ihrer Fachrichtung ein zweites Problem gibt, das schon in der Gegenwart greift und mit dem Kompetenzerhalt nichts zu tun hat.

Der Einwand, der mich umdenken ließ

Anna von Lilienfeld-Toal, Psychologische Psychotherapeutin, hat es am klarsten formuliert. Sie hat einmal Teile eines Berichts auf Grundlage einer Anamnese erstellen lassen, anonymisiert, und das Ergebnis verwirrend gefunden. Ihren inneren roten Faden zum Fall findet sie nur dann, wenn sie selbst schreibt und sich intensiv in den Fall hineindenkt. Das kann und soll ihr keine KI abnehmen. Ina Beintner, ebenfalls Psychotherapeutin und auf digitale Versorgung spezialisiert, hat mir denselben Punkt von der anderen Seite serviert, als ich behauptet hatte, jede abgenommene Dokumentationsstunde stünde wieder für Patienten zur Verfügung. Das stimme so nicht, schrieb sie, weil gerade die Stundendokumentation die Gelegenheit zum Reflektieren, Zusammenfassen und Vorplanen der nächsten Sitzung sei.

Sie hat recht, und ich habe es im Kommentar auch sofort eingeräumt. Hier verlernt niemand etwas. Beide Therapeutinnen beherrschen ihr Handwerk vollständig und wollen es behalten. Der Schaden entsteht trotzdem, weil der wegautomatisierte Schritt selbst ein Wirkfaktor der Behandlung war. Das Schreiben der Verlaufsnotiz ist in der Psychotherapie nicht nur die Dokumentation der Arbeit, es ist ein Stück der Arbeit. Genau das unterscheidet diesen Einwand vom klassischen Deskilling, und genau das macht ihn für die rechtliche Bewertung so interessant.

Dokumentation ist in der Psychotherapie zwei Dinge, nicht eins

Im Austausch mit Ina Beintner ist mir die Unterscheidung klar geworden, die das Problem auflöst, statt es nur zu beklagen. Dokumentation in der Psychotherapie ist kein einheitlicher Block. Der eine Teil ist genuin klinisch, also das Reflektieren, das Zusammenfassen und das Vorplanen, das in die therapeutische Arbeit selbst gehört und in dem sich der innere rote Faden bildet. Der andere Teil ist die formale Hülle, also der Verlaufseintrag für die Akte, der Bericht an den Gutachter, die Antragslogik von PTV3 und KBV.

Sinnvoll eingesetzt nimmt eine KI den zweiten Teil ab und schützt den ersten, statt ihn zu ersetzen. Den reflexiven Raum darf das Werkzeug nicht wegrationalisieren. Diese Grenze verläuft mitten durch die Tätigkeit, die in jedem Marketing einfach als Bürokratie verkauft wird, und sie zu ziehen ist eine fachliche Leistung, keine technische. Wer KI-Dokumentation nur als Zeitersparnis bewirbt, übersieht sie systematisch. Benedikt-Lars Kaiser, der die Diskussion mit angestoßen hat, nennt das Zeitersparnis-Argument trügerisch, und im Kern hat er damit denselben Punkt im Blick. Die Beziehungsarbeit, zu der er auch das Nachdenken über den Fall mit Stift und Papier zählt, braucht schlicht Zeit.

Der Gutachterbericht und die Grenze zur Emotionserkennung

Eine weitere Spezialität dieser Fachrichtung hat Georg Winterer beigetragen, der KI in anderen Bereichen entwickelt, sie als Gutachter aber bewusst nicht einsetzt. Sein Grund hat zwei Schichten. Der Gutachterbericht ist die persönliche fachliche Stellungnahme des Behandlers, auf deren Grundlage die Kasse die Therapie bewilligt, und damit das Dokument, bei dem eine KI am wenigsten zwischen Befund und Bewertung geraten darf. Wichtiger noch ist sein zweiter Hinweis, dass es im Gespräch nicht nur darauf ankommt, was ein Patient sagt, sondern wie er es sagt, also auf Mimik, Gestik und Tonfall.

Hier würde ich juristisch sogar eine Stufe schärfer ziehen. Sobald ein System Mimik, Gestik oder Tonfall auf Affekt oder Emotion hin auswertet, ist es nach dem AI Act ein Emotionserkennungssystem, und das ist keine graduelle Steigerung des Schweigepflichtproblems aus § 203 StGB, sondern ein Sprung in eine andere Regulierungsklasse. Im Therapiekontext ist diese Auswertung nicht per se verboten, das ausdrückliche Verbot greift bei Arbeitsplatz und Bildungseinrichtungen, aber sie landet im Hochrisikobereich nach Anhang III AI Act mit dem vollen Pflichtenkatalog. Die reinen Dokumentations-Tools bleiben genau deshalb in der leichteren Stufe, weil sie transkribieren und strukturieren, ohne den Menschen zu vermessen. Winterers vermintes Gelände hat also einen ziemlich präzisen Verlauf, und die Linie, die er aus Erfahrung zieht, ist dieselbe, die der Gesetzgeber gezogen hat.

Was das für Ausbildungsinstitute bedeutet

In der Praxis geht es um Kompetenzerhalt, im Institut um Kompetenzaufbau, und das ist die schärfere Lage. Wer die Verlaufsdokumentation von Anfang an mit einem Werkzeug schreibt, baut den reflexiven Schritt möglicherweise nie auf, den die erfahrenen Therapeutinnen gerade verteidigen. Frank Petrak untersucht mit iptas und der Ruhr-Universität Bochum genau das, nämlich wie sich die Arbeit mit KI-Dokumentation auf den Kompetenzerwerb angehender Psychotherapeuten und auf das Therapieergebnis auswirkt. Dass ein Hersteller diese kritische Frage überhaupt stellt, ist das eigentlich gute Zeichen in dieser Debatte.

Für ein Institut folgt daraus eine Aufgabe, die niemand sonst übernehmen kann. Es legt fest, ab welchem Ausbildungsabschnitt ein Werkzeug überhaupt zugelassen ist, welcher Teil der Dokumentation von Hand geschrieben bleibt und woran die Supervision erkennt, dass der Fall durchdrungen wurde. Kommt die KI-Kompetenz nach Art. 4 dazu, trifft die Pflicht ohnehin jede Einrichtung, die KI-Systeme einsetzt oder Ausbildungsteilnehmer daran arbeiten lässt. Beides zusammen lässt sich in einem Nachmittag festhalten, und es ist deutlich billiger als die Diskussion darüber, ob eine Fallbearbeitung noch die eigene Leistung des Kandidaten war.

Was das für andere Fachrichtungen heißt

An dieser Stelle wird aus einem Psychotherapie-Thema ein allgemeines. Man kann den KI-Einsatz in einer Fachrichtung nicht mit einer generischen Deskilling-Checkliste bewerten. Jedes Fach hat einen unverzichtbaren menschlichen Wirkfaktor, und der liegt jedes Mal woanders. In der Radiologie und der Endoskopie ist es die eigenständige visuelle Suchleistung, deren Verlust man als klassisches Deskilling messen kann. In der Psychotherapie ist es die reflexive Auseinandersetzung mit dem Fall, die kein Kompetenzproblem ist, sondern ein Wirkfaktor, und zusätzlich die Grenze zur Emotionserkennung. In der Kardiologie ist es die präzise Charakterisierung von Symptomen, die eine glättende Ambient-Notiz gefährlich verallgemeinern kann.

Vor jeder Tool-Entscheidung steht deshalb weniger die Frage nach der Zeitersparnis als die Frage, was in genau diesem Fach der menschliche Anteil ist, den das Werkzeug vorbereiten, aber nie ersetzen darf. Wer diese Frage zuerst beantwortet, kann anschließend fast jedes Tool gelassen einsetzen. Wer sie überspringt, automatisiert irgendwann genau den Schritt weg, der die Qualität getragen hat.

Human Oversight, noch einmal gelesen

Für die rechtliche Seite hat das eine Konsequenz, die ich erst durch die Diskussion so scharf sehe. Human Oversight im AI Act wird meist als Fehlerkontrolle gelesen, also als die Pflicht, den Output zu prüfen, bevor er in die Akte wandert. Das ist die Deskilling-Lesart, und sie ist richtig, aber unvollständig. In der Psychotherapie bedeutet menschliche Aufsicht mehr, weil der Therapeut im inneren Kontakt mit dem Fall bleiben muss und die KI ihn dort nicht ersetzen darf. Wo dieser Kontakt verloren geht, existiert die Aufsicht nur noch auf dem Papier, lange bevor ein einziger falscher Berichtssatz auffällt.

Das rückt auch das Verhältnis von Recht und Wirkung gerade. Benedikt-Lars Kaiser hat zu Recht gefragt, ob nicht zuerst der Therapieerfolg geklärt sein müsse und das Recht erst danach folge. Ich würde es umdrehen. Schon die Studie, die den Nutzen klären soll, läuft mit echten Patienten und Gesundheitsdaten und braucht dafür einen sauberen rechtlichen Rahmen. Wirkungsfrage und Rechtsfrage stehen nicht nacheinander, sie bedingen sich.

Erschwert wird das Ganze durch eine Realität, die Alexander Ortner offen angesprochen hat. Ein erheblicher Teil der KI-Nutzung in der Beratung läuft heute als Schatten-KI, etwa wenn Behandelnde Therapieinhalte in ChatGPT tippen, um schnell ein Protokoll zu erzeugen, und die Daten direkt bei einem Big-Tech-Anbieter landen. Solange die seriösen, durchdachten Werkzeuge nicht selbstverständlich verfügbar und sauber geregelt sind, weicht die Praxis auf die unsichersten Lösungen aus. Das ist ein weiteres Argument dafür, die Grenze früh und klar zu ziehen, statt auf die perfekte Studienlage zu warten.

Was bleibt

Ich bin kein Gegner dieser Werkzeuge, auch nicht in der Psychotherapie. Ina Beintner hat den schönsten Beleg dafür selbst geliefert, als sie schrieb, die gewonnene Zeit gehe eher an die Familie als an einen weiteren Patienten. Eine ausgeruhtere Therapeutin ist für die nächste Sitzung ein echter Gewinn, und die niedrigschwellige KI, die Termine und wiederkehrende Aufgaben organisiert, ist im Alltag oft die größere Entlastung als die, die in den Befund hineinschreibt, und regulatorisch fast unkritisch dazu.

Die eigentliche Aufgabe steht trotzdem am Anfang und nicht am Ende. Bevor eine Praxis oder ein Institut ein Tool aktiviert, lohnt der eine unbequeme Satz, den die Praktikerinnen unter meinem Post viel präziser gesagt haben als jede Compliance-Vorlage. Man muss benennen, was in der eigenen Fachrichtung der menschliche Anteil ist, der nicht automatisiert werden darf. Diese Wirkfaktor-Grenze findet sich in keinem Pflichtenkatalog des AI Act, und doch entscheidet sie darüber, ob die menschliche Aufsicht trägt oder zur Formalie wird. Wer sie selbst zieht, behält die Kontrolle über sein Fach. Wer wartet, bekommt sie irgendwann von einem enttäuschenden Therapieergebnis oder einer Aufsichtsbehörde gezogen.