Der erste KI-Agent Ihrer Praxis sitzt am Telefon

Der KI-Telefonassistent ist der einzige Mitarbeiter, der nie krank wird, nie schlecht gelaunt ist und nie nachfragt. Zwei davon sind gute Nachrichten.

Was er kann, beschreibt Doctolib in der eigenen Hilfedokumentation offen. Der Assistent nimmt Termine an, verschiebt sie und sagt sie ab, und er gibt den Platz im Kalender frei, ohne „dass eine Aktion von Ihrer Seite erforderlich ist“. Am Ende des Gesprächs bittet er um eine mündliche Bestätigung. Um die des Anrufers.

Software, die eine Aufgabe eigenständig erledigt statt sie nur vorzubereiten, heißt agentisch, und ein solches System nennt man einen Agenten. Der Telefonassistent ist damit der erste Agent, der in deutschen Praxen im Regelbetrieb läuft. Eingekauft hat ihn unter diesem Namen kaum jemand, denn auf den Produktseiten stehen Erreichbarkeit, Entlastung und Terminmanagement. Was ein solcher Assistent daneben an Datenschutz und Schweigepflicht auslöst, steht im Überblick zum KI-Telefonassistenten in der Arztpraxis. Hier geht es um die andere Hälfte, um die Aufsicht.

Ein Anruf, in dem alles funktioniert

Die folgende Szene ist konstruiert und stammt aus keinem gemeldeten Vorfall bei irgendeinem Anbieter. Sie beschreibt nur, was jede Bauweise dieser Art zulässt.

Eine Patientin ruft an. Sie war vor drei Wochen da, es wurde eine Kontrolle vereinbart, und sie sagt, am Donnerstag könne sie nicht. Der Assistent versteht eine Absage, lässt sie bestätigen, gibt den Platz frei und legt eine saubere Zusammenfassung in die Akte. Alles funktioniert genau so, wie es gebaut wurde. Die Patientin legt auf und denkt, jemand meldet sich wegen eines neuen Termins.

Vier Monate später sitzt sie wieder im Behandlungszimmer, und die Kontrolle hat nie stattgefunden.

Ob der Assistent gut arbeitet, ist ab hier zweitrangig. Beantworten muss die Praxis, wer den Termin gestrichen hat, und seit dem Assistenten steht diese Antwort im Protokoll. Setzen Sie an dieselbe Stelle statt einer Routinekontrolle einen Nachsorgetermin nach einem auffälligen Befund, und die Rechnung geht anders auf. Organisationsmängel sind der Klassiker der Arzthaftung, und sie hängen am Inhaber und nicht am Team. Das war schon immer so. Neu ist, dass sie jetzt jemand aufschreibt.

Wo die Aufsicht bisher saß, und wo sie jetzt sitzt

Alles, was bisher in Praxen als KI ankam, hat vorgeschlagen. Der Kodiervorschlag, der Arztbrief-Entwurf, der Befundhinweis. Am Ende stand immer ein Mensch, der etwas übernommen oder verworfen hat. Zwischen dem Vorschlag und seiner Wirkung lag ein Moment, und dieser Moment war die Aufsicht.

Dieselbe Kette, ein Schritt weniger. Aufsicht ist damit nicht abgeschafft, sie ist verrutscht und findet weiter statt, nur hinterher.

Das klingt nach einer Nuance und ist der ganze Unterschied. Aufsicht vor der Handlung verhindert den Fehler, Aufsicht nach der Handlung verwaltet ihn.

„Das war die Software“ hat keine Zukunft

Im Mai hat das Oberlandesgericht Hamm über einen Chatbot entschieden, der auf der Website eines bundesweit tätigen Anbieters für ästhetische Medizin Termine buchen und Fragen beantworten sollte. Die Betreiberin ist eine GmbH mit sechs Standorten und zwei ärztlichen Geschäftsführern, also strukturell näher an einem MVZ-Verbund als an einer Einzelpraxis. Der Bot schrieb den beiden Facharztbezeichnungen zu, die es in Deutschland nicht gibt.

Das Gericht hat dem Bot den Status eines Dritten verweigert und die Aussagen der Betreiberin als eigene zugerechnet. Tragend war, dass die Betreiberin den Tätigkeitsrahmen des Systems festlegt und hinreichenden Einfluss darauf hat. Der Einwand, ein Sprachmodell arbeite statistisch und werde nicht menschlich gesteuert, half nicht, und das Black-Box-Argument änderte daran nichts. Am überzeugendsten wirkte ein Detail aus dem eigenen Vortrag der Betreiberin. Nach der Beanstandung ließ sich der Bot problemlos so umprogrammieren, dass er die falschen Angaben nicht mehr ausgab. Wer nachträglich abstellen kann, konnte vorher festlegen.

Ein Mitarbeiter, der einen Fehler macht, hat einen Fehler gemacht. Ein Werkzeug, das einen Fehler macht, hat Ihren gemacht.

Zwei Einschränkungen gehören dazu. Das Urteil ist nicht rechtskräftig, das Gericht hat die Revision zum Bundesgerichtshof ausdrücklich zugelassen. Und es ging um Äußerungen, nicht um Handlungen; für einen gestrichenen Termin fehlt eine vergleichbare Entscheidung noch. Es gibt allerdings keinen Grund zu hoffen, dass ein Gericht einen versäumten Nachsorgetermin milder ansieht als einen erfundenen Facharzttitel.

Damit steht die Lage genauer da, als die Debatte sie meist beschreibt. Eine Lücke in der Zurechnung existiert hier nicht. Was existiert, ist eine Lücke in der Aufsicht, und die Haftung schließt sie nicht, sie fällt hindurch.

Der Agent schreibt mit, auch wenn er falschliegt

Bis vor kurzem war ein organisatorischer Fehler am Praxistelefon eine Erinnerungsfrage. Zwei Menschen, ein Gespräch, kein Beleg. Wer im Streit behauptete, er habe nur verschieben wollen, stand gegen eine MFA, die sich anders erinnerte, und die Sache endete meistens dort.

Der Agent beendet diesen Zustand. Er handelt und schreibt mit. Jede Absage, jede Umbuchung, jede Einordnung eines Anliegens liegt mit Zeitstempel vor, und zwar unabhängig davon, ob sie richtig war. Sie haben damit den ersten Mitarbeiter Ihrer Praxis, der lückenlos dokumentiert, was er falsch gemacht hat.

Das ist keine Warnung vor der Technik, sondern die Beschreibung dessen, was Digitalisierung immer tut. Solange nichts protokolliert wird, ist eine unterlassene Handlung unsichtbar. Sobald ein System mitschreibt, bekommt sie eine Zeile. Der Sorgfaltsmaßstab ändert sich dadurch nicht, die Beweislage schon, und sie ändert sich einseitig. Welches Gewicht das hat, zeigt § 630h BGB, weil dokumentierte Abläufe im Streitfall die Beweisführung tragen.

Was geregelt ist, und was nicht

Man könnte hoffen, dass das Recht diese Lücke schließt. Vorerst tut es das nicht. Die KI-Verordnung denkt menschliche Aufsicht in Art. 14 AI Act durchgehend von einer Ausgabe her, also von einem Ergebnis, das noch auf dem Bildschirm steht und das jemand überschreiben oder rückgängig machen kann, und für den laufenden Betrieb kennt sie eine Stopptaste. Für einen abgesagten Termin gibt es kein Rückgängig, es gibt einen Rückruf.

Ein Zwischenschritt, den viele überspringen, macht die Lage nicht besser. Beide Aufsichtsnormen gelten nur für Hochrisiko-Systeme. Ein Telefonassistent, der Termine verwaltet, ist keines, und Art. 14 greift für ihn überhaupt nicht. Wo die Verordnung gilt, muss der Anbieter eine Haltestelle vorsehen und der Betreiber sie nach Art. 26 Abs. 2 AI Act mit kompetentem Personal besetzen. Wo sie nicht gilt, muss es niemand, und zugerechnet wird die Handlung trotzdem. Eine Pflicht, die an der Handlung eines Agenten ansetzt statt an seiner Ausgabe, steht im Verordnungstext nicht.

Die Kommission hat im Juli nachgelegt und in ihren Leitlinien zu Art. 50 AI Act ausbuchstabiert, dass Agenten offenlegen müssen, wer sie sind und in wessen Namen sie handeln, ausdrücklich auch dort, wo etwas bestätigt oder autorisiert wird. Als Beispiel steht das Buchen von Terminen im Text. Das ist präzise gearbeitet, und es beantwortet die Frage, wer da spricht. Ob der Agent vorher fragen muss, steht nirgends.

Die Berufspolitik hat das Thema im Mai gleich dreimal aufgerufen, mit Beschlüssen, die inhaltlich richtig sind. Die Aufsicht über den Gesamtprozess sei nicht delegierbar, auch nicht an eine KI, ärztliche Aufsicht müsse strukturell sichergestellt sein, und autonome Entscheidungen ohne ärztliche Freigabe seien unzulässig. Nur suchen alle drei den Agenten im Behandlungszimmer, bei Diagnose und Therapieentscheidung. Er sitzt am Telefon. Dasselbe gilt für das Papier der Leopoldina zu agentischer KI im Gesundheitssystem vom Juni. Es beschreibt die Verschiebung treffend und legt die ärztliche Freigabe in seinen Fallbeispielen auf die Therapieanpassung. Terminierung, Alarmierung und Koordination laufen ohne. Genau dort steht der Markt.

Was Schulung nicht löst

Sie können Ihr Team perfekt schulen. Wenn die Software nicht fragt, gibt es nichts zu beaufsichtigen. Für Hochrisiko-Systeme zieht die Verordnung selbst diesen Schluss, indem sie den Betreiber die Aufsichtsmaßnahmen organisieren lässt, die der Anbieter vorgesehen hat. Für alle anderen Systeme gilt derselbe Mechanismus ohne Norm dahinter. Wer keine Haltestelle eingebaut bekommt, kann auch niemanden hinstellen.

Damit wandert menschliche Aufsicht aus der Fortbildung in den Einkauf, und das ist die eigentliche Nachricht für jede Leitungsrunde. Die KI-Kompetenz nach Art. 4 AI Act bleibt daneben eine eigene, dokumentierte Pflicht. Sie ersetzt die Kaufentscheidung nicht.

Drei Entscheidungen, die im eigenen Haus fallen

Die gute Nachricht ist, dass die Lösung nicht in Brüssel liegt, und dass sie aus drei Entscheidungen besteht.

Vor dem Kauf

Ob ein System anhält, ist eine Produkteigenschaft, und der Markt liefert beide Bauweisen. ETERNO Connect etwa, das Telefonmodul der cloudbasierten Praxissoftware von ETERNO Health, erfasst jedes Anliegen strukturiert und übergibt es an das Team; alles, was eine persönliche Bearbeitung erfordert, landet dort als Aufgabe. Andere Systeme erledigen fallabschließend und melden danach. Beide Bauweisen sind vertretbar gebaut, und beide sind auf der Produktseite kaum auseinanderzuhalten, solange man nicht danach fragt.

Bei der Einrichtung

Trennen Sie, was das System anlegen darf, von dem, was es löschen darf. Ein Termin, der zu viel gebucht wurde, kostet zehn Minuten. Ein Termin, der zu Unrecht gestrichen wurde, kostet vier Monate. Anlegen ist reversibel, Löschen ist es nicht, und diese eine Unterscheidung fängt den größten Teil des Problems ab. In den meisten Systemen ist das ein Häkchen, das bei Auslieferung gesetzt ist und das niemand angefasst hat.

Im Betrieb

Sehen Sie einmal am Tag die Liste dessen an, was das System eigenständig getan hat, und halten Sie fest, dass Sie es getan haben. Fünf Minuten, eine Person, ein Vermerk. Das ist die einzige Form von Aufsicht, die zu einem Agenten passt, weil sie nicht verlangt, fünfzehnmal in der Stunde etwas freizugeben, was niemand leisten kann.

Der dritte Punkt trägt am weitesten. Dasselbe Protokoll, das Ihnen im Streitfall entgegengehalten wird, wird zu Ihrem Entlastungsdokument, sobald daneben steht, dass jemand hingesehen hat. Ohne diesen Vermerk beweist die Akte nur, dass etwas passiert ist. Mit ihm beweist sie, dass Ihre Praxis es kontrolliert hat.

Eskalation ist keine Freigabe

Eine Unterscheidung hilft im Anbietergespräch mehr als jede Checkliste. Was der Markt heute meist anbietet, ist Eskalation, erkennbar an Formulierungen wie der von medflex, wonach bei „sehr komplexen oder unklaren Anliegen“ der Anruf zur manuellen Prüfung an das Team geht. Das ist vernünftig gebaut, und es hilft dort nicht, wo es darauf ankommt. Der Mensch kommt ins Spiel, wenn das System unsicher ist. Er kommt nicht, wenn es sicher und falsch ist.

Bei entscheidungsunterstützender Software lautete die entscheidende Frage vor dem Kauf, wie zuverlässig ein System ist. Bei einem Agenten lautet sie, wo er anhält. Drei Fragen dazu stehen auf keiner Produktseite.

1. 01An welcher Stelle im Ablauf wartet das System auf einen Menschen aus meinem Haus, und lässt sich diese Stelle einstellen?
2. 02Welche Handlungen kann es ausführen, die sich nicht zurücknehmen lassen, und wie schalte ich die ab?
3. 03Wer wird im Ablauf um Bestätigung gebeten?

Auf die dritte Frage lautet die Antwort derzeit häufig, der Patient. Das ist ein guter Service. Als Aufsicht war er nie gemeint.