Warum beschäftigen Sie sich als Medizinethiker mit Künstlicher Intelligenz?

PD Dr. Markus Herrmann: Künstliche Intelligenz beginnt schon jetzt, in alle Bereiche der Medizin vorzudringen, und in wenigen Jahren werden solche Anwendungen allgegenwärtig sein. Das beginnt mit dem Schreiben von Arztbriefen über die Diagnosestellung bis hin zur Auswertung von Bildmaterial. Sogar im Operationssaal kann eine KI Empfehlungen geben, etwa wie Nähte bei einer Herzklappen-OP gesetzt werden müssen. 

Das Thema wirft viele ethische Fragen auf, die vom Datenschutz und Verantwortung bis zu Vertrauen und Akzeptanz reichen. Deshalb ist es für die Medizinethik so interessant.

Was spricht aus ethischen Gründen für den Einsatz von KI?

Dr. Herrmann: Das ist vor allem der potenzielle Patient:innennutzen auf vielen Ebenen. Einerseits kann KI das, was wir bereits tun, verbessern, z. B. Behandlungsmethoden und Diagnosen. Es werden andererseits auch viele Menschen profitieren, die jetzt noch zu kurz kommen. Expert:innen forschen beispielsweise an niederschwelligen Lösungen zur Erkennung von Gebärmutterhalskrebs, die keine teuren Labore benötigen. Dies böte einen echten Mehrwert in Ländern mit niedrigen und mittleren Einkommen.

Nicht zuletzt bergen die neuen Technologien das Potenzial, Ressourcen im Gesundheitssystem freizusetzen. Das wäre im Hinblick auf die alternde Gesellschaft und steigende Krankenzahlen wichtig. Da die Umsetzung zunächst teuer ist, muss sich aber noch erweisen, ob unterm Strich tatsächlich Ressourcen verfügbar werden.

Welche Anwendungsgebiete von KI sehen Sie besonders kritisch?

Dr. Herrmann: Wirklich kritisch sehe ich nicht so sehr, wo Ärzt:innen Algorithmen einsetzen, sondern wenn etwa Versicherungen KI nutzen, um zu entscheiden, ob Personen einen Vertrag abschließen dürfen. In Ländern wie den USA, die nur eine schwache öffentliche Hand im Gesundheitsbereich haben, wäre ein solches Profiling noch viel schlimmer als hierzulande.

Ist der Einsatz eines KI-Programms unter bestimmten Voraussetzungen ethisch unvertretbar?

Dr. Herrmann: Es kann ethisch geboten sein, eine KI nicht zu nutzen, wenn wir wissen, dass sie bestimmte Gruppen systematisch benachteiligt. Die Trainingsdaten stammen aus dem Gesundheitssystem und dort sind bestimmte Personen schlecht repräsentiert. Wollen Sie jemanden aus einer solchen Gruppe dann mit dem KI-System behandeln, kann es Nachteile geben.

Das klassische Beispiel ist eine App zur Melanomerkennung bei Menschen dunkler Hautfarbe. Zu dieser Gruppe liegen sehr viel weniger Daten vor – zum einen gibt es insgesamt weniger von ihnen in unseren Kliniken und zum anderen handelt es sich um eine Krankheit, die bei dunkler Haut viel seltener auftritt. Da würde ich mir zweimal überlegen, ob ich die Anwendung bei diesen Patient:innen einsetze oder mir die fraglichen Hautstellen als Dermatolog:in doch selbst nochmal im Detail ansehe. Solche Defizite müssten aber bereits im Testungsprozess aufgedeckt und die Anwendung mit einer entsprechenden Empfehlung oder einem Warnhinweis herausgegeben werden.

Sollten bestimmte Entscheidungen unbedingt in menschlicher Hand verbleiben?

Dr. Herrmann: Ich bin der Meinung, dass wir in der Medizin noch keine automatisierten Entscheidungen durch KI haben sollten. Die Ausnahme bilden eventuell wenige Randgebiete, in denen hoher Zeitdruck herrscht oder die menschliche Sinneswahrnehmung sowieso nichts leisten kann. Ich glaube allerdings, dass es irgendwann vollautomatisierte Entscheidungsprozesse geben wird, aber davon sind wir noch viele Jahre entfernt.

Können Menschen noch nachvollziehen, wie Algorithmen entscheiden?

Dr. Herrmann: Sie können die Berechnungen nicht verstehen, aber das müssen sie zur Supervision auch nicht. Ärzt:innen haben immer Informationen, die der KI fehlen. Wenn Patient:innen in die Sprechstunde kommen, erfahren Behandler:innen mehr als im Bildmaterial enthalten ist, das sie der KI zuspielen. Mediziner:innen könnten auch merken, dass die Aufnahme beispielsweise veratmet ist oder es ein Problem mit dem Kontrastmedium gab und der Algorithmus somit keine aussagekräftige Entscheidung treffen konnte. Dieser Informationsvorsprung kann reichen, um gegebenenfalls den KI-Output zu ignorieren.

Zudem gibt es Erklärbarkeitstools, die die Entscheidung des Programms nachvollziehbar machen sollen. Im Gebiet der Bildgebung kann etwa angezeigt werden, welche Bereiche für den KI-Output besonders relevant waren. Wenn Fachleute dann erkennen, dass sich der Algorithmus z. B. nicht die entsprechende Hautstelle, sondern Markierungen angesehen hat, können sie das Ergebnis natürlich sofort übergehen.

Was, wenn das Ergebnis der KI dem ärztlichen Urteil widerspricht? 

Dr. Herrmann: Falls Fachärzt:innen zu einem anderen Ergebnis kommen als die KI, sollten sie sich noch einmal alle Informationen zu dem Fall ansehen und gemäß ihrer Expertise ein Urteil treffen. Wenn er oder sie dann alle Daten noch einmal kritisch geprüft hat und sicher ist, dass die KI falsch liegt, besteht die Verpflichtung, entsprechend zu handeln.

Kommt Menschen bei einer KI-gestützten Behandlung weiter die uneingeschränkte Verantwortung zu?

Dr. Herrmann: Auch wenn Ärzt:innen die letzte Entscheidung treffen, können sie nicht die volle Verantwortung tragen, weil ihnen Informationen fehlen. Obwohl es Hilfsmittel wie Erklärbarkeitstools gibt, sind die Entscheidungswege dafür nicht transparent genug. Hier braucht es dringend Ethikforschung, wie die Verantwortungspflichten von Mediziner:innen aussehen und wo die Grenzen ihrer Letztverantwortung liegen.

Neben den Behandler:innen tragen Kliniken die Verantwortung dafür, dass sich die Geräte auf dem neuesten Stand befinden und sie ihre Mitarbeitenden im kompetenten Umgang mit ihnen schulen. Die Hersteller bleiben verantwortlich, dass sie den Algorithmus entsprechend getestet haben und der Gesetzgeber muss geeignete Rahmenbedingungen schaffen. 

An einem gewissen Punkt können immer Fehler auftreten, bei denen eine klare Schuldzuweisung nicht gelingt. In anderen technischen Bereichen gibt es bereits Fonds, die bei solchen Fehlern entschädigen und in die die Hersteller einzahlen. Diesen Weg halte ich auch bei Künstlicher Intelligenz für hochgradig interessant.

Wissen Ärzt:innen genug über KI, um sie verantwortungsvoll einzusetzen?

Dr. Herrmann: Nein. Und das trifft auch auf uns als Forschende zu. Wir brauchen viel mehr Forschung dazu, wo die Schwachstellen in der Interaktion von Mensch und Maschine sind und wie die Zusammenarbeit möglichst gut abläuft. 

Wenn Ärzt:innen den Patient:innen mitteilen, der Algorithmus empfehle eine bestimmte Chemotherapie, muss das entsprechend eingeordnet werden. Grade bei Therapieentscheidungen kommen immer Werte ins Spiel, verschiedene Interessen der Erkrankten, die zu berücksichtigen sind. Es besteht die Gefahr, dass die Empfehlung unkritisch übernommen wird, wenn es heißt, die KI habe das kalkuliert. Aber das Programm kann so etwas nicht berechnen, weil es diese Fakten und Werte der Patient:innen nicht kennt.

Insgesamt fehlen uns noch viele Informationen, aber selbst die, die es gibt, sind noch nicht relevant in die ärztliche Ausbildung eingesickert. Ich halte es aber für ganz wichtig, dass wir Mediziner:innen entsprechend schulen, auch was die Fallstricke beim KI-Einsatz sind.

Worin bestehen denn die größten Fallstricke?

Dr. Herrmann: Der größte Fallstrick ist, anzunehmen, das Ergebnis stimme schon, weil es die KI ausgegeben hat. Genauso schlimm ist es aber, zu meinen: „Was will mir eine KI schon als Expert:in sagen?“ Ersteres nennt man Automation Bias. Im zweiten Fall spricht man von Algorithm Aversion, also die Ablehnung algorithmenbasierter Empfehlungen, weil man es als Mensch sowieso besser wisse. 

Wenn einem etwas komisch vorkommt, sollte man sich noch einmal kritisch alle Datenpunkte ansehen. Was könnte der Grund gewesen sein, warum die KI so entschieden hat? Worin bestanden meine Gründe, dass ich in diese Richtung neige? Ein wichtiger Punkt ist auch, alle Features der KI zu nutzen. Wenn das Programm Erklärbarkeitstools hat, die die Berechnungen verständlich machen sollen, sollte man sich diese sorgfältig anschauen.

Kommt bei datengestützten Entscheidungen der individuelle Patient:innenwille zu kurz?

Dr. Herrmann: Die Gefahr besteht auf jeden Fall. Ärzt:innen und Erkrankten ist oft nicht klar, dass Therapieentscheidungen kein richtig und falsch kennen, sondern präferenzabhängig sind. Noch schwieriger gestaltet sich daran, dass diese Präferenzen den Patient:innen oft nicht bewusst sind, sondern sich erst im ärztlichen Gespräch zeigen. Dadurch, dass wir Computersysteme mit eindrucksvollen Erfolgsraten haben werden, steigt die Gefahr, dass die Sprechende Medizin immer weiter zu kurz kommt.

Sollten Erkrankte zustimmen müssen, ob eine KI eingesetzt wird?

Dr. Herrmann: In der Übergangszeit ist das meiner Meinung nach gesellschaftlich erforderlich. Nicht, weil es sachlich nötig wäre, sondern weil es Vertrauen schafft. KI ist ein Reizwort für viele Personen und wir tun uns keinen Gefallen damit, sie intransparent einzusetzen. Ich würde es immer im Patient:innengespräch erwähnen.

Welche Voraussetzungen muss eine Anwendung erfüllen, um Mehrwert zu bieten und Risiken zu minimieren?

Dr. Herrmann: Die Geräte müssen robust getestet sein und ihren Nutzen außerhalb der Entwicklungslabore unter Beweis gestellt haben. Wir müssen aber auch überhaupt zulassen, dass sie entwickelt und an die Patient:innen gebracht werden. Letzteres ist momentan aufgrund regulatorischer Ungewissheiten schwer. 

Öffentliche Forschungsinstitutionen sind zudem gefragt, eine Infrastruktur zu schaffen, in der die Entwicklungsprozesse Forschender den Weg nehmen können, der bei großen Technikunternehmen die Regel ist. Dass vielversprechende Anwendungen bei Erkrankten ankommen, ist nicht die Aufgabe der Wissenschaftler:innen, sondern vor allem der Institution, die die Forschung betreibt.

Überwiegen in der Medizin insgesamt die Chancen oder die Risiken?

Dr. Herrmann: In der Medizin sind es bei Weitem die Chancen – wenn die entsprechenden ethischen Rahmenbedingungen gegeben sind.

Interview: Lara Sommer