AI-Driven Decision-Making in the Clinic (vALID)

Kurzbeschreibung

Künstliche Intelligenz (KI) scheint in aller Munde. Von zunehmender Bedeutung sind Anwendungen von KI im Bereich klinischer Entscheidungsfindung. Liegen einige der denkbaren Anwendungen klinischer KI noch in der Zukunft, verändern andere bereits die Praxis. Das Projekt vALID unternimmt eine normative, rechtliche und technische Analyse der Frage, wie KI-gesteuerte klinische Entscheidungsunterstützungssysteme mit dem Ideal der Arzt- und Patientensouveränität in Einklang gebracht werden können. Es untersucht, wie Konzepte von Vertrauenswürdigkeit, Transparenz, Akteurschaft und Verantwortung durch klinische KI beeinflusst und verschoben werden—sowohl auf theoretischer Ebene als auch im Hinblick auf konkrete moralische und rechtliche Konsequenzen. Eine der Hypothesen von vALID ist dabei: Die Grundbegriffe unseres normativen und bioethischen Instrumentariums sind von Bedeutungsverschiebungen betroffen. Und zwar: Je nach Einbettung der in Entscheidungsprozesse werden die Interaktionsmodi der beteiligten Akteure unterschiedlich verändert. vALID untersucht deswegen folgende Problemstellungen: Welche Akteure sind an der klinischen Entscheidungsfindung wie beteiligt, wenn KI als Drittes neben ÄrztIn und PatientIn hinzutritt? Wer ist für Fehler verantwortlich? Was würde es heißen, die Black Box KI in der Klinik für AnwenderInnen und Betroffene transparent zu machen? Wie könnte in diesen Kontexten dem Ideal der vertrauenswürdigen KI in der Klinik entsprochen werden?

Die Analyse basiert auf einer empirischen Fallstudie, welche anhand von Mock-up-Simulationen KI-getriebener, klinischer Entscheidungsunterstützungssysteme systematisch die Einstellung von Ärzten und Patienten zu einer Bandbreite von Designs und Implementierungen erfasst. Ziel ist schließlich die Erarbeitung von interdisziplinären Handlungsempfehlungen für Systemdesign, Regulierung und Implementierung KI-gestützer klinischer Systeme, die Prozesse nicht nur optimieren, sondern ÄrztInnen- und PatientInnensouveränität beim Einsatz dieser Technologie in den Mittelpunkt rücken

Mittelgeber: Bundesministerium für Bildung und Forschung (BMBF)

Akronym: vALID – AI-Driven Decision-Making in the Clinic

Projektzeitraum: 2020–2023

Teilprojekte

Ethisches Teilprojekt

Das Forschungsprofil des Lehrstuhls für Systematische Theologie II (Ethik) an der Friedrich-Alexander-Universität Erlangen-Nürnberg wird im Wesentlichen durch eine fundamentaltheologische und konkrete Ethik geprägt, und umfasst insbesondere Fragestellungen im Bereich der Bio- und Sozialethik. Ethik wird dabei als Wissenschaft verstanden, die normative Fragen detektiert und im Hinblick auf Voraussetzungen und Konsequenzen hin analysiert, Kriterien für die Beurteilung von Konfliktlagen ermittelt und damit zugleich auch Entscheidungsträger berät. In vALID werden dafür in einem ersten Schritt bisher in der Literatur beschriebene ethische Herausforderungen im Umgang mit künstlicher Intelligenz im Allgemeinen sowie in klinischen Kontexten im Besonderen analysiert. In einem zweiten Schritt reflektiert das Teilprojekt kritisch auf Lücken und Aporien in bisherigen Problembeschreibungen und Lösungskonzepten. Schließlich werden in einem dritten, konstruktiven Schritt und in enger Verzahnung mit den vALID-Teilprojekten Leitideen für die verantwortungsvolle Gestaltung klinischer, KI-basierter Entscheidungsunterstützung erarbeitet. Eine der Hypothesen ist dabei, dass beim Einsatz dieser Technologien neben der Optimierung von Prozessen und Entscheidungsfindung vor allem die Souveränität von ÄrztInnen und PatientInnen in den Mittelpunkt rückt.

Rechtliches Teilprojekt

Das vALID-Team der Universität Hannover (Lehrstuhl für Strafrecht, Strafprozessrecht, Strafrechtsvergleichung und Rechtsphilosophie von Prof. Dr. Susanne Beck) beschäftigt sich im Rahmen des Projekts mit rechtlichen Fragen der durch künstliche Intelligenz gestützten Entscheidungsfindung im klinischen Bereich.

Gerade bei medizinischen Entscheidungen spielen Transparenz und klare Verantwortungsverteilung eine zentrale Rolle. Nur so lassen sich Handlungsmacht der Ärzte und Selbstbestimmung der Patienten soweit wie möglich garantieren. Der Einfluss von KI auf die Entscheidungsfindung verändert unser bisheriges Verständnis dieser Konzepte. Zur genaueren rechtlichen Betrachtung dieser Problematik wird im vALID-Projekt in einem ersten Schritt der rechtliche Status Quo bezüglich des Einsatzes von KI im Rahmen von medizinischen Entscheidungen erarbeitet. Anschließend werden Lösungsansätze identifiziert und diese auch mit Blick auf andere Rechtskulturen betrachtet. In engem Austausch mit den Projektpartnern werden die empirischen Ergebnisse rechtlich bewertet und mit den ethischen Überlegungen verknüpft. Im Mittelpunkt steht daher die Ausarbeitung adäquater Praktiken für medizinische Entscheidungen mit Hilfe von KI-Systemen, welche auch weiterhin eine Zuschreibung rechtlicher Verantwortung unter gleichzeitiger Wahrung der Patientenautonomie erlauben. Eines der wichtigsten Ziele ist es, zusammen mit den Projektpartnern geeignete Richtlinien zur Schaffung neuer gesetzlicher Regelungen für den Einsatz von KI im medizinischen Kontext zu entwickeln.

Technisches Teilprojekt

Das Speech and Language Technology Lab des DFKI forscht seit längerem im medizinischen Bereich, beispielsweise in der Vorhersage von Ereignissen aufgrund der Auswertung von schriftlicher Dokumentation in Kombination mit strukturierten Daten oder an der Verbesserung der Arzt-Patient-Kommunikation. In mehreren Projekten, an denen auch die Charité beteiligt war und ist, sind Lösungen und prototypische Systeme entstanden, die nun im Projekt vALID speziell unter dem Gesichtspunkt der sich ergebenden ethischen, rechtlichen und sozialen Fragen in einer Mischung aus empirischen Untersuchungen und theoretischen Erörterungen untersucht werden. Hierbei werden zum Teil die bereits existierenden Modelle und Algorithmen eingesetzt und zum Teil wird auf Simulationen (Mock-Ups) zurückgegriffen werden, wo die heutige Technologie noch nicht so weit ist. Ein Ziel hierbei ist es, zusammen mit Medizinern und Patienten konkrete Anforderungen an zukünftige Sprachtechnologie zu entwickeln, wie beispielsweise die Erklärfähigkeit oder Transparenz gestaltet sein müssten, um die Entscheidungssouveränität der Mediziner und Datensouveränität der Patienten zu maximieren.

Empirisches Teilprojekt

Die AG Digitale Nephrologie der Charité entwickelt und pflegt seit 3 Jahrzehnten eine elektronische Patientenakte aller in Berlin nierentransplantierter Patient*innen. Auf Basis dieser hochwertigen Daten ist zur Verbesserung der Versorgung mittelfristig eine Integration von Clinical Decision Support Systemen (CDSS) auf Basis von Machine Learning Algorithmen in die bestehende Informations- und Dokumentationsoberfläche geplant. Während bereits erste Studien zur Performance vom KI-Systemen im Vergleich zu Ärzt*innen in der Vorhersage klinisch relevanter Endpunkte beginnen, sind systematische Untersuchungen bezüglich der Akzeptanz solcher Systeme auf Seiten von Ärzt*innen und Patient*innen, aber auch ethischer und rechtlicher Implikationen rar. Im Rahmen von vALID werden in Zusammenarbeit mit dem DFKI verschiedene Szenarien entwickelt, welche CDSS zunehmenden Autonomiegrades und mit unterschiedlich differenzierten Erklärungsmodellen des KI-Algorithmus simulieren. Im Rahmen einer Studie mit Ärzt*innen der Transplantationsambulanz der Charité werden anhand dieser Szenarien Daten über die Chancen und Risiken, sowie zu technisch-praktischen, ethischen und juristischen Fragestellungen, die sich in dieser besonderen Mensch-KI-Interaktion ergeben, gesammelt, welche als Grundlage für eine datenbasierte, interdisziplinäre Diskussion über KI in der Medizin dienen sollen.

Publikationen