vALID: AI-Driven Decision-Making in the Clinic

Neue Publikation: Klinische Entscheidungsfindung mit Künstlicher Intelligenz. Ein interdisziplinärer Governance-Ansatz

02. Mai 2023

In der Governance-Perspektive des Verbundprojektes werden die Ergebnisse aller Teilprojekte zusammengebracht und in konkrete Handlungsempfehlungen überführt. Ziel des Bandes ist es, Orientierung zu bieten, wenn KI im klinischen Alltag eingesetzt wird. Neben einer konkreten Problembeschreibung bietet der Band einen Überblick über die Ergebnisse aus zwei Anwendungsfällen im Bereich der Nephrologie. Diese werden aus ethischer und rechtlicher Perspektive reflektiert. Das Verbundprojekt empfiehlt für die erfolgreiche Implementierung zukünftiger KI-Systeme im klinischen Alltag eine anwendungsorientierte Entwicklung, die Möglichkeit, bedeutsame Kontrolle über KI-Systeme auszuüben, angepasste Verfahren für die Zertifizierung und Zulassung von KI-Systemen, klare Regelungen zur Haftung im Falle von Schäden sowie die kontinuierliche Einbindung klinischer Organisationsstrukturen in den Implementierungsprozess.

Die Open-Access-Publikation ist absofort hier abrufbar

 

Neue Publikation: When performance is not enough—A multidisciplinary view on clinical decision support

24. April 2023

In ihrem Artikel präsentieren Roller et al. eine multidisziplinäre Sichtweise auf Machine Learning in medizinischen Entscheidungsunterstützungen und reflektieren dabei informationstechnologische, medizinische sowie ethische Aspekte. Sie gehen darauf ein, dass wissenschaftliche Veröffentlichungen über die Anwendung von Machine-Learning-Modellen im Gesundheitswesen oft darauf abzielen, Leistungsmetriken zu verbessern. Es gibt jedoch viele weitere Aspekte zu berücksichtigen, um nachhaltige Fortschritte zu erzielen. Zielgruppe sind Informatiker:innen, die planen, in einem klinischen Kontext zu forschen. Der Schwerpunkt des Artikels liegt nicht auf dem Modell selbst oder potenziellen Leistungsverbesserungen, sondern darauf, anderen Forscher:innen die Einsichten und Erfahrungen bei der Implementierung und Evaluierung des Systems in einem klinischen Kontext innerhalb eines hoch interdisziplinären Pilotprojekts von Informatiker:innen, Mediziner:innen, Ethiker:innen und Rechtsexpert:innen zu vermitteln. Ein Risikovorhersagesystem im Bereich der Nephrologie wird als Beispiel genommen, um die verschiedenen Aspekte zu beleuchten.

 

Der vALID-Verbund veranstaltet ein Symposium mit dem Titel: Kollegin KI – wie sieht die Patientenversorgung der Zukunft aus?

Wann?
Am 17. Januar von 16:00 Uhr – 20:00 Uhr

Wo?
Einsteinsaal der Berlin-Brandenburgischen
Akademie der Wissenschaften
Veranstaltungszentrum 5. Obergeschoss
Jägerstraße22/23
10117 Berlin

Da die Plätze begrenzt sind, bitten wir bei Interesse um eine Anmeldung unter folgender E-Mail-Adresse: tamari.akhaladze@ix-institut.de. Wir freuen uns auf den gemeinsamen Austausch.

 

Neue Publikation: ‚Nothing works without the doctor:‘ Physicians’ perception of clinical decision-making and artificial intelligence

20. Dezember 2022

In Frontiers in Medicine ist ein neuer vALID-Artikel erschienen: ‚Nothing works without the doctor:‘ Physicians’ perception of clinical decision-making and artificial intelligence ist die Auswertung einer qualitativen Studie, in der Ärztinnen und Ärzte zu ihren Erfahrungen mit und ihrer Einstellung gegenüber KI-gestützten Entscheidungsunterstützungssystemen befragt wurden. Die Ergebnisse zeigen eine offene Haltung. Anforderungen an den Einsatz von neuen KI-Systemen umfassen Forderungen nach besserer Erklärbarkeit und Kontrolle. Weitere Erkenntnisse unterstreichen die Notwendigkeit, klassische Stärken der medizinischen Profession beim Einsatz neuer KI-Systeme aufrechtzuerhalten, bisherige Routinen im klinischen Alltag nicht zu ignorieren und die Beziehung zu den Patientinnen nicht zu gefährden. Samhammer et al. schließen daher auf die Notwendigkeit, neue KI-Systeme auf partizipative Entscheidungsfindung auszurichten, Erklärbarkeit kontextspezifisch zu denken und eine bedeutsame Interaktion mit den verfügbaren Systemen zu fördern.

Neue Publikation: „Evaluation of a clinical decision support system for detection of patients at risk after kidney transplantation“

25. Oktober 2022

In Frontiers in Public Health ist ein neuer vALID-Artikel erschienen: In „Evaluation of a clinical decision support system for detection of patients at risk after kidney transplantation“ präsentieren und diskutieren Roland Roller et al. die empirische Studie in vALID. In der Studie wurde ein auf KI-basiertes Unterstützungssystem getestet, das bei der Risikobewertung von Patienten nach einer Nierentransplantation eingesetzt werden kann. Die Ergebnisse der internen Validierung waren vielversprechend. Zum Vergleich der Leistung von Nephrologen mit und ohne dem System, wurde eine weitere Studie durchgeführt: Die Ärzte wurden gebeten das Risiko einer Abstoßung und eines Transplantatverlusts vorherzusagen, zunächst ohne und in einem zweiten Teil mit den Empfehlungen des KI-Systems. Die Studie zeigt zunächst, dass die Vorhersagen der Ärzte mit denen des Systems übereinstimmen. Die Leistung verbessert sich jedoch nicht.

 

Beginn der empirischen Studien in vALID

21. Januar 2021

Die vALID-Teilprojekte am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) und der Charité Berlin haben mit den empirischen Untersuchungen in vALID begonnen. Im Zuge dieser Studien werden KlinikerInnen und PatientInnen mit Mock-up-Simulationen KI-gesteuerter klinischer Entscheidungsunterstützungssysteme konfrontiert. Das vALID-Team freut sich sehr auf die nun kommende Phase der Datenerhebung und Auswertung.

 

Neue Publikation: „Just Data? Solidarity and justice in data-driven medicine“

25. August 2020

In Life Sciences, Society and Policy ist ein neuer vALID-Artikel erschienen: In „Just Data? Solidarity and justice in data-driven medicine“ argumentieren Patrik Hummel und Matthias Braun, dass daten- und algorithmengetriebene Medizin auf Formen von Solidarität aufsetzt, gleichzeitig jedoch Ungerechtigkeiten für Individuen und Populationen erzeugen, verfestigen oder verstärken kann. Angesichts dieses Spannungsfeld schlagen die Autoren vor, Datensubjekte zu mehr Kontrolle über ihre Daten zu befähigen, und in der Governance die Effekte solcher Technologien auf individuelle Freiheitsvollzüge zu fokussieren.

 

Neue Publikation: „Contact-tracing apps: contested answers to ethical questions“

16. Juli 2020

In Nature ist eine Korrespondenz von Matthias Braun und Patrik Hummel erschienen: „Contact-tracing apps: contested answers to ethical questions“ weist auf ethische Abwägungs- und Aushandlungsprozesse rund um Tracing-Apps hin. Der Kommentar befasst sich somit nicht direkt mit KI, entfaltet jedoch Überlegungen, die sich auf eine Vielzahl von Digital-Health-Anwendungen und weitere Technologien übertragen lassen, und daher in vALID weiter berücksichtigt und vertieft werden.

 

Neue Publikation: „Own Data? Ethical Reflections on Data Ownership“

15. Juni 2020

In Philosophy & Technology ist eine neue Publikation aus vALID erschienen. In „Own Data? Ethical Reflections on Data Ownership“ gehen Patrik Hummel, Matthias Braun und Peter Dabrock der Frage nach, was die Forderung nach einem Dateneigentum bedeuten könnte, die sich unter anderem bei datengetriebenen Anwendungen in der Klinik stellt. Die Autoren weisen auf eine ganze Reihe verschiedener Anliegen hin, die unter dem Schlagwort „Dateneigentum“ verhandelt werden. Neben einer Systematisierung verschiedener Konnotationen und Verständnisse erarbeiten sie einen Interpretationsvorschlag: Forderungen nach einem Dateneigentum scheinen erstens auf die Umverteilung materieller Ressourcen und zweitens auf die Anerkennung von Datensubjekten abzuzielen.

 

Neue Publikation: „Primer on an Ethics of AI-based Decision Support Systems in the Clinic“

3. April 2020

Im Journal of Medical Ethics ist eine erste Publikation aus vALID erschienen. In ihr beschreiben Matthias Braun, Patrik Hummel, Susanne Beck und Peter Dabrock ethische und rechtliche Herausforderungen klinischer, KI-gestützter Entscheidungsfindung. Ebenso formulieren sie erste Vorschläge, wie die Leitidee einer „meaningful human control“ in solchen Kontexten verstanden werden könnte. Neben dem Artikel haben die Autoren einen Eintrag im Blog des Journal of Medical Ethics veröffentlicht. Sowohl der Artikel als auch der Blog-Post sind frei zugänglich.

 

vALID Kickoff-Meeting, Berlin

11. März 2020

Das Kickoff-Meeting von vALID fand am 11. März in Berlin statt. Im Mittelpunkt des Treffens standen neben organisatorischen Punkten bereits erste inhaltliche Fragen, die das Projektteam im Laufe der kommenden drei Jahre beleuchten wird: Welche Akteure sind an der klinischen Entscheidungsfindung wie beteiligt, wenn KI als Drittes neben ÄrztIn und PatientIn hinzutritt? Wer ist für Fehler verantwortlich? Was würde es heißen, die Black Box KI in der Klinik für AnwenderInnen und Betroffene transparent zu machen? Wie könnte in diesen Kontexten dem Ideal der vertrauenswürdigen KI in der Klinik entsprochen werden? Um diesen Fragen nachzugehen, wurden erste Hypothesen und Arbeitsschritte definiert. Das Projektteam freut sich darauf, Sie auf diesen Seiten über Entwicklungen in vALID auf dem Laufenden zu halten.

 

Pressemitteilung zum Projekt vALID

6. November 2019

Die Friedrich-Alexander-Universität Erlangen-Nürnberg informiert in einer Pressemitteilung über das neue interdisziplinäre Forschungsprojekt vALID, das ethische und rechtliche Herausforderungen beim Einsatz von künstlicher Intelligenz in der klinischen Entscheidungsfindung untersucht.