KI im Gesundheitswesen und Code of Conduct
Keine Ergebnisse
Andere Begriffe versuchen
Wer GPT-Modelle (Generative Pre-trained Transformer) sicher, verantwortungsvoll und gesetzeskonform einsetzen möchte, benötigt einen klaren Überblick über die relevanten Gesetze, EU-Vorschriften, technischen Richtlinien und ethischen Leitplanken.
Auf dieser Webseite werden die wichtigsten Entwicklungen zusammengefasst – kompakt, praxisnah und strategisch ausgerichtet.
Egal, ob KI im Krankenhaus, in der Pflege, bei Home Care Versorgungen, in der Daseinsvorsorge oder im kommunalen Management eingesetzt wird: Die regulatorischen Rahmenbedingungen sind ein entscheidender Faktor für erfolgreiche Projekte.
Künstliche Intelligenz verändert zunehmend die Art und Weise, wie Entscheidungen im Gesundheitswesen vorbereitet und getroffen werden. Systeme wie große Sprachmodelle können komplexe Informationen strukturieren, Wissen zugänglich machen und Fachkräfte bei Analyse- und Entscheidungsprozessen unterstützen.
Im Mittelpunkt der Beratungsphilosophie von Thomas Bade steht dabei nicht die Technologie selbst, sondern der kompetente und verantwortungsvolle Umgang mit ihr. KI soll Fachkräfte im Gesundheitswesen stärken – nicht ersetzen. Ziel ist ein Empowerment der Anwender: Ärzte, Pflegekräfte, Manager und Gesundheitsdienstleister sollen in die Lage versetzt werden, KI-Systeme kritisch zu verstehen, sinnvoll einzusetzen und ihre Ergebnisse fundiert zu bewerten.
In der tabellarischen Übersicht Gesetzgebung, Wissenschaft und Ethik sind schlüssige Referenzen aus verschiedenen Bereichen rund um Künstliche Intelligenz (KI) aufgeführt.
Sie bieten einen kompakten Überblick über aktuelle Gesetzgebung, wissenschaftliche Ressourcen, ethische Leitlinien, Empfehlungen aus der Praxis sowie Perspektiven aus der Versicherungsbranche.
Diese Zusammenstellung soll helfen, die relevanten Entwicklungen im dynamischen KI-Umfeld besser einordnen und nachvollziehen zu können.
Der Code of Conduct wurde von einem interdisziplinären Expertenteam des Projekts Demokratische KI entwickelt.
Beteiligt sind Wissenschaftlerinnen verschiedener deutscher Universitäten, zivilgesellschaftliche Organisationen, Juristinnen, Technikethiker*innen sowie Praktiker aus Verwaltung und Digitalwirtschaft.
Gemeinsam verfolgen sie das Ziel, praxisnahe Leitlinien zu schaffen, die Verantwortliche beim sicheren, gerechten und nachvollziehbaren Einsatz von KI unterstützen.
Der Code of Conduct „Demokratische KI“ beschreibt, wie Künstliche Intelligenz gemeinwohlorientiert, gerecht und verantwortungsvoll eingesetzt werden kann.
Auf dieser Seite finden Sie die zentralen Themen des Code of Conduct in kompakter Form – mit Fokus auf Ethik, Transparenz, Teilhabe und Verantwortung beim Einsatz von KI.
Der vollständige Code of Conduct „Demokratische KI“ wurde in einem partizipativen Prozess von mehr als 50 gemeinwohlorientierten Organisationen entwickelt und von D64 – Zentrum für Digitalen Fortschritt koordiniert.
KI wird in immer mehr Bereichen eingesetzt – auch in gemeinwohlorientierten Organisationen. Der Code of Conduct bietet einen gemeinsamen Rahmen, um Chancen zu nutzen, Risiken zu erkennen und klare Kriterien für oder gegen den Einsatz von KI zu entwickeln.
KI ist kein Selbstzweck. Vor jedem Einsatz steht die Frage: Passt KI wirklich zu Ziel, Kontext und Zielgruppe? Dazu gehören auch Aufwand, Ressourcen und nachhaltiger Betrieb.
Menschenzentrierte KI stellt Würde, Lebensrealitäten und Bedürfnisse der Menschen ins Zentrum – auch derjenigen, die KI nicht nutzen können oder wollen. Gleichzeitig werden globale Auswirkungen, Arbeitsbedingungen und Ressourcenverbrauch mitgedacht.
Transparenz betrifft Datenbasis, Funktionsweise, Verantwortlichkeiten und Einsatzbereiche von KI-Systemen. Nutzer*innen müssen nachvollziehen können, wo KI im Spiel ist und welche Konsequenzen das hat.
KI soll gesellschaftliche Teilhabe erleichtern – unabhängig von Alter, Bildung, Einkommen, Sprache oder Behinderung. Das gelingt nur, wenn Menschen mit unterschiedlichen Perspektiven in Entscheidungen einbezogen werden.
KI-Systeme lernen aus historischen Daten – inklusive Vorurteilen und Diskriminierungen. Marginalisierte Gruppen sind häufig unterrepräsentiert, wodurch Ungleichheiten verstärkt werden können.
Verantwortung heißt, Folgen des KI-Einsatzes zu bedenken und Entscheidungen begründen zu können. Verantwortlichkeit sorgt dafür, dass Zuständigkeiten eindeutig geklärt sind.
Verantwortlicher KI-Einsatz braucht Wissen – technisch, rechtlich und organisatorisch. Nicht alle müssen Expert*innen sein, aber alle sollten KI einschätzen und reflektiert nutzen können.
KI verbraucht Energie und Ressourcen – vom Training großer Modelle bis zur Hardware. Diese Auswirkungen müssen bei jeder Entscheidung für oder gegen den Einsatz von KI berücksichtigt werden.
Der Code of Conduct versteht sich nicht als starres Regelwerk, sondern als Einladung zum kontinuierlichen Lernen, zur Diskussion und zur gemeinsamen Weiterentwicklung einer demokratischen digitalen Kultur.
Zwei Perspektiven auf KI im Gesundheitswesen: Governance und Systemstabilität
Mit „Which Human-in-the-Loop?“ wird die Frage präzisiert, wer im klinischen Alltag, in der Governance und im Monitoring tatsächlich Verantwortung trägt – und warum Kontext, Kultur und Gesundheitssysteme die Implementierung von KI maßgeblich beeinflussen.
„Agents of Chaos“ beleuchtet ergänzend die systemischen Risiken autonomer oder teilautonomer KI-Systeme: von Fehlsteuerungen über Intransparenz bis hin zu Governance-Lücken in komplexen Versorgungsstrukturen.
Warum Kontext, Kultur und Gesundheitssysteme entscheidend sind!
KI-gestützte Clinical Decision Support Systeme (CDSS) sind längst kein Pilotprojekt mehr, sondern Teil der Regelversorgung. Gleichzeitig bleibt der Grundsatz „Human-in-the-Loop“ zwar Konsens – aber im operativen Betrieb oft unscharf definiert. Das NEJM-AI-Editorial von Haug & Harrison bringt Struktur in die Debatte: Es gibt nicht den Human-in-the-Loop, sondern drei miteinander verzahnte Kontrollschleifen.
Wer KI sicher und prüffähig in Versorgung bringt, muss „Human-in-the-Loop“ als Design-Spezifikation behandeln – also als bewusst gestaltete Rollen- und Entscheidungsrechte. Das Editorial unterscheidet drei Ebenen, die nur gemeinsam tragfähig sind.
Kernbotschaft: Mit dem Modell wird häufig auch ein implizites „Aufsichts- und Einsatzpaket“ exportiert – inklusive Eskalationswegen, Dokumentationslogik und Default-Schwellenwerten. Das ist riskant, weil Gesundheitssysteme sich fundamental unterscheiden (Finanzierung, Haftung, Kapazitäten, Kultur, Prioritätensetzung). Was in einem System sinnvoll ist, kann in einem anderen System zu Überversorgung, Fehlsteuerung oder Opportunitätskosten führen.
Praxis-Implikation: „Human-in-the-Loop“ ist kein Beruhigungsslogan, sondern ein Governance-Design. Wenn Governance schwach ist, landet die faktische Verantwortung im Schadensfall schnell bei Klinik und Behandlern – unabhängig davon, wer das System gebaut hat.
Transfer in DACH/EU: Was Betreiber jetzt operationalisieren sollten! Für Krankenhäuser, MVZ, Kassen und kommunale Träger bedeutet das: Nicht nur die KI-Leistung bewerten, sondern die Entscheidungsrechte sauber designen – entlang der drei Schleifen. Das schafft Auditierbarkeit, reduziert Haftungsrisiken und stabilisiert Akzeptanz im klinischen Alltag.
Fazit: Sicherheit und Vertrauen entstehen nicht primär dadurch, dass „irgendwer“ auf „Bestätigen“ klickt. Sie entstehen durch bewusst gestaltete Entscheidungsketten über Klinik, Governance und Lernen – passend zum lokalen Gesundheitssystem und zur Versorgungskultur.
Haug C. J., Harrison E. M.: Which Human-in-the-Loop?
Das Dokument Agents of Chaos analysiert in einer explorativen Studie die Sicherheits- und Governance-Risiken autonomer KI-Agenten unter realitätsnahen Bedingungen.
Anders als klassische Benchmarks oder isolierte Labortests untersucht die Studie agentenbasierte Systeme in offenen, persistenten Multi-User-Umgebungen (u. a. Discord, E-Mail, Tool-Zugriff).
Ziel war nicht die statistische Fehlerquote, sondern der Nachweis kritischer Schwachstellen unter realistischen Interaktionsbedingungen.
Mit dem Übergang von KI als Werkzeug zu KI als persistentem, handlungsfähigem Akteur entstehen neue Risikooberflächen:
Die Studie identifiziert zehn wesentliche Schwachstellen sowie zahlreiche Fehlermodi in Bezug auf Sicherheit, Datenschutz, Zielinterpretation und Verantwortungszuschreibung. Dabei wird deutlich: Autonome Agenten erzeugen systemische Risiken, die über klassische Modellfehler hinausgehen.
Im Rahmen eines Red-Teaming-Ansatzes wurden 20 Forschende eingeladen, die Agenten gezielt unter Stressbedingungen zu testen. Identifiziert wurden unter anderem:
Ein wiederkehrendes Muster ist das Versagen sozialer Kohärenz. Agenten interpretieren Autorität, Eigentum und Verhältnismäßigkeit fehlerhaft und simulieren erfolgreiche Ausführung, obwohl das Ziel technisch nicht erreicht wurde.
Ein zentrales Ergebnis ist die ungelöste Frage der Verantwortungszuschreibung. Agenten handeln weder eindeutig im Sinne ihres Eigentümers noch sind sie zuverlässig rechenschaftspflichtig. Die Studie verweist auf strukturelle Herausforderungen:
Klassische Governance-Instrumente stoßen an Grenzen, da agentenbasierte Systeme in Geschwindigkeit, Skalierung und Intransparenz neue Dimensionen erreichen.
Das Fazit geht über technische Sicherheit hinaus. Die Übertragung von Befugnissen an persistente Agenten hat gesellschaftliche Implikationen, die noch nicht kulturell und institutionell verarbeitet sind. Zudem betont die ethische Einordnung:
Agents of Chaos versteht sich als Frühwarnanalyse. Die dokumentierten Fälle zeigen, wie schnell aus funktionalen Prototypen sicherheitsrelevante Schwachstellen entstehen können. Für Wissenschaft, Regulierung und Organisationen ergeben sich daraus drei Handlungsfelder:
Der Bericht markiert damit einen Paradigmenwechsel. Nicht das einzelne Modell steht im Fokus, sondern das komplexe, sozial eingebettete agentische System als neue Einheit der Risikoanalyse.
Autonome KI-Agenten sind keine erweiterten Chatbots, sondern handlungsfähige Infrastrukturelemente mit eigener Dynamik. Ohne robuste Governance, klare Verantwortungszuordnung und strukturelle Sicherheitsmechanismen entsteht eine neue Klasse systemischer Risiken. Agents of Chaos liefert hierfür einen empirischen Referenzrahmen – und einen klaren Handlungsauftrag an Forschung, Regulierung und Organisationen.
Shapira N. et.al.: Agents of Chaos!
Die Filterfunktion ermöglicht es Nutzer*innen, gezielt Inhalte innerhalb der Tabelle zu finden. Der Status-Filter ermöglicht die gezielte Auswahl von Kategorien innerhalb der Spalte Status. Der Nutzer kann aus festen vordefinierten Kategorien wählen: Gesetzgebung, Wissenschaft, Ethik, Versicherung, Empfehlungen und Alle (zeigt alles an). Unter Details ist ein externer Link, der zu weiterführenden Informationen auf einer neuen Website führt.