Diese Website verwendet ausschließlich technisch notwendige Cookies, die für den Betrieb der Seite erforderlich sind. Weitere Informationen


KI Beratung für Krankenhäuser, Pflegeheime und Verwaltung







KI Betriebsüberwachung 12.03.2026

AI Post-Deployment Monitoring

KI-Systeme im Gesundheitswesen werden häufig nach erfolgreicher Zulassung als „erledigt" betrachtet. Doch Modelle driften, Patientenpopulationen verschieben sich, Scanner-Software wird aktualisiert – und plötzlich liefert dasselbe System andere, schlechtere Ergebnisse.
Zwei aktuelle Publikationen – NIST AI 800-4: Challenges to the Monitoring of Deployed AI Systems (März 2026) und die Leitlinien des Royal College of Radiologists zur Post-deployment monitoring and safety reporting of AI medical imaging devices (März 2026) – zeichnen ein klares Bild: Post-Deployment Monitoring ist kein optionales Add-on, sondern eine regulatorische und ethische Kernpflicht.

Mehr erfahren ›
Bildungsarchitektur der Pflege 27.02.2026

KI-Kompetenz in der Pflege

Der Deutsche Pflegerat (DPR) hat im Februar 2026 mit BAPID III (Bildungsarchitektur der Pflege in Deutschland) Kompetenzprofile für Pflegeberufe veröffentlicht.

Diese Kompetenzprofile zeigen präzise, wer in der Pflege welche Verantwortung trägt – und bieten Orientierung für Praxis, Bildung und Politik.

Artikel 4 EU-KI-Verordnung gilt ohne Ausnahme – auch für die Pflege.

Was jede Pflegerolle konkret wissen und können muss, bestimmt der BAPID-Kompetenzrahmen.

Mehr erfahren ›
KI-MIG 18.02.2026

Durchführungsgesetz zur Verordnung (EU) 2024/1689 über künstliche Intelligenz (EU-KI-Verordnung)

Der Regierungsentwurf von 10.02.2026 zum KI-Marktüberwachungs- und Innovationsförderungs-Gesetz etabliert eine bundesweit koordinierte Marktüberwachung unter Führung der Bundesnetzagentur, sichert eine einheitliche Rechtsanwendung, fördert Innovation durch Reallabore und Kompetenzbündelung.
Das Gesetz soll die organisatorischen Voraussetzungen für die Durchsetzung des risikobasierten EU-KI-Regimes ab 2026 schaffen.

Mehr erfahren ›

Künstliche Intelligenz im Gesundheitswesen

Die Weltgesundheitsorganisation (WHO) zeigt in ihrer aktuellen Analyse „Demystifying Artificial Intelligence in Health“, dass Künstliche Intelligenz das Potenzial besitzt, Gesundheitssysteme nachhaltig zu verbessern.
Gleichzeitig macht der Bericht deutlich, dass technologische Innovation allein nicht ausreicht.
Entscheidend sind robuste Governance-Strukturen, transparente Datenverarbeitung, qualifizierte Fachkräfte und eine konsequente Ausrichtung an der Patientensicherheit.

Diese Perspektive entspricht meiner Beratungsphilosophie.
Im Mittelpunkt steht nicht die Technologie selbst, sondern die verantwortungsvolle Integration von KI in bestehende Versorgungsstrukturen.
KI soll medizinische Entscheidungen unterstützen, nicht ersetzen.
Voraussetzung dafür sind klare organisatorische Verantwortlichkeiten, nachvollziehbare Algorithmen, hohe Datenqualität und eine enge Zusammenarbeit zwischen menschlicher Expertise und datenbasierter Analyse.

Die WHO-Analyse unterstreicht damit einen zentralen Grundsatz moderner Gesundheitsversorgung:
Der erfolgreiche Einsatz von KI entsteht durch das Zusammenspiel von Governance, Transparenz, Datenqualität und qualifizierten Fachkräften.
Genau an dieser Schnittstelle setzt mein Beratungsansatz mit dem Ziel an, Ärzte, Pflegekräfte und Gesundheitseinrichtungen im Umgang mit KI zu stärken und fundierte Entscheidungsgrundlagen für den klinischen Alltag zu schaffen.

Executive Summary anzeigen

Häufig gestellte Fragen

Ethik stellt sicher, dass KI-Systeme fair, transparent und verantwortungsvoll eingesetzt werden.
Besonders im Gesundheitswesen beeinflussen KI-Entscheidungen Diagnosen, Therapien und Versorgungsprozesse – daher müssen sie stets dem Wohl der Patientinnen und Patienten dienen und Diskriminierungen vermeiden.

Verantwortung entsteht durch klare Zuständigkeiten, nachvollziehbare Entscheidungswege und eine kontinuierliche Überwachung der KI-Modelle.
Einrichtungen müssen definieren, wer für Datenqualität, Modellauswahl und Ergebnisinterpretation verantwortlich ist – und wie Fehlentscheidungen verhindert werden.

Risikominimierung umfasst die Identifikation potenzieller Gefahren (z. B. Fehlklassifikationen, Bias, Datenlecks) und das Einführen wirksamer Kontrollmechanismen, etwa regelmäßige Validierungen, Monitoring, menschliche Aufsicht (Human-in-the-Loop) und robuste Datenschutzmaßnahmen.
Besonders bei „High-Risk AI" ist dies gesetzlich vorgeschrieben.

Der EU AI Act definiert KI-Anwendungen im Gesundheitsbereich überwiegend als Hochrisiko-Systeme.
Damit gelten strenge Anforderungen wie technische Dokumentation, Risikobewertung, Überwachung über den gesamten Lebenszyklus und Transparenzpflichten. Die Verordnung soll Vertrauen schaffen und zugleich Innovation ermöglichen.

Die Zweckbestimmung beschreibt genau, wofür ein KI-System eingesetzt werden darf und welche Funktionen reguliert sind.
Sie bestimmt, ob ein System als Medizinprodukt gilt, welche Risikoklasse es hat und welche regulatorischen Nachweise erforderlich sind. Ohne klare Zweckbestimmung keine Zulassung.

KI-Governance ist kein „Papier-Thema", sondern ein dauerhafter organisatorischer und technischer Aufwand.
Gerade im Gesundheitswesen entstehen Governance-Kosten vor allem dadurch, dass KI-Systeme nicht statisch, sondern lernend und veränderlich sind.
Im Gegensatz zu klassischen IT-Systemen erfordert KI zusätzliche, klar getrennte Rollen (Segregation of Duties):
  • Modellentwicklung (Data Science / Anbieter)
  • Unabhängige Validierung (z. B. Medizin, Qualitätssicherung, IT)
  • Freigabe & Betrieb (Management / Compliance)
  • Überwachung & Audit (KI-Governance, Datenschutz, Medizincontrolling)
Diese Rollen müssen nicht nur benannt, sondern qualifiziert, dokumentiert und dauerhaft eingebunden werden. In vielen Einrichtungen existieren sie bislang nicht – sie müssen aufgebaut oder extern eingekauft werden.

Eine effektive KI-Governance beginnt mit klaren Problemdefinitionen!
KI-Systeme sollten nur bei eindeutig definierten Problemen und mit verlässlichen, regelmäßig geprüften Daten eingesetzt werden.
Außerdem müssen Gesundheitseinrichtungen KI-Modelle eigenständig validieren und dokumentieren, statt sich allein auf Herstellerangaben zu verlassen – idealerweise überwacht durch interne oder externe, interdisziplinäre KI-Gremien.
Zusätzlich braucht es ein kontinuierliches Monitoring (etwa über integrierte Compliance-Systeme) und menschliche Aufsicht bei KI-Entscheidungen – zum Beispiel regelmäßige Audits sowie Kennzahlen zu Fairness und Sicherheit.

Durch das Betriebsrätemodernisierungsgesetz vom 18. Juni 2021 wurden die Rechte des Betriebsrats auf dem Gebiet der künstlichen Intelligenz gestärkt.
§ 90 Abs. 1 Nr. 3 BetrVG stellt klar: Wenn der Arbeitgeber plant, im Betrieb KI einzusetzen, hat er den Betriebsrat rechtzeitig unter Vorlage der erforderlichen Unterlagen zu unterrichten.
Der Betriebsrat hat beim KI-Einsatz in Krankenhäusern Mitbestimmungsrecht.
KI verändert Arbeitsprozesse, Qualifikationsanforderungen und Kommunikationsabläufe – damit greift sie in mitbestimmungspflichtige Bereiche ein.
Beachte: ArbG Hamburg, Aktenzeichen: 24 BVGa 1/24 vom 16.01.2024. "Wendet man die Grundsätze der ständigen BAG-Rechtsprechung an, so fallen die Vorgaben zur Nutzung von ChatGPT und vergleichbarer Tools unter das mitbestimmungsfreie Arbeitsverhalten.
Der Arbeitgeber stellt seinen Arbeitnehmern ein neues Arbeitsmittel unter bestimmten Bedingungen zur Verfügung. Richtlinien, Handbuch usw. sind somit Anordnungen, welche die Art und Weise der Arbeitserbringung betreffen, weshalb kein Mitbestimmungsrecht aus § 87 Abs 1 Nr 1 BetrVG besteht."
Aufgrund dieses Urteils ist immer der Einzelfall zu prüfen:
  • Berufsbildung und Schulungen für neue KI-Tools (§ 96, § 98 BetrVG) – der Betriebsrat kann bei Planung, Inhalt und Durchführung mitbestimmen.
  • Gestaltung und Änderung von Arbeitsabläufen, wenn KI Prozesse oder Verantwortlichkeiten beeinflusst.
  • Einführung technischer Systeme, die Leistung oder Verhalten überwachen könnten (§ 87 Abs. 1 Nr. 6 BetrVG).
Im Krankenhaus ist dies besonders relevant, da KI-Systeme (z. B. für Entlassmanagement, Dokumentation oder Entscheidungsunterstützung) unmittelbar die Arbeit der Pflege, der Ärzteschaft oder des Sozialdienstes verändern. Der Betriebsrat stellt sicher, dass Transparenz, Qualifizierung, Datenschutz und Belastungsschutz gewahrt bleiben.
Beachte: "Zur Überwachung „bestimmt" sind technische Einrichtungen, wenn sie objektiv geeignet sind, dass der Arbeitgeber Verhaltens- oder Leistungsinformationen über den Arbeitnehmer erheben und aufzuzeichnen kann. Auf die subjektive Überwachungsabsicht des Arbeitgebers kommt es nicht an ((BAG vom 03.12.2016 – 1 ABR 7/15)." ArbG Hamburg, Aktenzeichen: 24 BVGa 1/24 vom 16.01.2024.

Ja. Immer mehr Versicherer bieten spezielle Policen zur Absicherung von KI-Risiken an.
Diese richten sich sowohl an Gesundheitseinrichtungen als auch an Hersteller oder Betreiber von KI-Systemen.
Abgedeckt werden können u. a.:
  • Fehlfunktionen der KI (z. B. falsche Empfehlungen, algorithmische Verzerrungen)
  • Cyberrisiken und Datenverluste, die durch KI-Komponenten verstärkt werden
  • Haftungsrisiken, wenn Mitarbeitende aufgrund von KI-Ergebnissen Entscheidungen treffen
  • Betriebsunterbrechungen, wenn KI-Systeme ausfallen
  • Regulatorische Risiken, z. B. Verstöße gegen den EU AI Act oder Medizinprodukterecht
Wichtig: Für Hochrisiko-KI im Gesundheitswesen verlangen Versicherer zunehmend Risikobewertungen, Prozessnachweise, Monitoring-Konzepte und klare Zweckbestimmungen der eingesetzten Systeme. Ein professionelles KI-Risikomanagement ist daher oft Voraussetzung für eine Versicherbarkeit.

Verantwortung bleibt immer beim Menschen. Auch wenn KI eine Empfehlung ausspricht, liegt die letztendliche Entscheidung bei der verantwortlichen Fachkraft oder Institution.
Hersteller und Betreiber tragen zusätzlich Verantwortung für korrekte Entwicklung, Implementierung und Überwachung des Systems.

Dazu gehören vielfältige Trainingsdaten, kontinuierliche Bias-Analysen, klare Governance-Prozesse und ein Monitoring realer Nutzungsmuster.
Transparente Modelle und regelmäßige Audits helfen, unbeabsichtigte Benachteiligungen zu erkennen und zu verhindern.

Viele Einrichtungen stehen vor der Herausforderung, technische, rechtliche und ethische Anforderungen richtig einzuordnen.
Eine professionelle Beratung hilft, Risiken zu erkennen, realistische Ziele zu definieren und Projekte von Beginn an gesetzeskonform und effizient aufzusetzen.

1. Gelten sie als Hochrisiko-KI-Systeme?
Möglicherweise ja, insbesondere die Planung des voraussichtlichen Entlassbedarfs als Vorhersage beim Entlassmanagement.
Ob sie als Hochrisiko-Systeme gemäß EU AI Act eingestuft werden, hängt von ihrer Zweckbestimmung und ihrer Risikoklasse als (potenzielles) Medizinprodukt ab.
Da die Systeme Gesundheitsprognosen liefern, ist eine Einstufung als Medizinprodukt Klasse IIa plausibel – was es automatisch zum Hochrisiko-KI-System machen würde.
Die KI-Arztbrief-Funktion könnte als rein administratives Tool (Klasse I oder kein Medizinprodukt) gelten – mit geringerer Hochrisikowahrscheinlichkeit.

Cave: Bei Entlassmanagement ist zusätzlich zu beachten, dass das Entlassmanagement zur Krankenhausbehandlung gemäß § 39 SGB V gehört.
Gemäß Bundessozialgericht (Urteil vom 08.10.2019, B 1 A 3/19 R) gilt das Versorgungsmanagement (§ 11 Abs. 4 SGB V) auch im Rahmen des Entlassmanagments und gibt Versicherten das Recht auf professionelle Hilfe, um nach einer Krankenhausbehandlung nahtlos weiterversorgt zu werden.


2. Es müssen offizielle CE-Kennzeichnungen oder Risikoklassifikationen vorliegen!
Wenn diese nicht öffentlich ersichtlich sind, ist besondere Vorsicht beim Einsatz in Krankenhäusern geboten (Betreiberpflichten).
Diese Transparenz ist zwingend erforderlich, um die Klassifizierung rechtssicher festzulegen.

3. Warum ist Transparenz bei der Klassifizierung so wichtig?
Weil nur so Krankenhäuser und Behörden beurteilen können:

  • ob die KI als Hochrisiko-System registriert und geprüft werden muss,
  • welche Betreiberpflichten greifen (z. B. Schulungen, Logaufbewahrung, Risikofolgenabschätzung),
  • und ob ein Einsatz rechtlich zulässig ist.
Fehlende Transparenz zur Klassifizierung erzeugt Unsicherheit und Haftungsrisiken bei Krankenhäusern.

4. Welche Risiken entstehen durch diese Intransparenz?
Krankenhäuser wissen nicht, ob sie ein Hochrisiko-KI-System im Sinne des Gesetzes betreiben, Anforderungen wie Registrierung oder ärztliche Aufsicht könnten versehentlich verletzt werden, im Schadensfall ist unklar, wer haftet – insbesondere bei Fehldokumentationen oder versäumter Nachsorge.
Fehlende Transparenz gefährdet das Vertrauen von Klinikpersonal und Patienten.

5. Was sollten Betreiber (Krankenhäuser) bis zur Klärung tun?
KI-Angaben von Anbietern dieser Systeme kritisch prüfen (Human-in-the-Loop sicherstellen), keine Entscheidungen ohne Prüfung und Zustimmung der Krankenhausärzte zulassen.
Einen Versicherer beauftragen, eine entsprechende Due-Dilligence durchzuführen, und eine Haftpflichtversicherung abschließen.

Schulungspflichten
KI-Kompetenz (AI Literacy) sicherstellen, Art. 4 KI-VO.
Training und Befugnisse für Aufsichtspersonen sicherstellen, Art. 26 Abs. 2 KI-VO.

Kontroll- und Überwachungspflichten
Maßnahmen treffen zur Sicherstellung der Verwendung der KI-Systeme gemäß Betriebsanleitungen, Art. 26 Abs. 1 KI-VO
Übertragung der menschlichen Aufsicht an qualifizierte Personen und Unterstützung der Aufsichtspersonen, Art. 26 Abs. 2 KI-VO, Art. 14 Abs. 3 lit. b KI-VO.
Verwendung geeigneter Eingabedaten (Kontrolle auf Zweckkonformität), Art. 26 Abs. 4 KI-VO.
Überwachung des Betriebs und der Funktionsweise des Hochrisiko-KI-Systems gemäß Betriebsanleitung, Art. 26 Abs. 5, ErwGr. 91 KI-VO.
Aussetzung des Betriebs bei Risiko im Sinne von Art. 79 Abs. 1, Art. 26 Abs. 5 S. 2 KI-VO.

Informationspflichten
Gegenüber dem Anbieter
Information an den Anbieter im Rahmen der Beobachtung nach Inverkehrbringung, Art. 26 Abs. 5 i.V.m. Art. 72 Abs. 2 KI-VO.
Gegenüber Mitarbeitenden
Information der Mitarbeiter über eingesetzte KI-Systeme, Art. 26 Abs. 7, ErwGr. 93 KI-VO.
Gegenüber Betroffenen
Informationspflicht gegenüber den Betroffenen bei der Verwendung von KI-Systemen, die Entscheidungen betreffen oder unterstützen, Art. 26 Abs. 11, ErwGr. 93, 171 KI-VO.
Gegenüber allen beteiligten Akteuren
Unverzügliche Information aller Akteure und der Behörde bei Feststellung eines schwerwiegenden Vorfalls, Art. 26 Abs. 5 KI-VO.
Gegenüber Behörden
Zusammenarbeit mit Behörden, Art. 26 Abs. 12 KI-VO.

Dokumentationspflichten
Aufzeichnungs- und Aufbewahrungspflichten
Aufbewahrung für mindestens 6 Monate der automatisch erzeugten Protokolle, Art. 26 Abs. 6 KI-VO.

Durchführung von Risikoabschätzungen
Durchführung einer Datenschutz-Folgenabschätzung, Art. 26 Abs. 9 KI-VO.
Durchführung einer Grundrechte-Folgenabschätzung, Art. 27, ErwGr. 96 KI-VO.
Mitteilung der Ergebnisse der Grundrechte-Folgenabschätzung an die zuständige Marktüberwachungsbehörde (nur bei Hochrisiko-KI gem. Anhang III), Art. 27 Abs. 3, ErwGr. 96 KI-VO.

Registrierungspflichten
Registrierungspflicht in der EU-Datenbank (für Behörden und Organe der Union), Art. 49 Abs. 3 i.V.m. Art. 26 Abs. 8 KI-VO.