KI Monitoring im Regelbetrieb
Nach dem Go-live beginnt die eigentliche Verantwortung.
Eine KI-Zulassung ist kein Freifahrtschein.
Was ein System in kontrollierten Testbedingungen leistet, muss im klinischen Alltag kontinuierlich gemessen, bewertet und dokumentiert werden – rechtssicher, systematisch und mit klaren Zuständigkeiten.
Die Einführung von KI ist nicht das Ende der Verantwortung, sondern der Beginn einer neuen Betriebsphase.
Entscheidend ist, wie KI-Systeme im Alltag überwacht, bewertet und nachgesteuert werden – fachlich,
organisatorisch und regulatorisch.
KI-Systeme im Gesundheitswesen werden häufig nach erfolgreicher Zulassung als „erledigt“ betrachtet.
Doch Modelle driften, Patientenpopulationen verschieben sich, Scanner-Software wird aktualisiert – und plötzlich liefert dasselbe System andere, schlechtere Ergebnisse.
Ohne strukturierte Überwachung bemerkt das niemand rechtzeitig.
Zwei aktuelle Publikationen – NIST AI 800-4: Challenges to the Monitoring of Deployed AI Systems (März 2026) und die Leitlinien des Royal College of Radiologists zur
Post-deployment monitoring and safety reporting of AI medical imaging devices (März 2026) – zeichnen ein klares Bild:
Post-Deployment Monitoring ist kein optionales Add-on, sondern eine regulatorische und ethische Kernpflicht.
KI-Betriebsüberwachung (Post-Deployment Monitoring) bezeichnet die kontinuierliche Messung, Bewertung und Dokumentation eines KI-Systems nach dessen produktivem Einsatz – mit dem Ziel, Zuverlässigkeit, Patientensicherheit und regulatorische Konformität im klinischen Alltag sicherzustellen.
Das Besondere im Gesundheitswesen: KI-Outputs sind nicht-deterministisch. Dasselbe System kann auf dieselbe Eingabe unterschiedliche Ergebnisse liefern. Hinzu kommen Verteilungsverschiebungen (Drift), systemische Biases gegenüber bestimmten Patientengruppen und Abhängigkeiten von Infrastrukturänderungen. Was im Piloten funktioniert hat, muss im Regelbetrieb nicht funktionieren.
Warum diese Seite wichtig ist
Vortests und Zulassung reichen nicht aus. Erst im Echtbetrieb zeigen sich Drift, Fehlanreize, Workflow-Brüche, Mensch-KI-Fehlinteraktionen, Sicherheitslücken oder unklare Verantwortlichkeiten.
Worauf Organisationen achten müssen
Governance, Auditierbarkeit, Incident Reporting, lokale Validierung, Schulung, Lieferantensteuerung, technische Betriebsdaten und die Wirkung auf klinische Entscheidungen gehören zusammen.
Mein Ansatz
Ich übersetze internationale Leitlinien in eine pragmatische Umsetzungslogik für Einrichtungen im Gesundheitswesen: verständlich, governance-fähig und anschlussfähig an bestehende Qualitäts- und Risikomanagementstrukturen.
Was KI-Monitoring im Regelbetrieb konkret bedeutet
Nach dem Go-live muss nicht nur das Modell selbst beobachtet werden. Ebenso relevant sind Prozessstabilität, technische Betriebsfähigkeit, Nutzerverhalten, Sicherheitsaspekte, Compliance und die tatsächlichen Auswirkungen auf Versorgung und Organisation.
1. Funktionalität
Arbeitet das System weiterhin wie vorgesehen? Werden Leistung, Genauigkeit, Abweichungen und mögliche Drift systematisch erkannt?
2. Betrieb
Läuft die Infrastruktur stabil? Werden Verarbeitungszeiten, Ausfälle, Schnittstellen und technische Veränderungen sauber überwacht?
3. Mensch-KI-Interaktion
Wird die KI so genutzt, wie sie gedacht ist? Verstehen Mitarbeitende Grenzen, Fehlermuster und den richtigen Umgang mit Overrides?
4. Sicherheit
Gibt es Angriffsflächen, Missbrauch, unerwartetes Verhalten oder Anzeichen, dass das System sich unter Beobachtung anders verhält?
5. Compliance
Werden regulatorische Vorgaben, interne Richtlinien, Dokumentationspflichten und Lieferantenpflichten belastbar eingehalten?
6. Wirkung
Verändert die KI klinische Entscheidungen, Arbeitsabläufe, Priorisierung, Versorgungsqualität oder Risiken auf eine Weise, die aktiv beobachtet werden muss?
Ein praxistauglicher 5-Schritte-Rahmen
Schritt 1: KI-Inventar aufbauen
Welche Systeme sind im Einsatz, in welcher Version, seit wann, in welchem Workflow und mit welcher lokalen Verantwortung?
Schritt 2: Monitoring-Ziele definieren
Was wird überwacht: Menschen, Prozesse, Produktleistung, Sicherheit, Compliance und Auswirkungen auf nachgelagerte Entscheidungen.
Schritt 3: Datenbasis sichern
Referenzstandards, Audit-Stichproben, Abweichungsraten, Fehlermuster, Scanner-, Software- und Workflow-Unterschiede sowie Änderungsprotokolle erfassen.
Schritt 4: Eskalation festlegen
Welche Schwellenwerte lösen Review, Revalidierung, Lieferantenkontakt, Incident Reporting oder temporäre Einschränkungen aus?
Schritt 5: Lernen in den Betrieb integrieren
Monitoring ist kein Nebenprozess. Ergebnisse müssen in Schulung, Governance, Beschaffung, Qualitätssicherung und strategische Entscheidungen zurückgespielt werden.