Validierung KI-Systeme - QFINITY
Validierung · CSV/CSA · Lebenszyklus-Nachweise

Validierung von KI im GxP-Umfeld.

Lebenszyklus-Nachweise für KI-Systeme - vom Modell bis zum Audit. Validierungs- und Lebenszyklus-Strategien, die im operativen Alltag funktionieren und im Audit erklärbar sind.

Die Ausgangslage

Klassische CSV erfasst die Dynamik von KI nicht vollständig.

Validiert wird das computergestützte Gesamtsystem gegen seinen Intended Use; das KI-Modell selbst wird gegen seine Spezifikation verifiziert und muss für seine Context of Use fit for purpose sein - fortlaufend, weil es sich verändert. „Validierung von KI“ ist die gängige Kurzform dafür. Denn Modelle lernen aus Daten, Daten verändern sich, Systemverhalten kann driften - und Updates können Wirkung entfalten, ohne dass klassische Codeänderungen sichtbar werden. Und selbst wenn das Modell eingefroren ist: Auch der Context of Use verändert sich - neue Nutzungsmuster, neue Datenlagen, neue Prozessumgebungen.

Wie wird ein System mit KI-Unterstützung so validiert, dass der Nachweis über den gesamten Lebenszyklus belastbar bleibt - auch dann, wenn sich Daten, Modelle, Nutzungskontext oder Verhalten verändern?
CSV & KI

CSV bleibt die Basis. KI verlangt eine Erweiterung.

Wir betrachten KI als Subsystem eines computergestützten Gesamtsystems - eingebettet in Schnittstellen, Datenflüsse, Prozesse, Rollen und Lieferantenmodelle; welche Elemente gemeinsam zu betrachten sind, führt die Hauptseite KI im GxP-Umfeld. Klassische Validierungslogik ist auf definierte Anforderungen und reproduzierbare Tests ausgelegt - KI-Systeme wirken anders:

AspektKlassische CSVKI-Systeme
Anforderungenstabil, vorab definiertdatenabhängig, veränderlich
Outputsdeterministisch, reproduzierbarnicht immer deterministisch, generativ
Systemverhaltenerwartbar und testbarkann driften, hängt von Daten ab
Änderungensichtbare CodeänderungenRe-Training, Lieferantenupdates, Kontextwechsel
Nachweiseinmalige ValidierungLebenszyklus-Nachweise über die Zeit

Der Intended Use selbst entsteht im Prozess - die Grundlage legt sauberes Prozessmanagement.

KI ersetzt Validierung nicht. KI erweitert die Validierungslogik um Daten, Modellverhalten, Monitoring, Drift, Re-Validierung und Lebenszyklus-Nachweise.
Lebenszyklus

Validierung entlang des KI-Lebenszyklus.

Ein KI-(Sub-)System wird nicht einmalig freigegeben. Über seine Lebenszyklusaktivitäten - von der Spezifikation über Training und Verifizierung bis zu Betrieb und Monitoring - und deren Nachweise bleibt es erklärbar, und darüber bleibt seine Qualität gesichert.

  1. 1

    Daten

    Auswahl, Qualität und Repräsentativität der Trainings-, Validierungs- und Testdaten - bei generativen und agentenbasierten Systemen (Agentic AI) auch der Kontextdaten zur Laufzeit (Prompts, Wissens- und Retrieval-Quellen). Inklusive Datenherkunft, Datenfreigabe, Datenintegrität, Bias-Risiken und Relevanz für den Intended Use.

  2. 2

    Risikokontrolle & Kontrollstrategie

    Beschreibung und Bewertung KI-spezifischer Risiken, Auswahl und Begründung geeigneter Guardrails - samt geplanter Verifizierung, dass die Guardrails geeignet sind und leisten, was sie sollen. Dazu das Human-Oversight-Design als Teil der Kontrollstrategie; wie Verantwortung ausgeübt wird, führt AI Governance & Human Oversight.

  3. 3

    Modellentwicklung & -auswahl

    Dokumentierte Designentscheidungen, begründete Akzeptanzkriterien und definierte Leistungsmetriken - mit bekannten Grenzen sowie Bewertung von Transparenz und Erklärbarkeit.

  4. 4

    Integration & Systemtest

    Test des KI-Subsystems im Gesamtsystem: Schnittstellen, Datenflüsse, Benutzerrollen, Prozessintegration, Fehler-/Ausnahmefälle, Kontrollpunkte und Wirkung auf GxP-relevante Entscheidungen.

  5. 5

    Leistungsnachweis im realen Einsatz

    Nachweis, dass das System im konkreten Prozess für seinen Intended Use geeignet ist - kontrollierbar, verlässlich genug und verantwortbar im realen regulierten Einsatz, nicht nur im Test.

  6. 6

    Laufendes Monitoring

    Überwachung von Performance-Indikatoren, Datendrift und Modellverhalten - inkl. Fehlklassifikationen, Abweichungen, Nutzungsmuster, Eskalationen und Trigger für Re-Validierung.

  7. 7

    Change Control & Re-Validierung

    Strukturiertes Management von Modell-Updates, Re-Training, Datenänderungen und Lieferantenanpassungen. Re-Training ist kein Routine-Update - es braucht definierte Bewertungslogik, Re-Validierungs-Trigger und Nachweise.

Ansatz

Risiko- und Intended-Use-basiert - nicht abstrakt.

Wir bewerten KI-Systeme entlang ihres konkreten Einsatzes im regulierten Prozess - die Nachweistiefe folgt Intended Use und Risiko, wie es auch Computer Software Assurance bestätigt.

Intended Use - wofür wird das System verwendet?
Business Process - in welchem Prozess wirkt es?
Datenbasis - welche Daten werden im Lebenszyklus genutzt?
Entscheidungseinfluss - welche Entscheidung wird beeinflusst?
Menschliche Verantwortung - was bleibt beim Menschen?
Risiko - für Patientensicherheit, Produktqualität, Datenintegrität
Systemkontext - Plattformen, Lieferanten, Schnittstellen, Kontrollen
angemessener Validierungsumfang
tragfähige Akzeptanzkriterien
erforderliche Teststrategie
geltende Datenanforderungen
notwendiges Monitoring
definierte Re-Validierungs-Trigger
Nachweise, die im Audit tragen
Lebenszyklus-Nachweise

Eine durchgehende Nachweiskette - kein Dokumentationsfriedhof.

Im Audit zählt nicht nur, ob ein KI-System einmal getestet wurde - sondern ob über den gesamten Lebenszyklus belastbar nachgewiesen werden kann, dass es für seinen Intended Use geeignet ist und bleibt. QFINITY verbindet dafür CSV-/CSA-Praxis mit der Mitarbeit im Kernteam von GAMP 5 Second Edition.

nachvollziehbare Datenherkunft & Datenfreigabe
begründete Modellauswahl und Akzeptanzkriterien
dokumentierte Test- & Validierungsaktivitäten
Performance-Nachweise im realen Einsatzkontext
Monitoring-Ergebnisse und Drift-Bewertung
strukturierte Change Control
Re-Validierungs-Trigger und durchgeführte Re-Validierungen
Schnittstellen zu Governance & Human Oversight
Lieferantennachweise & Change Communication
Lieferkette

Lieferantensteuerung bei KI-Komponenten.

Viele KI-Systeme werden nicht selbst entwickelt - sie kommen als SaaS, Cloud-Service, Plattformfunktion oder API-Komponente mit eingebetteter KI. QFINITY unterstützt bei der Bewertung von Lieferanten, bei Lieferantenaudits und bei der vertraglichen sowie technischen Steuerung - entscheidend sind Fragen wie:

Welche Nachweise muss der Lieferant liefern?
Welche Informationen zum Modellverhalten sind verfügbar?
Wie passt das bereitgestellte Modell zum Context of Use?
Welche Limitierungen und Modellgrenzen sind entscheidend?
Welche Daten wurden für Training/Validierung/Test verwendet?
Welche Verantwortung bleibt beim regulierten Anwender?
Wie wird Black-Box-Verhalten bewertet?
Wie werden Änderungen, Updates und Releases kommuniziert?
Welche Audit- & Transparenzrechte sind vertraglich abzusichern?
Wie fließen Lieferantenänderungen in Change Control und Re-Validierung ein?
Schnittstelle

Validierung und Governance müssen zusammenwirken.

Validierung liefert den Nachweis, dass ein System geeignet ist und bleibt - nicht allein den Verantwortungsnachweis. Wer entscheidet, prüft, übersteuert und Verantwortung trägt, beantworten AI Governance und Human Oversight.

Validierung

Schafft die Voraussetzung, dass das System überhaupt verantwortbar eingesetzt werden kann.

Governance & Human Oversight

Schaffen die Voraussetzung, dass Verantwortung im Betrieb tatsächlich und langfristig effektiv ausgeübt wird.

Leistungen

Was QFINITY für KI-Systeme leistet.

Von der Validierungsstrategie bis zur Audit Readiness - als zusammenhängende Lebenszyklus-Architektur.

Validierungsstrategie & Test

Risikobasierte Strategien entlang von Intended Use, Business Process, Datenbasis und Systemkontext - mit begründeten, prüfbaren Akzeptanzkriterien und Teststrategien für unterschiedliche Modelltypen.

Datenstrategie & Data Integrity

Bewertung und Steuerung von Trainings-, Validierungs- und Testdaten - und der kontextrelevanten Daten generativer und agentenbasierter Systeme -, integriert in bestehende Data-Integrity- und Data-Governance-Strukturen.

Monitoring & Drift

Belastbare Monitoring-Konzepte für Modellverhalten, Performance und Datendrift - mit Schwellwerten, Eskalationspfaden und Re-Validierungs-Triggern.

Change Control & Re-Validierung

Erweiterung bestehender Change-Control-Prozesse um KI-spezifische Bewertungslogik für Updates, Re-Training, Daten- und Lieferantenänderungen.

Architektur der Lebenszyklus-Nachweise

Durchgehende Evidence-Struktur, die Validierung, Monitoring, Change Control, Re-Validierung, Governance und Human Oversight zu einer prüfbaren Nachweiskette verbindet.

Lieferantenbewertung & Audit Readiness

Bewertung von KI-Lieferanten und -Lösungen, Lieferantenaudits sowie Gap Assessments, Audit Storylines und Vorbereitung von System Ownern, QA und IT Quality.

Praxis

Typische Anwendungsfälle.

QFINITY unterstützt Validierung und Lebenszyklus-Strategie unter anderem bei den folgenden Einsatzfeldern - entscheidend ist nicht, ob KI direkt oder indirekt genutzt wird, sondern ob sie Einfluss auf GxP-relevante Daten, Prozesse oder Entscheidungen haben kann:

KI-gestützte Bildanalyse in klinischen Anwendungen und Diagnostik
Sichtkontrollen & visuelle Inspektion in der Produktion
ML-Modelle zur Prozessoptimierung und Ausbeutensteigerung
generative AI in Abweichungsmanagement, CAPA und Change Control
LLM-Unterstützung in Pharmakovigilanz und Regulatory Operations
KI-Funktionen in SaaS-, Cloud- und Plattformlösungen
Lieferantenlösungen mit eingebetteten KI-Funktionen
Post-Market-Surveillance in der Medizintechnik
Kundenstimmen

QFINITY hat uns als Partner für CSV, CSA und KI im GxP-Umfeld über die gesamte Entwicklung von Tenthpin Intelligent Certificate VerificAItion (T/ICV) begleitet - unserer cloud-basierten, KI-gestützten Lösung zur Zertifikatsprüfung. Qualitätssicherung und Auditierbarkeit wurden nicht nachträglich behandelt, sondern von Anfang an im agilen Entwicklungsprozess verankert: risikobasierte Absicherung, Human in the Loop als Gestaltungsprinzip, Qualitätsaufsicht mit klar zugewiesener Verantwortung. Das Ergebnis ist ein GxP-fähiges KI-System mit belastbaren Nachweisen über den gesamten Lebenszyklus, auf denen unsere Kunden ihre Validierung aufbauen können.

TW
Thomas Weber
Chief Product Officer - Tenthpin Solutions, Schweiz

Als echtes AI-native Startup im Bereich Patientensicherheit, wo es keinen Spielraum für Fehler gibt, haben wir QFINITY von Anfang an hinzugezogen, um unser QMS von Grund auf aufzubauen. Ihre Beratung lieferte einen Rahmen, der sich auch unter genauer Prüfung bewährte, während wir unsere ersten Kunden gewannen. Seither haben wir umfassende Lieferantenaudits unserer Kunden - darunter führende CROs - ohne eine einzige schwerwiegende oder kritische Feststellung bestanden und begleiten behördliche Inspektionen unserer Kunden. Qualität ist ein Wettbewerbsvorteil, keine Compliance-Last.

AM
Andrew Mitchell
AI for Pharmacovigilance / Patient Safety - YEZA.AI, USA
FAQ

Häufige Fragen.

CSV bleibt die Basis. Für KI-Systeme muss sie um KI-spezifische Anforderungen erweitert werden - insbesondere zu Daten, Modellverhalten, Monitoring, Drift, Change Control und Re-Validierung.

KI ist häufig in ein computergestütztes Gesamtsystem eingebettet. Das KI-Subsystem hat spezifische Anforderungen an Daten, Modell und Verhalten; das Gesamtsystem muss im Prozesskontext validiert werden - einschließlich der Interaktion zwischen KI-Subsystem und Restsystem.

Über strukturiertes Change Management mit definierten Triggern, Bewertungslogik und Re-Validierungs-Konzepten. Re-Training kann das Systemverhalten verändern und muss deshalb risikobasiert bewertet werden.

Der Umfang ist risiko- und einsatzabhängig. Relevante Nachweise können Intended Use, Datenbasis, Modellverhalten, Test- und Verifizierungsaktivitäten, Monitoring, Change Communication und Transparenzrechte umfassen - vertraglich und prozessual geregelt.

Der fortlaufende Nachweis, dass ein System für seinen Intended Use geeignet ist und bleibt. Er verbindet Validierung, Monitoring, Change Control, Re-Validierung, Governance und Human Oversight zu einer prüfbaren Nachweiskette.

Lebenszyklus-Nachweise, die im Audit tragen.

Wir bestimmen mit Ihnen risiko- und Intended-Use-basiert den Validierungsumfang für Ihr KI-(Sub-)System und skizzieren die Nachweiskette von Daten über Monitoring bis Re-Validierung. Start: ein kostenfreies Erstgespräch (etwa 30 Minuten), in dem wir Ihren konkreten Anwendungsfall einordnen.

Erstgespräch vereinbaren