Ein Mensch im Loop ist noch keine Kontrolle.
In ihrem Beitrag für ISPE iSpeak vom 4. September 2026 zeigen Frank Henrichmann und Oliver Herrmann (QFINITY), warum Human-in-the-Loop in KI-gestützten GxP-Prozessen oft weniger absichert, als in der Praxis angenommen wird: Wer Ergebnisse nur noch prüft, statt sie zu erarbeiten, wechselt in eine rein überwachende Rolle, in der Fehler seltener auffallen. Der Beitrag leitet daraus ein mehrschichtiges Kontrollkonzept ab.
Human-in-the-Loop ist eine Kontrolle mit Vorbedingungen.
Human-in-the-Loop (HITL) bezeichnet ein risikobasiertes Kontrollkonzept, in dem qualifizierte Personen die Ergebnisse automatisierter oder KI-gestützter GxP-Prozesse prüfen, genehmigen oder aufheben. Henrichmann und Herrmann prüfen anhand der Forschung zu Human Factors und Automation Bias, ob HITL von sich aus eine verlässliche Kontrolle ist. Der Befund fällt nüchtern aus: Sobald der Mensch von der aktiven Analyse in eine rein überwachende Rolle wechselt, sinkt die Wahrscheinlichkeit, Fehler zu entdecken. Ob die Kontrolle wirkt, entscheidet ihr Design.
Was Human-in-the-Loop aushöhlt.
Wo die Psychologie operativ wird.
Zwei Beispiele aus der Validierung computergestützter Systeme zeigen, wie die Effekte wirken würden.
KI-gestütztes Test-Review
Ein KI-befähigtes Werkzeug stuft ein OQ-Ergebnis als bestanden ein, weil die Akzeptanzkriterien formal erfüllt sind. Das Ergebnis wirkt korrekt, und der Prüfer gibt es frei. Die unausgesprochene Annahme, dass der Datensatz die Produktionskonfiguration repräsentiert, hat niemand geprüft. Ein veralteter Konfigurationsstand ist technisch ein simpler Fehler und für den Prüfer trotzdem kaum erkennbar. Riskanter wird es, wenn ein Sprachmodell Testfälle erzeugt und ein zweites sie prüft, denn beide können ähnlichen Mustern folgen. Tests aus Sprachmodellen geraten zudem oft zu Smoke-Tests, die den Ablauf bestätigen, ohne die Anforderung dahinter zu prüfen.
Traceability-Agenten
Ein Agent, der Anforderungen, Spezifikationen und Testartefakte gegeneinander abgleicht, meldet die Rückverfolgbarkeit einer Audit-Trail-Anforderung als vollständig: Ein Testfall referenziert die Anforderung, und der Test erwähnt die Funktion. Die grüne Statusanzeige lässt offen, ob Vollständigkeit, Unveränderbarkeit und Zuordenbarkeit des Audit Trails überhaupt geprüft wurden. Trotzdem gilt das saubere Artefakt als Beleg.
Die naheliegende Reaktion, zusätzliche Review-Stufen einzuführen, löst das Problem nicht. In kontrollierten Experimenten sank die Korrekturrate, sobald Korrekturen Aufwand kosteten. Die menschliche Prüfung droht so zum Ritual zu werden, in den Worten des Beitrags formal konform und inhaltlich hohl. Mit steigender Reife des Systems kann zudem die sichtbare Fehlerrate sinken, während das Prüfvolumen wächst. Das muss nicht heißen, dass das Risiko abnimmt; es kann auch heißen, dass Fehler schwerer zu entdecken sind. Welche Deutung zutrifft, zeigt erst der Blick auf Modellqualität, Prüfprozess und Kontrolldesign.
Detektierbarkeit wird konstruiert, nicht vorausgesetzt.
Regulatorisch ist die Richtung eindeutig. Die KI-Verordnung (EU) 2024/1689 verlangt wirksame menschliche Aufsicht für Hochrisiko-KI-Systeme, EU GMP Annex 11 klare Verantwortlichkeiten und risikobasierte Kontrollen. Der Annex-22-Entwurf benennt Human Oversight als zentralen Kontrollmechanismus. Ein FDA Warning Letter an Purolea Cosmetics Lab vom April 2026 beanstandet den Einsatz von KI-Agenten, die GMP-Aufzeichnungen ohne ausreichende Verifizierung erzeugten. Die Autoren antworten darauf mit einem Schichtenmodell. HITL bleibt eine Schicht in einem Kontrollsystem aus Menschen, Prozessen und Technik, und die technischen Kontrollen dieses Kontrollsystems wirken auch dann, wenn die Wachsamkeit nachlässt. Wie Anbieter und regulierte Anwender diese Anforderungen in der Praxis aufteilen, zeigt unsere Nachlese zum SAP-Expertenworkshop.
| Risikotreiber | Typisches Versagen der Kontrolle | Was ihn kompensiert (Beispiele nach Henrichmann/Herrmann, ISPE iSpeak 2026) |
|---|---|---|
| Automation Bias | Vorschläge des Systems werden übernommen, ohne dass jemand sie in Frage stellt | Pflicht zur eigenen Bewertung und Begründung, zweite unabhängige Instanz, Guardrails im System |
| Plausibilitätsfalle (kognitive Leichtigkeit) | Der Prüfer bestätigt, was plausibel aussieht, statt zu analysieren | Annahme und Ablehnung müssen begründet werden; die Oberfläche zeigt Unsicherheit statt Ampeln |
| Review-Ermüdung | Freigaben werden bei hohem Durchsatz zur Routine | Begrenzte Prüfmengen je Person, Wechsel der Prüfenden, risikobasierte Auslöser statt Vollprüfung |
| Mensch-KI-Schleife | Dokumentation und Entscheidungen richten sich unmerklich nach der Systemlogik | Monitoring von Drift und Datenqualität, periodische erneute Verifizierung der Trainingsbasis |
| Einstellungseffekte | Die persönliche Haltung zur Automatisierung bestimmt das Prüfverhalten | KI-Kompetenz aufbauen, Peer-Review, wechselnde Prüfende |
Dahinter steht die Risikologik von ICH Q9(R1): Schwere, Wahrscheinlichkeit, Entdeckbarkeit. Human-in-the-Loop beansprucht davon nur den dritten Faktor, und genau der muss nachgewiesen werden. Guardrails gehören in den operativen Rahmen des Systems, also in System-Prompts, Orchestrierung, Werkzeugregeln und Ausführungsgrenzen. Die Ausführung der Guardrails und sämtliche Ausnahmen werden protokolliert. So bleiben sie beobachtbar und prüfbar, und ihre Wirksamkeit wird über den Lebenszyklus nachgewiesen. Erst dann entlasten Guardrails die menschliche Prüfung, nach derselben Logik wie bei der Übertragung einer menschlichen Tätigkeit auf Automation: Die Kontrolle wandert, der Nachweis bleibt. Dieser Nachweis endet nicht mit der Freigabe, sondern wird durch laufendes Prozess-Monitoring mit Drift- und Datenqualitätskontrolle im Betrieb fortgeführt. Für Ergebnisse, die sich objektiv aus Quelldaten ableiten und reproduzieren lassen, kann die menschliche Prüfung leichter ausfallen; wo das System Schlussfolgerungen liefert, wird sie intensiver. Die Einstufung als objektiv ableitbar ersetzt die Prüfung dabei nicht: Gerade so ausgewiesene Ergebnisse können einen besonders starken Automation Bias auslösen.
Aus der Praxis der GAMP-Gremien.
Frank Henrichmann, Senior Executive Consultant bei QFINITY, ist Chair des GAMP Global Steering Committee und Mitglied der globalen GAMP AI SIG. Oliver Herrmann, Gründer und CEO von QFINITY, ist Chair des ISPE GAMP Europe Steering Committee und Mitglied der ISPE AI Community of Practice. Der Beitrag knüpft an die Argumentation an, die beide im Januar/Februar 2026 in Pharmaceutical Engineering begonnen haben: KI als nächste Stufe der Validierung, mit dem Experten, der im Loop unverzichtbar bleibt.
Von der Aufsicht zur nachweisbaren Kontrolle.
Ist Ihr Human-in-the-Loop eine Kontrolle oder eine Geste?
Bringen Sie einen KI-gestützten Prozess mit, etwa Test-Review oder Traceability. Im Erstgespräch ordnen wir ihn den Mechanismen zu und benennen, welche technische Kontrolle fehlt, wenn die Aufmerksamkeit sinkt. Kostenfrei, etwa 30 Minuten, direkt mit einem der Autoren.
Erstgespräch vereinbaren
