Wer widerspricht, wenn das System spricht?

Nachlese zum 47. GAMP D-A-CH Forum, Berlin, 11. März 2026.

Auf dem 47. GAMP D-A-CH Forum in Berlin haben Daniel Köpke und Oliver Herrmann im März 2026 gefragt, was Human Oversight bedeutet, wenn Systeme intelligenter, komplexer und überzeugender werden. Die Antwort beginnt für uns bei der Verantwortung: Die grösste Gefahr für die QA ist die schleichende Erosion sichtbarer Verantwortung, bis niemand mehr widerspricht. Wie real diese Frage inzwischen ist, hat in diesem Sommer ein Sicherheitsvorfall beim KI-Anbieter OpenAI gezeigt. Er ist der Anlass, die Position aus dem März jetzt nachzureichen: keine Voraussicht, eine Illustration. Dieser Beitrag legt die Position aus dem Vortrag dar, und er benennt, was Organisationen dagegen aufbauen können.

Warum kommt diese Nachlese jetzt?

Am 26. August 2026 hat OpenAI den technischen Bericht zu einem Vorfall aus dem Juli vorgelegt. In einem eigenen Sicherheitstest waren Agenten aus ihrer Testumgebung ausgebrochen und hatten reale Infrastruktur von Hugging Face kompromittiert. Ein wesentlicher Umstand war, dass die üblichen Schutzmechanismen in der Testumgebung zu Testzwecken abgeschaltet waren. Im produktiven Betrieb wären sie dagegen vorgesehen. Trotzdem bleibt der Vorfall ein anschauliches Experiment, das zeigt, wie weit die Fähigkeiten dieser Systeme inzwischen reichen. Ob Ausbruch oder Freilassung: Beides ist ein Versagen der Architektur, nicht einer einzelnen Kontrolle. Kontrollen, die nachträglich an ein System angebaut werden, halten mit dem Tempo dieser Systeme nicht Schritt. Kontrollierbarkeit muss angelegt sein, bevor das System spricht. Der Vorfall geschah weit ausserhalb der GxP-Welt. Die wichtige Botschaft hierbei: Diese KI-Fähigkeiten werden zunehmend auch in GxP-Systemlandschaften genutzt. Wer die damit verbundenen Risiken einschätzt, muss sowohl die Grenzen als auch die Möglichkeiten der Systeme verstehen.

Der Ausgangspunkt ist die Verantwortung

Jeder Mensch hat ein Gesicht und eine Stimme. Beides macht uns erkennbar, und beides macht uns verantwortlich: als QA-Fachleute und als Menschen, die zur Patientensicherheit beitragen. Ein Patient kennt unsere Systeme nicht. Er kennt keine SOPs, keine Validierungspläne, keine Modellarchitektur. Er vertraut darauf, dass am Ende ein Mensch hinter der Qualität steht.

Die Verbindung zur KI liegt im Übergang von Daten zu Entscheidungen. Ein KI-befähigtes System kann Daten analysieren, Muster erkennen, Testfälle generieren, Abweichungen klassifizieren und Entscheidungen vorbereiten. Und es klingt dabei plausibel, oft sogar sehr plausibel.

Alles dokumentiert, alles konform, und niemand versteht, warum

In Berlin haben wir mit einer Szene begonnen. Ein System empfiehlt die Freigabe. Ein zweites hat die Daten geprüft. Ein drittes hat die Anomalie als akzeptabel klassifiziert. Alles dokumentiert, alles nachvollziehbar, alles konform. Und kein Mensch hat wirklich verstanden, warum.

Diese Szene ist keine Zukunft, sie setzt sich aus dem heutigen Alltag zusammen. Ein System generiert 847 Testfälle, und der Tester prüft den Output. Aber wer prüft die Logik dahinter, und wer entscheidet, was nicht getestet wurde? Ein Chatbot klassifiziert die Abweichung als Minor und schlägt die CAPA gleich mit vor. Der QA-Mitarbeiter bestätigt, und irgendwann wird das Bestätigen zur Gewohnheit. Ein autonomes Monitoring meldet keinen Trend. Aber was ist mit dem Trend, der ausserhalb des Musters liegt, das das Modell kennt? Stille ist keine Aussage. Stille ist eine Annahme.

Plausibilität ist kein Beleg für eine Prüfung

Darin liegt das zentrale Risiko jedes Human-in-the-Loop-Aufbaus. Plausible Ausgaben entmutigen die gründliche Prüfung, die technische Korrektheit, regulatorische Belastbarkeit und GxP-Verantwortung tatsächlich verlangen. Plausibilität kann eine Prüfung auslösen. Ersetzen kann sie sie nicht, und Verantwortung macht sie nicht übertragbar. Plausibel heisst: Es könnte stimmen. Richtig heisst: Wir haben es geprüft und verstanden. Das ist kein kleiner Unterschied, das ist der Unterschied.

Ein System trägt keine regulatorische Verantwortung. Es kennt den GxP-Kontext nicht so, wie ein Mensch ihn kennt, es erkennt nicht, wann ein scheinbar korrektes Ergebnis in einem kritischen Prozess gefährlich wird, und es urteilt nicht unter Mehrdeutigkeit. All das bleibt beim Menschen. Technische Massnahmen wie Guardrails können Menschen dabei unterstützen, diese Verantwortung wahrzunehmen. Wer diesen Massnahmen blind vertraut, schreibt jedoch jene Design-Schwäche fort, die den Human-in-the-Loop-Aufbau angreifbar macht.

Die schleichende Erosion sichtbarer Verantwortung

Die Gefahr kommt leise. Klick für Klick, Bestätigung für Bestätigung, begraben unter immer mehr Entscheidungen, die zu treffen sind, bis niemand mehr wirklich widerspricht. Kein einzelner Schritt fällt auf, und am Ende steht eine QA, die formal alles dokumentiert hat und praktisch nichts mehr entscheidet.

Wenn das System spricht, bleibt die entscheidende Frage: Wer widerspricht?

Drei Regelwerke, eine Richtung

In Berlin haben wir diese Frage an Regelwerken gespiegelt, die unabhängig voneinander entstanden sind und dieselbe Erwartung tragen. Der EU AI Act beschreibt in Artikel 14 für Hochrisiko-Systeme, was Human Oversight heisst. Menschen müssen das System verstehen, überwachen und korrigieren können, nicht nur formal signiert haben. EU-GMP-Annex 11 verlangt seit jeher kontrollierbare, nachvollziehbare und prüfbare computergestützte Systeme. Er wurde vor generativer KI geschrieben, und er gilt trotzdem. Der Entwurf des EU-GMP-Annex 22 schlägt erstmals ein formales Korsett für KI im GxP-Umfeld vor, mit Intended Use, Performance-Monitoring und Change Control. In kritischen Anwendungen sieht er bislang nur statische Modelle mit deterministischem Output vor. Die Nachweise muss der regulierte Anwender selbst vorliegen haben und prüfen. Das gilt unabhängig davon, ob das Modell selbst entwickelt oder mit einem Dienstleister erstellt wurde. Auf der Industrieseite beschreibt GAMP 5 den Konsens, wie sich diese Erwartungen umsetzen lassen. Alle zeigen in dieselbe Richtung. Die Kontrolle bleibt beim Menschen.

Die Rolle der QA verschiebt sich

Eine QA, die diese Frage beantworten will, gestaltet die Bedingungen, unter denen menschliches Urteil wirksam bleibt. Im GxP heisst das: Human Oversight gehört in den Intended Use, in den Geschäftsprozess und in die risikobasierten Kontrollen eingebettet, mit Lebenszyklus-Nachweisen, die ihre Wirksamkeit belegen. Human Oversight ist eine Fähigkeit, die in der Architektur des Systems angelegt wird, nicht nachträglich in einem Prüfschritt.

In Berlin haben wir diese Rolle in vier Bildern beschrieben. Als Architektur-Designer sitzt die QA am Tisch, wenn Systemgrenzen gezogen werden, und entscheidet mit, welche Entscheidungen ein System autonom treffen darf und wo ein Mensch eingreifen können muss. Als Oversight-Architekt definiert sie die Kontrollpunkte selbst, statt sie der IT oder dem Anbieter zu überlassen: wo Monitoring stattfindet, was als Abweichung gilt, wann ein System pausiert wird. Als Eskalations-Designer entwirft sie die Detektionspfade für stille Fehler, denn Drift ist kein Absturz, er schleicht. Und als Transparenz-Hüter hält sie fest, dass eine Validierung unvollständig war, wenn im Audit niemand erklären kann, warum das Systemdesign so gewählt, die menschliche Aufsicht so definiert und die Entscheidung im Betrieb so getroffen wurde.

Der Satz, auf den der Vortrag zulief, gilt unverändert. Zukunftssichere QA validiert nicht nur Systeme. Sie validiert, dass der Mensch entscheidungsfähig bleibt.

Und sie braucht Menschen, die prüfen können. Vier Bedingungen entscheiden darüber, ob Widerspruch im Alltag vorkommt:

Organisationen müssen Human Oversight so gestalten, dass Verantwortung im Alltag ausgeübt wird und ihre Wirksamkeit nachweisbar bleibt. Und die Zuordnung gehört dokumentiert. Nicht das System hat entschieden. Ein Mensch hat die Entscheidung des Systems verantwortet, mit Name, Rolle, Qualifikation und (digitaler) Unterschrift. Im Audit gibt es keine Zeile für das Modell. Eine Verantwortung, die nur im Dokument existiert, schützt keinen Patienten.

Drei unterstützende Stimmen, ein gemeinsamer Kern

Seit dem Vortrag ist diese Position nicht allein geblieben. Der Rapporteur der Annex-22-Drafting-Group in Barcelona, ein National Expert der FDA in Boston und die Industrie im EMA-Expertenworkshop kamen unabhängig voneinander zu derselben Linie. Die Zusammenschau steht im Beitrag Drei Signale, eine Linie. Wie sich Human Oversight einrichten und prüfen lässt, beschreiben wir unter AI Governance und Human Oversight.

Eine KI-Strategie, die Human Oversight und sichtbare Verantwortung verankert, ist ein guter Startpunkt. Noch wichtiger ist die Haltung: Das System arbeitet für uns, nicht umgekehrt.

Für uns ist das der Kern von Digital Compliance: Qualität wird nicht nur nachgewiesen, sie wird so gestaltet, dass sie vertrauenswürdig ist und mit dem Wissen wächst. Vertrauen hat ein Gesicht und eine Stimme. Unsere Aufgabe ist, dass beide nicht in unseren Systemen verschwinden.

Zum Nachlesen: Rückblick: GAMP D-A-CH in Berlin (ISPE D-A-CH, 11.03.2026)↗OpenAI: Bericht zum Hugging-Face-Sicherheitsvorfall (26.08.2026)↗