Drei Signale, eine Linie: KI im GxP-Umfeld zwischen Barcelona, Boston und dem EMA-Workshop

Innerhalb von sieben Monaten kamen drei Signale zusammen, wie KI im GxP-Umfeld zu bewerten ist: Der Rapporteur der Drafting Group der EMA zum EU-GMP-Annex 22 erklärte im Dezember 2025 in Barcelona die Kritikalitätslogik des Entwurfs, ein National Expert der US FDA stellte im Juni 2026 in Boston klar, dass die Regeln bleiben, und im EMA-Expertenworkshop am 30. Juni 2026 antwortete die Industrie mit einer gemeinsamen Position. QFINITY hat alle drei verfolgt, in Barcelona und Boston vor Ort, beim EMA-Workshop in der öffentlichen Übertragung. Die Anlässe waren voneinander unabhängig, und doch landen alle bei denselben fünf Sätzen. Es ist die Linie, die wir im März 2026 auf dem GAMP D-A-CH Forum in Berlin selbst vorgetragen haben, mit der Frage: Wer widerspricht, wenn das System spricht?

Der Reihe nach: In Barcelona sprach der Rapporteur der Drafting Group, in Boston ein National Expert der FDA, im Workshop die Industrie gegenüber der EMA. Am Ende ordnen wir die drei Signale ein.

Barcelona, Dezember 2025: Wie die Drafting Group Kritikalität denkt

Auf der 2025 ISPE Pharma 4.0 Conference (9. und 10. Dezember 2025, Barcelona) erläuterte der Rapporteur der Drafting Group zum Annex 22, ein Vertreter der dänischen Arzneimittelbehörde, wie der Entwurf seinen Anwendungsbereich abgrenzt. Die Leitfrage lautete: Welche Wirkung hätte ein Fehler, und würde er entdeckt? Welche Technologie zum Einsatz kommt, spielt für diese Einordnung zunächst keine Rolle. Eine KI-gestützte Anwendung, deren Ergebnis ohnehin durch einen fachlichen Review geht, etwa bei Schulungsunterlagen oder SOP-Entwürfen, gilt danach als unkritisch. Eine Anwendung, deren Ergebnis ohne weiteren Review in die Qualitätsentscheidung eingeht, etwa in der Qualitätskontrolle oder in der automatischen visuellen Inspektion, gilt als kritisch.

Dann erläuterte der Rapporteur die ursprüngliche Regelungsabsicht des Entwurfs. Innerhalb des kritischen Bereichs nimmt der Entwurf bestimmte Technologien zunächst aus. Auf der Folie lag dieser Bereich oben rechts und wurde als "upper right-hand corner" zum geflügelten Wort unter Experten. Dynamische Systeme, die im Betrieb weiterlernen, bleiben ebenso aussen vor wie probabilistische Systeme, bei denen gleicher Input und gleiche Version nicht dasselbe Ergebnis erwarten lassen. Folgerichtig gilt das auch für grosse Sprachmodelle. Obwohl diese Sicht an Prozess und Systemdesign ansetzt, wurde sie am Ende an die Technologie gekoppelt. Das war einer der wesentlichen Diskussionspunkte in der gesamten Industrie. Dieselbe Botschaft hatte er mit denselben Folien wenige Tage zuvor bereits in der GAMP-D-A-CH-Community vorgetragen: am 4. Dezember 2025 auf der 2. GAMP-Konferenz "Künstliche Intelligenz trifft Pharma" in Mannheim. QFINITY war über ein Jahrzehnt an der Leitung der GAMP-D-A-CH-Community beteiligt und hat geholfen, die KI-Community im D-A-CH-Raum aufzubauen.

Der zweite Gedanke aus Barcelona betrifft den Nachweis. Ein trainiertes Modell lässt sich nicht mit einem deterministischen Einzeltest belegen. Sein Nachweis wechselt die Form: Testdaten, die selbst Anforderungen unterliegen, und Metriken, die für Kontrolle und Wirksamkeit tragen. Das ist die Denkweise der Data Scientists, und es ist zugleich das Prinzip des Qualitätsrisikomanagements: Entscheidung unter Unsicherheit. Beim Nachweis importiert Annex 22 damit keine fremde Logik in die GxP-Welt, sondern wendet die vorhandene auf Modelle an. Beim Anwendungsbereich zieht der Entwurf die Grenze dagegen a priori, anstatt die Zulässigkeit eines Modelltyps anhand der Risikobewertung zu beurteilen. An dieser Stelle setzte später die Industrie an.

Boston, Juni 2026: Eine FDA-Stimme sagt, die Regeln bleiben

Auf dem ISPE AI in Life Sciences Summit in Boston (22. und 23. Juni 2026) sprach Seneca Toms, National Expert Drugs der US FDA, über den Umgang der Industrie mit KI. Oliver Herrmann sass im Saal. Frank Henrichmann vertrat als Chair des GAMP Global Steering Committee die "Powered by GAMP"-Seite des Summits. Was an dem Vortrag überzeugte, war die Klarheit, mit der eine Behördenstimme die alten Grundsätze auf die neue Technik anwandte. Sichere und wirksame Produkte, beherrschte Prozesse, erkannte und gesteuerte Risiken, wissenschaftlich begründete Entscheidungen: Das galt vor KI, und es gilt danach. Die ISPE-Redaktion hat den Vortrag im August in einem iSpeak-Beitrag zusammengefasst. Sie weist ausdrücklich darauf hin, dass die Zusammenfassung von keiner der genannten Behörden geprüft wurde und keine offizielle Behördenposition wiedergibt. Die folgenden Gedanken geben wir daher als Reflexion des Vortrags wieder, nicht als Verlautbarung der FDA.

Vier Gedanken aus Boston greifen wir auf, weil sie für regulierte Unternehmen unmittelbar anwendbar sind. Die Prüftiefe richtet sich nach der Entscheidung, die ein System stützt: Ein Tool, das Besprechungsnotizen zusammenfasst, braucht eine andere Absicherung als ein System, das in Entscheidungen zu Produktqualität oder Patientensicherheit eingeht. Aufsicht setzt Verstehen voraus; wer ein Ergebnis freigibt, ohne es zu verstehen, übt keine Human Oversight aus. Das grösste Risiko sitzt im Vertrauen. Toms berichtete aus Inspektionen, in denen Systeme nicht versagt hatten, es fragte nur niemand mehr nach, weil sie seit Jahren liefen. Darin zeigt sich eine Beobachtung, die wir auch in Berlin beschrieben haben. Darauf kommen wir später zurück. Bei KI wiederholt sich dieses Muster, sobald Empfehlungen übernommen werden, weil sie bequem sind oder glaubwürdig wirken. Und das „current“ in cGMP verlangt, Schritt zu halten. Neue Werkzeuge werden am heutigen Stand gemessen, denn Papier, Altsysteme, Menschen und die heutigen Möglichkeiten zur Kontrolle von KI haben Grenzen.

„You can outsource a lot of things, but you cannot outsource your common sense.“ (Seneca Toms, US FDA, zitiert nach ISPE iSpeak, 24. August 2026)

EMA-Expertenworkshop, 30. Juni 2026: Die Industrie antwortet mit einer Stimme

Eine Woche nach Boston hörte die EMA einen Tag lang der Industrie zu. Im Expertenworkshop zum Entwurf des EU GMP Annex 22 trugen die von den Verbänden nominierten Experten ihre Positionen zu sechs von der EMA vorgegebenen Themenfeldern vor, den sechs Säulen der EMA-Guardrail-Architektur, von regulatorischen Wegen für adaptive Modelle über Human Oversight, Validierung und Lebenszyklus bis Cybersicherheit. Wir haben den öffentlich übertragenen ersten Tag vollständig verfolgt. Vorausgegangen war die Konsultation von 2025 mit 1.359 Kommentaren aus 79 Organisationen; der Ruf nach einem risikobasierten Ansatz war ihr deutlichster Schwerpunkt. Am zweiten, nicht öffentlichen Tag nahm die Drafting Group die Beiträge auf und setzte ihre Arbeit am Text fort. Der Ablauf mit den zwei Tagen stand von Anfang an fest. Das Signal liegt für uns im Ton der öffentlichen Stellungnahme, die die EMA danach abgab. Sie lässt erkennen, dass die vorgetragenen Ideen und Konzepte als hilfreich aufgenommen wurden. Auch ein ranghoher FDA-Vertreter lobte öffentlich Format und Dialog des Workshops.

Die Verbände waren gebeten worden, auch abweichende Auffassungen darzustellen. Das Ergebnis war dennoch eindeutig: Ihre Vorgehensmodelle stimmen überein und laufen auf die Auslegung eines qualitätsrisikobasierten Ansatzes hinaus. In der zentralen Frage des Anwendungsbereichs wich die Position der Industrie vom Entwurf ab. Der Entwurf schliesst dynamische, probabilistische und generative Modelle aus kritischen Anwendungen aus. Die Industrie hielt dagegen, kein Modelltyp sei per se unzulässig oder unbedenklich. Über die Zulässigkeit entscheide die Risikobewertung im konkreten Anwendungsfall. Bei der menschlichen Aufsicht schlug sie vor, den im Entwurf fest verankerten Human-in-the-Loop-Mechanismus durch ein Human-Oversight-Konzept mit mehreren Formen zu ersetzen. Die Spannweite reicht von der Freigabe jedes Outputs bis zur laufenden Überwachung mit Eingriff bei Ausnahmen. Welche Form angemessen ist, ergibt sich aus der Risikobewertung. Und bei den Guardrails zog die Industrie selbst die Grenze: Sie reduzieren Risiko, sie beseitigen es nicht, und eine Kontrolle, die Risiko senken soll, braucht einen eigenen Wirksamkeitsnachweis.

Aus Sicht von QFINITY war der stille Höhepunkt ein vorgetragenes Architekturbild: das KI-Subsystem aus Modell, Integrationscode und Guardrails als Teil innerhalb des computergestützten Systems, zu dem auch Prozess und Menschen gehören. Genau diese Einbettung ist die Architektur hinter unserer Validierung von KI im GxP-Umfeld: Das Modell wird verifiziert, das computergestützte Gesamtsystem wird im Prozess validiert.

Fünf Sätze, die alle drei teilen

Legt man die drei Anlässe nebeneinander, bleibt ein gemeinsamer Kern, den keine der Stimmen bestreitet:

Unsere Position aus Berlin: Wer widerspricht, wenn das System spricht?

Die fünf Sätze decken sich mit der Position, die Daniel Köpke und Oliver Herrmann auf dem 47. GAMP D-A-CH Forum am 11. März 2026 in Berlin vorgestellt haben. Sie stellten die Frage, was Human Oversight bedeutet, wenn Systeme intelligenter, komplexer und überzeugender werden. Der Ausgangspunkt war die Verantwortung: Ein Patient kennt weder SOPs noch Validierungspläne, er vertraut darauf, dass am Ende ein Mensch hinter der Qualität steht. Ein KI-befähigtes System kann Daten analysieren, Muster erkennen, Abweichungen klassifizieren und Entscheidungen vorbereiten, und es klingt dabei plausibel. Genau darin liegt das Risiko: Plausibilität ist kein Beleg für eine Prüfung. Sie kann eine Prüfung auslösen, sie kann sie nicht ersetzen, und sie macht Verantwortung nicht übertragbar.

Die grösste Gefahr für die QA ist deshalb nicht die KI. Es ist die schleichende Erosion sichtbarer Verantwortung: Klick für Klick, Bestätigung für Bestätigung, bis niemand mehr widerspricht. Die Aufgabe der QA verschiebt sich damit: Sie validiert nicht nur Systeme, sie gestaltet die Bedingungen, unter denen menschliches Urteil wirksam bleibt. Human Oversight gehört in Intended Use, Geschäftsprozess, Datenintegrität, risikobasierte Kontrollen und Lebenszyklus-Nachweise eingebettet, so dass Verantwortung nicht nur dokumentiert, sondern ausgeübt wird und ihre Wirksamkeit nachweisbar bleibt. Die ausführliche Fassung dieser Position steht im Beitrag Wer widerspricht, wenn das System spricht?

Welche Bedingungen müssen Sie heute schaffen, damit auch in drei Jahren jemand einer Empfehlung widerspricht, die das System bis dahin ohne Beanstandung geliefert hat?

Was daraus für Betreiber folgt

Die Konvergenz hat eine praktische Seite. Wer heute nach diesen fünf Sätzen arbeitet, muss beim finalen Annex 22 voraussichtlich nicht umbauen, gleich, ob die EMA dem Risikoprinzip der Industrie folgt oder beim Ausschluss bestimmter Modellklassen bleibt. Die Nachweislogik des Entwurfs, von Intended Use über unabhängige Testdaten bis zum Monitoring, trägt in jedem Ausgang der Überarbeitung. Und sie trägt auch vor einer FDA-Inspektion, denn dort zählt, was Toms in Boston benannt hat: Verstehen, Risiko, Lebenszyklus, Verantwortung. Diese Nachweislogik ist ebenso nötig, damit die Systeme die erwartete Leistung erbringen und unabhängig vom KI-Label spürbar zu Entlastung und Wertschöpfung beitragen.

Der Einstieg ist die Kritikalitätsfrage: Welche KI-gestützten Anwendungen liefern Ergebnisse, die ohne weiteren Review in Qualitätsentscheidungen eingehen, die Patientensicherheit, Produktqualität oder Datenintegrität berühren? Daran schliesst die Wirksamkeit der Human Oversight an. Entscheidend ist dabei weniger, ob ein Review-Schritt dokumentiert ist, als ob die prüfende Person den Einsatzkontext versteht, die Grenzen des Systems kennt und widersprechen darf. Wie sich das prüfen lässt, beschreiben wir unter AI Governance und Human Oversight. Dazu gehört die Frage, ob Widerspruch im Betrieb noch vorkommt.

Wie es weitergeht

Für Annex 22 ist zunächst ein Workshop-Report angekündigt; danach wird eine überarbeitete Entwurfsfassung erwartet. Woran sich der finale Text entscheidet, haben wir auf unserer Annex-22-Seite in drei Fragen festgehalten; sobald der Report vorliegt, messen wir ihn daran. Bis dahin gilt der nüchterne Stand: Das computergestützte System wird nach Annex 11 validiert, das Qualitätsrisikomanagement gibt der Nachweistiefe die Orientierung, und Toms beschreibt aus Inspektionen keine andere Erwartung. Für QFINITY bestätigen die drei Signale aus Behörden und Industrie den Weg, den wir in Berlin vorgetragen haben: KI setzt die Linie von CSV und CSA fort. So haben wir es im Januar in Pharmaceutical Engineering beschrieben, und so lesen wir auch die Behörden- und Industriesignale dieses Jahres.

Zum Nachlesen: US FDA on AI, Critical Thinking, and the Enduring Principles of Quality (ISPE iSpeak, 24.08.2026)↗Human-in-the-Loop as an Illusion of Control? (Herrmann/Henrichmann, ISPE iSpeak, 04.09.2026)↗Chapter 4, Annex 11, Annex 22: Drei Entwürfe, ein Kontrollsystem (QFINITY)↗