EMA-Workshop-Report zu Annex 22: Öffnung für generative KI

Anfang Oktober 2026 hat die EMA den Report zu ihrem Expertenworkshop vom 30. Juni 2026 veröffentlicht. Das Dokument EMA/156789/2026 hält auf 15 Seiten fest, was die Industrieverbände zu sechs Themenfeldern vortrugen, und es enthält einen Satz, der über den Workshop hinausreicht: Die Drafting Group hat erörtert, den Geltungsbereich des EU GMP Annex 22 auf dynamische, adaptive, probabilistische und generative Modelle zu erweitern. Voraussetzung wäre eine vollständig dokumentierte, robuste und risikobasierte Kontrollstrategie. Was der Report bestätigt und was er offenlässt, ordnen wir hier ein.

Wir haben den öffentlich übertragenen Workshoptag verfolgt und die Signale aus Barcelona, Boston und dem Workshop in unserem Beitrag vom August, Drei Signale, eine Linie zusammengeführt. Mit dem Report liegt erstmals eine schriftliche Einordnung des Workshops durch die EMA vor.

Der Satz, auf den es ankommt

Der Konsultationsentwurf von 2025 schließt generative KI und Large Language Models aus seinem Anwendungsbereich aus und sieht sie, wie dynamische und probabilistische Modelle, nicht für kritische GMP-Anwendungen vor. Der Report zitiert diesen Satz in seiner Einleitung und stellt ihm die Rückmeldung aus der Konsultation gegenüber. Die Kommentare sprachen sich dafür aus, solche Modelle in GMP-Anwendungen zuzulassen, in kritischen wie in unkritischen. Daraufhin, so die EMA, hat die Drafting Group eine Erweiterung des Geltungsbereichs erörtert, unter der Bedingung, dass die Anforderungen des Annex erfüllt sind und eine vollständig dokumentierte, robuste, risikobasierte Kontrollstrategie den Einsatz trägt.

Zwei Dinge gehören zu diesem Satz. Erstens ist er eine Erörterung, kein Beschluss. Als nächsten Schritt nennt der Report die Überarbeitung des Entwurfs durch die Drafting Group, ohne dafür ein Datum anzugeben. Zweitens war genau die Frage, welche Elemente eine solche Kontrollstrategie braucht, der Anlass des Workshops. Die Drafting Group wollte von Experten hören, ob sich ein risikobasierter Ansatz auf generative KI anwenden lässt und welche Kontrollmechanismen ihn tragen.

Vier Linien aus sechs Themenfeldern

Für jedes Themenfeld gibt der Report die Positionen der Verbände und die Fragen der Regulatoren wieder. Den Abschluss bilden jeweils Kernbotschaften und ein Abschnitt zu möglichen Folgen für den Annex-Text. Vier Linien ziehen sich durch die Themenfelder.

Kein Verbot nach Technologiekategorie. Die konsolidierte Position der Verbände wandte sich gegen kategorische Ausschlüsse. Ob ein Modell zulässig ist, soll sich nach Intended Use, der Konsequenz einer Entscheidung, Modelleinfluss, Unsicherheit und Komplexität richten, und danach, ob sich das Restrisiko auf ein akzeptables Maß senken lässt. Der Report hält als Kernbotschaft fest, dass die bestehenden Prinzipien des Qualitätsrisikomanagements auch für adaptive und probabilistische Modelle gelten. Ein gültiges Ergebnis dieser Bewertung kann weiterhin sein, das Modell nicht einzusetzen. Diese Schlussfolgerung soll dokumentiert werden.

Human Oversight statt Human-in-the-Loop als Standard. Der Report unterscheidet Aufsicht als Ziel über den ganzen Lebenszyklus von Human-in-the-Loop als einer möglichen Umsetzung, bei der ein Prozess auf eine menschliche Handlung wartet. Als Kernbotschaft steht dort, dass Human-in-the-Loop keine Standardanforderung für jeden KI-Einsatz ist, dass Aufsicht nachweisbar und periodisch überprüft sein muss und dass sie eine unzureichende Validierung nicht ausgleichen kann. Die Regulatoren fragten nach, wie sich Automation Bias beherrschen und die Leistung der prüfenden Person überwachen lässt.

Kontrollmechanismen benötigen Evidenz. Der Report dokumentiert die vorgestellte Schichtung aus Prävention am Eingang, Erkennung im Modell und Eindämmung am Ausgang. Zugleich vermerkt er, dass einige der fünf Anwendungsfälle Pilotprojekte oder theoretische Konzepte waren. Zwei Punkte aus der Diskussion hält der Report fest. Kontrollen, die für bekannte Fehlerarten gebaut sind, decken unvorhergesehene nicht von sich aus ab, und im Annex selbst wäre nach Ansicht der Industrie der Begriff Kontrollmechanismus dem Guardrail vorzuziehen, weil Guardrails technikgebunden und vergänglich sind. Nach dieser Position soll der Annex Ziele wie Prävention, Erkennung und Eindämmung nennen, technische Verfahren gehören in ein aktualisierbares Format.

Die Verantwortung bleibt beim regulierten Unternehmen. Diese Verantwortung umfasst den Einsatz des Modells ebenso wie die Steuerung von Lieferanten und Cloud-Anbietern. Nach der im Report wiedergegebenen Position der Industrie bestehen KI-Systeme aus Daten, Modell und Hardware und bleiben damit computergestützte Systeme. Für sie gilt Annex 11. Der Report verweist auf dessen Kapitel zu ausgelagerten Tätigkeiten; im geltenden Annex 11 steht das Thema in Abschnitt 3, im Entwurf 2025 in Abschnitt 7. Wer ein Fremdmodell über eine Schnittstelle nutzt, braucht Zugang zu den Nachweisen, mit denen sich das Verhalten messen lässt. Liefert der Anbieter sie nicht, lässt sich der Einsatz nicht rechtfertigen.

Was noch nicht ausgearbeitet ist

Ebenso aufschlussreich ist, was der Workshop offen gelassen hat. Einige der vorgestellten Anwendungsfälle waren laut Report noch keine Produktivsysteme, sondern Pilotprojekte oder Konzepte. Zur Frage, wie unabhängige Testdaten bei einem Modell erhalten bleiben, das im Betrieb weiterlernt, hält der Report fest, dass die Antwort kein verbindliches Verfahren festlegte und die Umsetzung für kontinuierlich lernende Systeme Klärung braucht. Und zu den Eigenheiten generativer Modelle, Halluzination, erfundene Angaben, überzogene Sicherheit in der Antwort, legte der Workshop kein Verfahren fest, mit dem sich Raten oder Konfidenzen schätzen ließen. Diese Fragen muss der überarbeitete Entwurf beantworten, oder er muss sie offen in die Risikobewertung des Betreibers geben.

Unsere Einordnung

Für QFINITY überschneidet sich der Report mit der Architektur, die wir auf unserer Annex-22-Seite und in der Validierung von KI im GxP-Umfeld beschreiben. Das Modell ist eine Komponente mit eigenem Nachweis, es wird verifiziert. Das computergestützte System, in dem es mit Kontrollmechanismen, Prozess und Menschen arbeitet, wird in seinem Prozess validiert. Der Report legt sich auf diese Abgrenzung nicht fest. Er verwendet „validation“ auch für Lebenszyklus- und Systemfragen und hält die Nachweisgegenstände nebeneinander offen: Im Ausblick zum Themenfeld Validierung schreibt er „revalidation/re-verification“ und nennt als mögliche Folge ein „AI validation/qualification package“, als Spiegel der Industriedarstellung, nicht als regulatorische Haltung. Der konzeptionelle Kern dessen, was ein Betreiber zeigen können sollte, ist im Report gleichwohl erkennbar: Nachweise zur Modellleistung, Angaben zu den Trainingsdaten, Kontrollen um Eingabe und Ausgabe und der Beleg, dass das System im Betrieb wie erwartet arbeitet. Das entspricht in der Sache den Nachweisen, die wir seit dem GAMP-Workshop auf dem ISPE-Summit in Boston im Juni beschreiben, in dessen Kernteam Frank Henrichmann für QFINITY mitarbeitete: Intended Use im eigenen Prozess, Akzeptanzkriterien, ein vom Training getrenntes Testset, die Model Card des Lieferanten und das Restrisiko, das der Betreiber trägt.

Bei der Aufsicht trifft der Report die Linie, die wir im März auf dem GAMP D-A-CH Forum unter der Frage Wer widerspricht, wenn das System spricht? vorgestellt und im September für ISPE iSpeak unter dem Titel Human-in-the-Loop as an Illusion of Control? vertieft haben. Human-in-the-Loop allein stellt noch keine Kontrolle her. Kontrolle entsteht, wenn die prüfende Person den Einsatzkontext versteht, die Grenzen des Modells kennt und widersprechen darf, und wenn sich diese Fähigkeit im Betrieb belegen lässt. Im Report sagt es ein Sprecher so: Aufsicht liefert Wissen, Erkennung und Auslöser für Maßnahmen, das Risiko senkt erst die Maßnahme.

Welche Ihrer KI-gestützten Anwendungen würden Sie heute auf Grundlage einer dokumentierten, risikobasierten Kontrollstrategie betreiben? Und bei welchen käme die Bewertung zu dem Ergebnis, sie nicht einzusetzen?

Ein Prüfraster für Betreiber

Der überarbeitete Entwurf hat kein Datum. Bis dahin bleibt der Konsultationsentwurf 2025 die Orientierung für die Vorbereitung, kein geltender Annex, und der Report ändert seinen Wortlaut nicht. Wer heute eine KI-Anwendung im GMP-Umfeld plant, kann die vier Linien des Reports als Prüfraster nutzen. Das Raster beginnt mit einer Kritikalitätsbewertung, die neben dem direkten Einfluss auch Entscheidungsfolge, Modelleinfluss, Unsicherheit und Entdeckbarkeit von Fehlern (Detectability) einbezieht. Die Form der Aufsicht muss zur Risikobewertung passen, und ihre Wirksamkeit muss sich belegen lassen. Die Evidenz für die Kontrollmechanismen hängt am Gesamtpaket der Kontrollen, nicht an jedem Mechanismus einzeln. Verträge mit Lieferanten sichern den Zugang zu Nachweisen, die Beteiligung am Change Control und die Transparenz der Kontrollen. Wie sich das in einer AI Governance mit Human Oversight verankern lässt, beschreiben wir auf unserer Seite dazu. Den Stand des Reports haben wir außerdem in die drei offenen Fragen auf unserer Annex-22-Seite eingearbeitet.

Einstiegsangebot
Standortbestimmung und Roadmap: Chapter 4, Annex 11 & 22

Im Modul KI bewerten wir Ihre KI-Anwendungen entlang der vier Linien des Reports: Kritikalität, Form der Aufsicht, Evidenz der Kontrollmechanismen, Lieferantenverträge.

Module: Daten, Systeme, KI
Dauer: Drei bis sechs Wochen
Ergebnis: Landkarte, Lückenliste, Roadmap

Zum Angebot →

Zum Nachlesen: EMA: Report of the multistakeholder workshop on expert contributions to AI guidance development (Annex 22), EMA/156789/2026↗EMA: Workshop-Seite mit Agenda und Report↗Drei Signale, eine Linie: KI im GxP-Umfeld zwischen Barcelona, Boston und dem EMA-Workshop (QFINITY)↗