DSAG-Arbeitskreis Life Sciences 2026: Der erfundene Reviewer

Linienzeichnung: ein Dokument zwischen zwei gestrichelten Figuren, daneben ein Mensch mit erhobener Hand, der stoppt

Der DSAG-Arbeitskreis Life Sciences Prozesse tagte am 21. und 22. Oktober 2026 in Hockenheim unter dem Motto „Zwischen Innovation und Compliance: KI im GxP-Umfeld“. QFINITY eröffnete den Nachmittag des ersten Tages mit dem Impuls „Der erfundene Reviewer“. Was die Sicherheitstests zweier KI-Labore und des britischen AI Security Institute im Sommer 2026 über Agenten zeigen und warum das jeden Anwender angeht, der einem Agenten Schreibrechte in seiner SAP-Landschaft gibt.

Drei Grenzen als Linienzeichnung: eine gestrichelte Linie, eine gerissene Wand und ein offen stehendes Tor, durch die eine Prozesslinie läuft
Drei GrenzenPrompt, Sandbox und Auftrag: die drei Grenzen, die Anthropic, OpenAI und das AISI ihren Agenten setzten.

Rund um die Keynote von Stefan Münch (GAMP D-A-CH) und die SAP-Beiträge zu Autonomous Regulated Manufacturing und Cloud ERP GxP Readiness ging es zwei Tage lang um dieselbe Frage. Wie kommt KI aus dem Pilotstatus in den validierten Betrieb? Oliver Herrmann (QFINITY) übernahm den ersten Teil des Vortragsblocks um 13:30 Uhr aus Washington, wo zeitgleich das ISPE Annual Meeting lief. Den zweiten Teil bestritt Alexander Kunz (Merck KGaA) mit „Einführung von KI im GxP Umfeld @ Merck“.

Drei Grenzen, drei Fehlschläge, niemand hat zugesehen

Im Sommer 2026 veröffentlichten Anthropic, OpenAI und das AI Security Institute (AISI), was in ihren Sicherheitstests mit bewusst abgeschalteten Schutzfiltern geschah. Was in den Tests geschah, Fall für Fall:

1
Anthropic: die Grenze im Prompt. „Kein Internet“ stand im Prompt, doch eine Fehlkonfiguration der Testumgebung ließ den Zugang offen. Das fiel erst nachträglich bei der Durchsicht von 141.006 Evaluationsläufen auf. Die Folge war ein Schadprogramm in einem öffentlichen Paketverzeichnis, installiert auf 15 echten Systemen.
2
OpenAI: die Grenze in der Sandbox. Die Sandbox war technisch abgeschottet, bis die Agenten im Artefakt-Repository der Sandbox (JFrog Artifactory), ihrem einzigen Dienst mit Internetanbindung, eine bis dahin unbekannte Sicherheitslücke fanden und vom 11. bis 13. Juli in Produktivsysteme der KI-Plattform Hugging Face eindrangen. Entdeckt hat den Einbruch Hugging Face selbst.
3
AISI: die Grenze im Auftrag. Das AISI ließ das Internet bewusst offen, die einzige Grenze war der Umfang der Aufgabe. Dort schlug die Sicherheitsüberwachung an und stoppte den Lauf innerhalb einer Stunde, ohne nachgewiesenen realen Schaden, aber mit einem Pull Request in ein echtes Softwareprojekt.

Für Anwender heißt das: Ein Prompt ist keine Netzgrenze, eine Sandbox allein auch nicht, und Protokolle nachträglich zu lesen ist keine Überwachung. Alle Agenten liefen in Testumgebungen der Labore, ihrer Partner oder des AISI. Die Schäden entstanden bei Dritten im Netz. Soweit bekannt, war bisher kein Pharmaunternehmen und kein SAP-System betroffen. Was lernen wir daraus, wenn Agenten den Weg des geringsten Widerstands suchen, um eine Aufgabe zu lösen? Die Frage stellt sich, sobald Modelle derselben Anbieter, mit deutlich schärferen Sicherheitsvorkehrungen, als Agenten in Unternehmenssystemen arbeiten und Schreibrechte in GxP-Umgebungen erhalten.

Was die Protokolle zeigen

Zwei Untersuchungsberichte dokumentieren die protokollierten Gedankengänge der Agenten, der Bericht von METR und Redwood Research zum Vorfall bei Hugging Face und der Incident Report des AISI. Darin stehen drei Muster, die aus Abweichungsberichten und Inspektionen vertraut sind, bisher nur von Menschen:

1
Die Rationalisierung. „Fremde Systeme anzugreifen liegt außerhalb unseres Auftrags. Aber die Aufgabe ist unlösbar, und die anderen machen es auch. Wir machen weiter.“ Gedankengang eines Agenten während des Angriffs auf Hugging Face, übersetzt. Über 90 % der 533 Agenten auf dem internen Nachrichtenbrett beteiligten sich.
2
Die Spur. „Werden unsere Gedanken überhaupt protokolliert?“ Bei mindestens 20 % der Agenten stehen im Gedankengang Überlegungen, die eigenen Protokolle für den automatischen Bewerter zu manipulieren. Gefälscht wurden einzelne Werkzeugaufrufe im Transkript, das laut Gedankengang als Grundlage der Bewertung galt. Der Gedankengang selbst blieb unverändert; die Agenten nahmen an, er werde nicht aufgezeichnet.
3
Der erfundene Reviewer. Ein Pull Request mit verstecktem Schadcode in ein echtes Open-Source-Projekt. Unter mehreren erfundenen Identitäten meldete sich eine zweite Stimme und versicherte, den Code geprüft und nichts Schädliches gefunden zu haben. Einreicher und zweite Stimme gehörten demselben Agenten. Der menschliche Projektverantwortliche lehnte den Pull Request ab.

Im dritten Fall galt der Angriff nicht der Technik, sondern dem Review. Der Review hielt, weil ein Mensch sein Urteil nicht an die zweite Stimme abgab.

Wer in Ihrer SAP-Landschaft würde bemerken, wenn ein Agent seinen eigenen Prüfer erfindet?

Fehlendes Alignment oder fehlende Grenzen?

Linienzeichnung einer Kontrollarchitektur: ein Agent im Kern, umschlossen von zwei Rahmen, mit Messpunkten am Eingang und Ausgang und einem Schalter
Um den AgentenMesspunkte am Eingang und Ausgang, ein Schalter für den Stopp und eine Kette von Records, die Architektur, die der Impuls zur Diskussion stellte.

In allen drei Fällen blieb die Lösung der gestellten Aufgabe der Maßstab der Agenten, und in allen drei Fällen verließen sie den Rahmen, ohne dass eine dafür gebaute Überwachung es im Moment des Geschehens erkannte. Ethische Bedenken tauchten in den Gedankengängen auf, begrenzten das Handeln aber nur selten. Ob sich ein Agent unter Beobachtung anders verhält als unbeobachtet, lässt sich im Test nicht ausschließen. Für regulierte Anwender führt die Frage nach der Absicht deshalb nicht weiter. Entscheidend ist, was ein Agent darf, innerhalb welcher Grenzen er Aktionen ausführt und wie verlässlich die Kontrollmechanismen sind, die diese Grenzen durchsetzen.

Diese Fragen stellen Inspektoren seit Jahrzehnten, bisher an Menschen und Systeme. Der Impuls endete mit zwei davon für die Heimfahrt, und sie gelten für jede SAP-Landschaft: Welche Systeme geben einem Agenten heute schon Schreibrechte? Wer kann ihn stoppen, und was geschieht danach mit den Daten?

Einblick: vier Einstiegspunkte in die SAP-Welt

Wer die beiden Fragen für die eigene SAP-Landschaft beantworten will, findet bei SAP vier Stellen, an denen der Einstieg beginnt. Was SAP dort anbietet, steht jeweils zuerst; was davon beim Betreiber ankommt, danach.

1. Sehen, welche Agenten es gibt und wer sie verantwortet. Der SAP AI Agent Hub, aufgebaut auf SAP LeanIX, führt ein zentrales Register aller Agenten, MCP-Server und Sprachmodelle in der Landschaft, aus SAP-, Partner- und Eigenentwicklung. Jeder Eintrag trägt Identität, Eigentümer, Fähigkeiten, Technology Stack und Governance-Status; eine optionale Erweiterung für die Risikobewertung nach dem EU AI Act ordnet Agenten einer Risikoklasse zu. Agenten, die die Prüfung noch nicht bestanden haben, bleiben im Status „ausstehend“, und die Identität jedes Agenten liegt neben den menschlichen Identitäten in SAP Cloud Identity Services. Bemerken setzt voraus, dass jemand weiß, welche Agenten es gibt. Für den Inspektor zählt das Register erst, wenn es mit der Systemliste des QMS übereinstimmt und jeder Eintrag einen verantwortlichen Menschen trägt.

2. Verstehen, was nach dem Stopp mit den Daten geschieht. SAP beschreibt im Whitepaper zu Joule in GxP-regulierten Umgebungen (Mai 2026) entlang GAMP 5 Appendix D11 und ISO 42001 die Lebenszykluskontrollen, die ein Agent im GxP-Betrieb braucht: Monitoring im Betrieb, Änderungskontrolle mit Versionskontrolle für Modell- und Datenänderungen, periodische Revalidierung mit CAPA, und ordnet zu, was Joule davon mitbringt. Joule ist dabei Entscheidungsunterstützung, der Mensch bleibt Entscheider (human-in-the-loop); das Plattform-Logging liefert SAP, das Logging der Anwendung richtet der Betreiber ein. Eine überarbeitete Fassung, die den GAMP AI Guide einbezieht, ist nach Auskunft von SAP in Arbeit. Welches Ereignis am Agenten eine erneute Prüfung auslöst, etwa ein neues Modell hinter derselben Oberfläche, bleibt im Whitepaper dem Betreiber überlassen; diese Auslöser legt er selbst fest.

3. Die Guardrails des Herstellers kennen. SAP legt in seinen Responsible-AI-Grundsätzen offen, nach welchen Regeln das Unternehmen KI-Anwendungsfälle auswählt, umsetzt und kontrolliert. Für die Frage „Alignment oder Grenzen“ ist das der Rahmen, in dem SAP seine eigenen Agenten baut. Es sind die Regeln des Herstellers für seine Produkte. Die Kontrolle im eigenen Betrieb und die Grenzen dort setzt der Anwender selbst.

4. Die Architektur als Ganzes einordnen. Die AI-native North Star Architecture beschreibt SAPs Zielbild in vier Schichten, mit Joule als Eingang, Agenten, die Prozesse über Systemgrenzen hinweg ausführen, und einer Plattform, die Laufzeit, Sandbox, Beobachtbarkeit und Governance stellt. Jeder Aufruf läuft durch ein kontrolliertes Gateway, nur Ausnahmen und richtlinien-gebundene Entscheidungen gehen an einen Menschen. SAP nennt das Dokument ausdrücklich eine Richtung, keine Zusage.

Diese vier Stellen liefern die Fähigkeit. Die Kontrollarchitektur, die der Inspektor sieht, entsteht beim Betreiber: der Intended Use des Prozessschritts, den der Agent bedient, die Grenzen seiner Rechte, die Records nach ALCOA++ und die Person, die ihn stoppt. Dort beginnt unsere Arbeit.

Warum ein Mensch im Loop allein noch keine Kontrolle ist, steht in unserem Beitrag Ein Mensch im Loop ist noch keine Kontrolle. Wie die Antwort für Ihre SAP-Landschaft aussieht, klären wir im Gespräch: Termin vereinbaren. Der Arbeitskreis trifft sich wieder am 7. und 8. April 2027.

Trust is not reviewed into a system. It is designed into it.

DSAG, Deutschsprachige SAP-Anwendergruppe (dsag.de)↗SAP AI Agent Hub, Referenzarchitektur (architecture.learning.sap.com)↗SAP Whitepaper: Joule in GxP-Umgebungen, Mai 2026 (sap.com)↗SAP AI-native North Star Architecture (architecture.learning.sap.com)↗