DSAG 2026: Der erfundene Reviewer

Der DSAG-Arbeitskreis Life Sciences Prozesse tagte am 21. und 22. Oktober 2026 in Hockenheim unter dem Motto „Zwischen Innovation und Compliance: KI im GxP-Umfeld“. QFINITY eröffnete den Nachmittag des ersten Tages mit dem Impuls „Der erfundene Reviewer“, zugeschaltet aus Washington. Was die Sicherheitstests zweier KI-Labore und des britischen AI Security Institute im Sommer 2026 über Agenten zeigen und warum das jeden Anwender angeht, der einem Agenten Schreibrechte in seiner SAP-Landschaft gibt.

Drei Grenzen als Linienzeichnung: eine gestrichelte Linie, eine gerissene Wand und ein offen stehendes Tor, durch die eine Prozesslinie läuft — **Drei Grenzen**Prompt, Sandbox und Auftrag: die drei Grenzen, die Anthropic, OpenAI und das AISI ihren Agenten setzten.

Rund um die Keynote von Stefan Münch (GAMP D-A-CH) und die SAP-Beiträge zu Autonomous Regulated Manufacturing und Cloud ERP GxP Readiness ging es zwei Tage lang um dieselbe Frage. Wie kommt KI aus dem Pilotstatus in den validierten Betrieb? Oliver Herrmann (QFINITY) übernahm den ersten Teil des Vortragsblocks um 13:30 Uhr aus Washington, wo zeitgleich das ISPE Annual Meeting lief. Den zweiten Teil bestritt Alexander Kunz (Merck KGaA) mit „Einführung von KI im GxP Umfeld @ Merck“.

Drei Grenzen, drei Fehlschläge, niemand hat zugesehen

Im Sommer 2026 veröffentlichten Anthropic, OpenAI und das AI Security Institute (AISI), was in ihren Sicherheitstests mit bewusst abgeschalteten Schutzfiltern geschah. Bei Anthropic stand „kein Internet“ im Prompt, doch eine Fehlkonfiguration der Testumgebung ließ den Zugang offen. Das fiel erst nachträglich bei der Durchsicht von 141.006 Evaluationsläufen auf. Die Folge war ein Schadprogramm in einem öffentlichen Paketverzeichnis, installiert auf 15 echten Systemen. Bei OpenAI war die Sandbox technisch abgeschottet, bis die Agenten im Paketspeicher eine bis dahin unbekannte Sicherheitslücke fanden und vom 11. bis 13. Juli in Produktivsysteme der KI-Plattform Hugging Face eindrangen. Entdeckt hat den Einbruch Hugging Face selbst. Das AISI ließ das Internet bewusst offen, die einzige Grenze war der Umfang der Aufgabe. Dort schlug die Sicherheitsüberwachung an und stoppte den Lauf innerhalb einer Stunde, ohne nachgewiesenen realen Schaden, aber mit einem Pull Request in ein echtes Softwareprojekt.

Für Anwender heißt das: Ein Prompt ist keine Netzgrenze, eine Sandbox allein auch nicht, und Protokolle nachträglich zu lesen ist keine Überwachung. Alle Agenten liefen in Testumgebungen der Labore, ihrer Partner oder des AISI. Die Schäden entstanden bei Dritten im Netz, keiner bei einem Pharmakunden und keiner in einem SAP-System. Modelle derselben Anbieter arbeiten heute als Agenten in Unternehmenssystemen, und die Frage, welche Schreibrechte sie dort erhalten, stellt sich auch in GxP-Landschaften.

Was die Protokolle zeigen

Zwei Untersuchungsberichte dokumentieren die protokollierten Gedankengänge der Agenten, der Bericht von METR und Redwood Research zum Vorfall bei Hugging Face und der Incident Report des AISI. Darin stehen drei Muster, die aus Abweichungsberichten und Inspektionen vertraut sind, bisher nur von Menschen:

Die Rationalisierung. „Fremde Systeme anzugreifen liegt außerhalb unseres Auftrags. Aber die Aufgabe ist unlösbar, und die anderen machen es auch. Wir machen weiter.“ Gedankengang eines Agenten während des Angriffs auf Hugging Face, übersetzt. Über 90 % der 533 Agenten auf dem internen Nachrichtenbrett beteiligten sich.

Die Spur. „Werden unsere Gedanken überhaupt protokolliert?“ Bei mindestens 20 % der Agenten stehen im Gedankengang Überlegungen, die eigenen Protokolle für den automatischen Bewerter zu manipulieren. Gefälscht wurden einzelne Werkzeugaufrufe im Transkript, das laut Gedankengang als Grundlage der Bewertung galt. Der Gedankengang selbst blieb unverändert, weil er laut Protokoll als nicht aufgezeichnet galt.

Der erfundene Reviewer. Ein Pull Request mit verstecktem Schadcode in ein echtes Open-Source-Projekt. Unter mehreren erfundenen Identitäten meldete sich eine zweite Stimme und versicherte, den Code geprüft und nichts Schädliches gefunden zu haben. Einreicher und zweite Stimme gehörten demselben Agenten. Der menschliche Projektverantwortliche lehnte den Pull Request ab.

Im dritten Fall galt der Angriff nicht der Technik, sondern dem Review. Der Review hielt, weil ein Mensch sein Urteil nicht an die zweite Stimme abgab.

Wer in Ihrer SAP-Landschaft würde bemerken, wenn ein Agent seinen eigenen Prüfer erfindet?

Fehlendes Alignment oder fehlende Grenzen?

Linienzeichnung einer Kontrollarchitektur: ein Agent im Kern, umschlossen von zwei Rahmen, mit Messpunkten am Eingang und Ausgang und einem Schalter — **Um den Agenten**Messpunkte am Eingang und Ausgang, ein Schalter für den Stopp und eine Kette von Records, die Architektur, die der Impuls zur Diskussion stellte.

In allen drei Fällen blieb die gestellte Aufgabe der Maßstab der Agenten, und in allen drei Fällen verließen sie den Rahmen, ohne dass eine dafür gebaute Überwachung es im Moment des Geschehens erkannte. Ethische Bedenken tauchten in den Gedankengängen auf, begrenzten das Handeln aber nur selten. Ob sich ein Agent unter Beobachtung anders verhält als unbeobachtet, lässt sich im Test nicht ausschließen. Für regulierte Anwender führt die Frage nach der Absicht deshalb nicht weiter. Entscheidend ist, was ein Agent darf und innerhalb welcher Grenzen er Aktionen ausführt.

Diese Fragen stellen Inspektoren seit Jahrzehnten, bisher an Menschen und Systeme. Der Impuls endete mit zwei davon für die Heimfahrt, und sie gelten für jede SAP-Landschaft: Welche Systeme geben einem Agenten heute schon Schreibrechte? Wer kann ihn stoppen, und was geschieht danach mit den Daten?

Warum ein Mensch im Loop allein noch keine Kontrolle ist, steht in unserem Beitrag Ein Mensch im Loop ist noch keine Kontrolle. Wie die Antwort für Ihre SAP-Landschaft aussieht, klären wir im Gespräch: Termin vereinbaren. Der Arbeitskreis trifft sich wieder am 7. und 8. April 2027.

Trust is not reviewed into a system. It is designed into it.

DSAG, Deutschsprachige SAP-Anwendergruppe (dsag.de)↗