Modellbewertung und Adversarial Testing: Definition und rechtliche Bedeutung (AI Act / Data Act)

Art. 55 Abs. 1 lit. a verpflichtet GPAI-Anbieter mit systemischem Risiko, eine angemessene Modellbewertung einschließlich Durchführung und Dokumentation von Adversarial Testing (Red-Teaming) des Modells durchzuführen, insbesondere vor dem Inverkehrbringen. Das Red-Teaming muss fortlaufend sein — auch nach der Bereitstellung (Reaktion auf neue Angriffsvektoren). Methodik: systematische Suche nach Schwachstellen durch gezielte Angriffe — Prompt-Injection (gezielte Eingaben, um den Modell-Output zu manipulieren), Jailbreaking (Umgehung von Safeguards), Data Exfiltration (Auslesen von Trainingsdaten), Bias-/Diskriminierungs-Tests, Generierung verbotener Inhalte (Chemical-/Biological-/Cybersecurity-/CSAM-Vorhersage). Das AI Office fördert einen vernetzten Ansatz mit akademischer und zivilgesellschaftlicher Einbindung.

Die Pflicht umfasst die Dokumentation der Tests: welche Schwachstellen identifiziert wurden, welche Mitigationsmaßnahmen ergriffen wurden, wie erfolgreich diese waren. Die Dokumentation ist Teil der technischen Dokumentation (Anhang XI) und kann der Kommission/Behörden auf Anfrage zur Verfügung gestellt werden. Aus den Erkenntnissen ergeben sich Folgepflichten: (1) Systemrisiko-Minderung (Art. 55 Abs. 1 lit. b) — Anpassung der Usage Policies, Output-Filter, Rate Limits, Monitoring; (2) Vorfallsmeldung (Art. 55 Abs. 1 lit. c) bei schweren Vorfällen; (3) Updates/Korrekturmaßnahmen. Eine unzureichende Test-/Dokumentationspraxis ist ein AI-Act-Verstoß. Die Pflicht ist eine Kerndisziplin der AI-Sicherheitsexpertise und betrifft nicht nur Compliance, sondern Sicherheitskultur.

State-of-the-Art-Praxis: (1) interne Red-Teams (dedizierte Angestellte mit Sicherheits-/ML-Expertise); (2) externe akademische/zivilgesellschaftliche Partner (z. B. METR, Apollo Research,alignmentResearchCenter); (3) Bug-Bounty-Programme (Anthropic, OpenAI, Google); (4) kontinuierliche Evaluierung (automatisierte Benchmarks wie MMLU, TruthfulQA, HarmBench, plus maßgeschneiderte Tests); (5) Engagement mit AI Safety Institutes (UK AISI, US AISI, EU AI Office). Herausforderungen: scopes der Tests (welche Risiken?), Offenlegung vs. kommerzieller Geheimhaltung, Timing (vor Veröffentlichung vs. kontinuierlich), Skalierung (Millionen Nutzer vs. Red-Team-Größe). Das AI Office koordiniert über den Code of Practice Standards. Für GPAI-Anbieter ist Red-Teaming ein Kernkompetenz-Bereich, der Sicherheitskultur, Compliance und Vertrauen verbindet — es ist kein Compliance-Formular, sondern eine lebende Disziplin.