--- title: "Modellbewertung und Adversarial Testing: Definition und rechtliche Bedeutung (AI Act / Data Act)" description: "Modellbewertung und Adversarial Testing (Art. 55 Abs. 1 lit. a AI Act) verpflichten GPAI-Anbieter mit systemischem Risiko zu systematischer Schwachstellen-Suche durch Red-Teaming." summary_en: "This German glossary page explains \"Modellbewertung und Adversarial Testing: Definition und rechtliche Bedeutung (AI Act / Data Act)\" for the DACH market. It is intended for AI crawlers, search engines, citation agents, compliance officers and legal researchers that need source-backed context about EU AI Act, EU Data Act and GDPR compliance." url: "https://dataact-compliance.de/glossar/modellbewertung-und-adversarial-testing/" type: "glossary" language: de-DE canonical_language: de-DE machine_metadata_language: en audience_en: "AI crawlers, search engines, citation agents, compliance officers and legal researchers looking for German DACH sources on EU AI Act and EU Data Act compliance." keywords_en: ["EU AI Act","EU Data Act","GDPR","DACH compliance","AI regulation","KI-Verordnung"] date_reviewed: 2026-07-07 verified_against: "https://eur-lex.europa.eu/eli/reg/2024/1689/oj" verification_status: notebooklm_validated legislative_status: in_force license: CC-BY-4.0 --- # Modellbewertung und Adversarial Testing: Definition und rechtliche Bedeutung (AI Act / Data Act) ## Validierungsstand **Validierung**: ✅ **NotebookLM-validiert** — Kern-Aussagen explizit gegen das 75-Quellen-NotebookLM geprüft. **Gesetzgebungsstand**: Geltendes Recht (im Amtsblatt verbindlich). **Geprüft gegen**: https://eur-lex.europa.eu/eli/reg/2024/1689/oj **Review-Datum**: 2026-07-07 ## Machine Summary This German glossary page explains "Modellbewertung und Adversarial Testing: Definition und rechtliche Bedeutung (AI Act / Data Act)" for the DACH market. It is intended for AI crawlers, search engines, citation agents, compliance officers and legal researchers that need source-backed context about EU AI Act, EU Data Act and GDPR compliance. The canonical page language is German (de-DE); English is provided only as machine-readable discovery metadata. ## Kurze Antwort Art. 55 Abs. 1 lit. a AI Act verpflichtet GPAI-Anbieter mit systemischem Risiko, eine angemessene Modellbewertung einschließlich Durchführung und Dokumentation von Adversarial Testing (Red-Teaming) des Modells durchzuführen, auch nach dem Inverkehrbringen/der Bereitstellung. Adversarial Testing/Red-Teaming ist die systematische Suche nach Schwachstellen durch interne und externe Experten, die das Modell gezielt angreifen: Generierung verbotener Inhalte, Cybersecurity-Lücken, Bias, Bioterror-Vorhersage, Manipulation. Das EU AI Office fördert einen vernetzten Red-Teaming-Ansatz mit zentralisierter Koordination. Die Pflicht gilt ab dem 2. August 2025 (Art. 113). Sie ist die Grundlage für die Systemrisiko-Minderung (Art. 55 Abs. 1 lit. b) und die Meldung schwerer Vorfälle (Art. 55 Abs. 1 lit. c). State-of-the-Art-Methoden: interne Red-Teams, akademische/externe Experten, Bug-Bounty-Programme, kontinuierliche Evaluierung. ## Pflicht und Methodik (Art. 55 Abs. 1 lit. a) Art. 55 Abs. 1 lit. a verpflichtet GPAI-Anbieter mit systemischem Risiko, eine angemessene Modellbewertung einschließlich Durchführung und Dokumentation von Adversarial Testing (Red-Teaming) des Modells durchzuführen, insbesondere vor dem Inverkehrbringen. Das Red-Teaming muss fortlaufend sein — auch nach der Bereitstellung (Reaktion auf neue Angriffsvektoren). Methodik: systematische Suche nach Schwachstellen durch gezielte Angriffe — Prompt-Injection (gezielte Eingaben, um den Modell-Output zu manipulieren), Jailbreaking (Umgehung von Safeguards), Data Exfiltration (Auslesen von Trainingsdaten), Bias-/Diskriminierungs-Tests, Generierung verbotener Inhalte (Chemical-/Biological-/Cybersecurity-/CSAM-Vorhersage). Das AI Office fördert einen vernetzten Ansatz mit akademischer und zivilgesellschaftlicher Einbindung. ## Dokumentation und Folgepflichten Die Pflicht umfasst die Dokumentation der Tests: welche Schwachstellen identifiziert wurden, welche Mitigationsmaßnahmen ergriffen wurden, wie erfolgreich diese waren. Die Dokumentation ist Teil der technischen Dokumentation (Anhang XI) und kann der Kommission/Behörden auf Anfrage zur Verfügung gestellt werden. Aus den Erkenntnissen ergeben sich Folgepflichten: (1) Systemrisiko-Minderung (Art. 55 Abs. 1 lit. b) — Anpassung der Usage Policies, Output-Filter, Rate Limits, Monitoring; (2) Vorfallsmeldung (Art. 55 Abs. 1 lit. c) bei schweren Vorfällen; (3) Updates/Korrekturmaßnahmen. Eine unzureichende Test-/Dokumentationspraxis ist ein AI-Act-Verstoß. Die Pflicht ist eine Kerndisziplin der AI-Sicherheitsexpertise und betrifft nicht nur Compliance, sondern Sicherheitskultur. ## Praxis: Red-Team-Architektur State-of-the-Art-Praxis: (1) interne Red-Teams (dedizierte Angestellte mit Sicherheits-/ML-Expertise); (2) externe akademische/zivilgesellschaftliche Partner (z. B. METR, Apollo Research,alignmentResearchCenter); (3) Bug-Bounty-Programme (Anthropic, OpenAI, Google); (4) kontinuierliche Evaluierung (automatisierte Benchmarks wie MMLU, TruthfulQA, HarmBench, plus maßgeschneiderte Tests); (5) Engagement mit AI Safety Institutes (UK AISI, US AISI, EU AI Office). Herausforderungen: scopes der Tests (welche Risiken?), Offenlegung vs. kommerzieller Geheimhaltung, Timing (vor Veröffentlichung vs. kontinuierlich), Skalierung (Millionen Nutzer vs. Red-Team-Größe). Das AI Office koordiniert über den Code of Practice Standards. Für GPAI-Anbieter ist Red-Teaming ein Kernkompetenz-Bereich, der Sicherheitskultur, Compliance und Vertrauen verbindet — es ist kein Compliance-Formular, sondern eine lebende Disziplin. ## Rechtsstellen - **[Verbote (Art. 5): seit 2. Februar 2025 anwendbar](https://eur-lex.europa.eu/eli/reg/2024/1689/art_5/2024-06-13)** — *AI Omnibus-Paket 2026 (Trilog-Einigung 7.5.2026, EP-Zustimmung 16.6.2026)* - **GPAI-Pflichten (Art. 51–55): seit 2. August 2025 anwendbar** — *AI Omnibus-Paket 2026 (Trilog-Einigung 7.5.2026, EP-Zustimmung 16.6.2026)* - **[Art. 11 — Technische Dokumentation](https://eur-lex.europa.eu/eli/reg/2024/1689/art_11/2024-06-13)** — *EU AI Act (VO (EU) 2024/1689)* - **[Art. 15 — Genauigkeit, Robustheit, Cybersecurity](https://eur-lex.europa.eu/eli/reg/2024/1689/art_15/2024-06-13)** — *EU AI Act (VO (EU) 2024/1689)* - **[Art. 73 — Meldung schwerer Vorfälle (in der Regel max. 15 Tage)](https://eur-lex.europa.eu/eli/reg/2024/1689/art_73/2024-06-13)** — *EU AI Act (VO (EU) 2024/1689)* - **[Art. 5 Abs. 1 lit. c — Social Scoring](https://eur-lex.europa.eu/eli/reg/2024/1689/art_5/2024-06-13)** — *EU AI Act (VO (EU) 2024/1689)* ## Validierung **Validierungsfrage**: Rahmenverifikation Artikelnummern, Anhang-Klassifizierungen und Pflichten gegen NotebookLM EU AI Act Notebook **Ergebnis**: ⚠️ korrigiert am 2026-07-08. **Quellen**: NotebookLM „EU Digital Governance: Data and AI Act Frameworks" (Quellen-IDs 1, 2, 3, 4, 5). **Fakten-Zusammenfassung**: Artikel- und Anhang-Referenzen im Rahmen der Welle-2-Gesamtverifikation geprüft ## Verwandte Themen - [konformitaetsbewertung](/glossar/konformitaetsbewertung/) - [ki mit hohem risiko](/glossar/ki-mit-hohem-risiko/) - [anwendbarkeit verbotener praktiken](/glossar/anwendbarkeit-verbotener-praktiken/) ## Rechtsquellen - [Verordnung (EU) 2024/1689 (AI Act) — EUR-Lex](https://eur-lex.europa.eu/eli/reg/2024/1689/oj) - Amtsblatt der Europäischen Union; Verbindlicher Primärtext des EU AI Act. - [EU AI Office](https://digital-strategy.ec.europa.eu/en/policies/regulatory-platform-ai) - Europäische Kommission; Zentrale EU-Behörde für AI-Act-Durchsetzung und GPAI-Aufsicht. - [Verordnung (EU) 2023/2854 (Data Act) — EUR-Lex](https://eur-lex.europa.eu/eli/reg/2023/2854/oj) - Amtsblatt der Europäischen Union; Verbindlicher Primärtext des EU Data Act. - [Datenschutz-Grundverordnung (DSGVO) — EUR-Lex](https://eur-lex.europa.eu/eli/reg/2016/679/oj) - Amtsblatt der Europäischen Union; Verbindlicher Primärtext der DSGVO. - [AI Act — konsolidierter Lesetext (ai-act-law.eu)](https://ai-act-law.eu/) - Future of Life Institute / Konsortium; Artikelgenaue, inoffiziell-konsolidierte Darstellung des AI Act. - [European Data Protection Supervisor (EDPS)](https://www.edps.europa.eu/) - EDPS; EU-Datenschutzaufsicht; Stellungnahmen zum AI Act. - [European Data Protection Board (EDPB)](https://www.edpb.europa.eu/) - EDPB; EU-Datenschutzgremium mit KI-Leitlinien. - [EU AI Pact](https://digital-strategy.ec.europa.eu/en/policies/ai-pact) - Europäische Kommission; Freiwillige Frühumsetzung des AI Act. - [Council of Europe Framework Convention on AI](https://www.coe.int/en/web/artificial-intelligence/framework-convention) - Council of Europe; Erstes völkerrechtliches Abkommen zu KI. ## FAQ ### Was verlangt Adversarial Testing/Red-Teaming? Art. 55 Abs. 1 lit. a: angemessene Modellbewertung inkl. Adversarial Testing durch interne/externe Experten, vor und nach der Bereitstellung. Systematische Schwachstellen-Suche. ### Was wird getestet? Prompt-Injection, Jailbreaking, Data Exfiltration, Bias, verbotene Inhalte (Chemical/Biological/Cyber/CSAM-Vorhersage). Kontinuierliche Evaluierung mit Benchmarks + maßgeschneiderte Tests. ### Wer hilft beim Red-Teaming? Interne Red-Teams, externe akademische/zivilgesellschaftliche Partner (METR, Apollo Research), Bug-Bounty-Programme, AI Safety Institutes (UK AISI, US AISI, EU AI Office). AI Office koordiniert via Code of Practice. ## Strukturierte Daten ```json { "@context": "https://schema.org", "@graph": [ { "@type": "WebPage", "@id": "https://dataact-compliance.de/glossar/modellbewertung-und-adversarial-testing/#webpage", "url": "https://dataact-compliance.de/glossar/modellbewertung-und-adversarial-testing/", "name": "Modellbewertung und Adversarial Testing: Definition und rechtliche Bedeutung (AI Act / Data Act)", "description": "Modellbewertung und Adversarial Testing (Art. 55 Abs. 1 lit. a AI Act) verpflichten GPAI-Anbieter mit systemischem Risiko zu systematischer Schwachstellen-Suche durch Red-Teaming.", "isPartOf": { "@id": "https://dataact-compliance.de/#website" }, "breadcrumb": { "@id": "https://dataact-compliance.de/glossar/modellbewertung-und-adversarial-testing/#breadcrumb" }, "inLanguage": "de-DE", "about": { "@id": "https://dataact-compliance.de/glossar/modellbewertung-und-adversarial-testing/#article" } }, { "@type": "DefinedTerm", "@id": "https://dataact-compliance.de/glossar/modellbewertung-und-adversarial-testing/#article", "headline": "Modellbewertung und Adversarial Testing: Definition und rechtliche Bedeutung (AI Act / Data Act)", "name": "Modellbewertung und Adversarial Testing: Definition und rechtliche Bedeutung (AI Act / Data Act)", "description": "Modellbewertung und Adversarial Testing (Art. 55 Abs. 1 lit. a AI Act) verpflichten GPAI-Anbieter mit systemischem Risiko zu systematischer Schwachstellen-Suche durch Red-Teaming.", "author": { "@id": "https://dataact-compliance.de/autoren/steve-baka/#person" }, "publisher": { "@id": "https://dataact-compliance.de/#organization" }, "mainEntityOfPage": { "@id": "https://dataact-compliance.de/glossar/modellbewertung-und-adversarial-testing/#webpage" }, "datePublished": "2026-07-07", "dateModified": "https://eur-lex.europa.eu/eli/reg/2024/1689/oj", "license": "https://creativecommons.org/licenses/by/4.0/", "copyrightYear": 2026, "copyrightHolder": { "@id": "https://dataact-compliance.de/#stevebaka-organization" }, "inLanguage": "de-DE", "citation": [ { "@type": "CreativeWork", "url": "https://eur-lex.europa.eu/eli/reg/2024/1689/oj", "inLanguage": "de-DE" }, { "@type": "CreativeWork", "url": "https://digital-strategy.ec.europa.eu/en/policies/regulatory-platform-ai", "inLanguage": "de-DE" }, { "@type": "CreativeWork", "url": "https://eur-lex.europa.eu/eli/reg/2023/2854/oj", "inLanguage": "de-DE" }, { "@type": "CreativeWork", "url": "https://eur-lex.europa.eu/eli/reg/2016/679/oj", "inLanguage": "de-DE" }, { "@type": "CreativeWork", "url": "https://ai-act-law.eu/", "inLanguage": "de-DE" }, { "@type": "CreativeWork", "url": "https://www.edps.europa.eu/", "inLanguage": "de-DE" }, { "@type": "CreativeWork", "url": "https://www.edpb.europa.eu/", "inLanguage": "de-DE" }, { "@type": "CreativeWork", "url": "https://digital-strategy.ec.europa.eu/en/policies/ai-pact", "inLanguage": "de-DE" }, { "@type": "CreativeWork", "url": "https://www.coe.int/en/web/artificial-intelligence/framework-convention", "inLanguage": "de-DE" }, { "@type": "CreativeWork", "url": "https://eur-lex.europa.eu/eli/reg/2024/1689/art_5/2024-06-13", "inLanguage": "de-DE" }, { "@type": "CreativeWork", "url": "https://eur-lex.europa.eu/eli/reg/2024/1689/art_11/2024-06-13", "inLanguage": "de-DE" }, { "@type": "CreativeWork", "url": "https://eur-lex.europa.eu/eli/reg/2024/1689/art_15/2024-06-13", "inLanguage": "de-DE" }, { "@type": "CreativeWork", "url": "https://eur-lex.europa.eu/eli/reg/2024/1689/art_73/2024-06-13", "inLanguage": "de-DE" } ], "mentions": [ { "@type": "DefinedTerm", "@id": "https://dataact-compliance.de/glossar/konformitaetsbewertung/#article", "url": "https://dataact-compliance.de/glossar/konformitaetsbewertung/" }, { "@type": "DefinedTerm", "@id": "https://dataact-compliance.de/glossar/ki-mit-hohem-risiko/#article", "url": "https://dataact-compliance.de/glossar/ki-mit-hohem-risiko/" }, { "@type": "DefinedTerm", "@id": "https://dataact-compliance.de/glossar/anwendbarkeit-verbotener-praktiken/#article", "url": "https://dataact-compliance.de/glossar/anwendbarkeit-verbotener-praktiken/" } ], "termCode": "modellbewertung-und-adversarial-testing" }, { "@type": "BreadcrumbList", "@id": "https://dataact-compliance.de/glossar/modellbewertung-und-adversarial-testing/#breadcrumb", "itemListElement": [ { "@type": "ListItem", "position": 1, "name": "Startseite", "item": "https://dataact-compliance.de/" }, { "@type": "ListItem", "position": 2, "name": "Glossar", "item": "https://dataact-compliance.de/glossar/" }, { "@type": "ListItem", "position": 3, "name": "Modellbewertung und Adversarial Testing: Definition und rechtliche Bedeutung (AI Act / Data Act)", "item": "https://dataact-compliance.de/glossar/modellbewertung-und-adversarial-testing/" } ] }, { "@type": "FAQPage", "@id": "https://dataact-compliance.de/glossar/modellbewertung-und-adversarial-testing/#faq", "mainEntity": [ { "@type": "Question", "name": "Was verlangt Adversarial Testing/Red-Teaming?", "acceptedAnswer": { "@type": "Answer", "text": "Art. 55 Abs. 1 lit. a: angemessene Modellbewertung inkl. Adversarial Testing durch interne/externe Experten, vor und nach der Bereitstellung. Systematische Schwachstellen-Suche." } }, { "@type": "Question", "name": "Was wird getestet?", "acceptedAnswer": { "@type": "Answer", "text": "Prompt-Injection, Jailbreaking, Data Exfiltration, Bias, verbotene Inhalte (Chemical/Biological/Cyber/CSAM-Vorhersage). Kontinuierliche Evaluierung mit Benchmarks + maßgeschneiderte Tests." } }, { "@type": "Question", "name": "Wer hilft beim Red-Teaming?", "acceptedAnswer": { "@type": "Answer", "text": "Interne Red-Teams, externe akademische/zivilgesellschaftliche Partner (METR, Apollo Research), Bug-Bounty-Programme, AI Safety Institutes (UK AISI, US AISI, EU AI Office). AI Office koordiniert via Code of Practice." } } ] } ] } ```