KI zur Bewilligung öffentlicher Sozialleistungen: Risikoklasse und Pflichten im EU-KI-Recht

Anhang III Nr. 5 erfasst KI „zur Bewertung und Einordnung von Personen bei Zugang zu wesentlichen öffentlichen Dienstleistungen und Sozialleistungen sowie zur Auszahlung oder Kürzung solcher Leistungen". Beispiele: automatisierte Prüfung von Bürgergeld-/Wohngeld-Anträgen, Einkommens-Scoring, Plausibilitätsprüfung, Risikoklassifikation für Ermittlungsverfahren (z. B. automatisierte Matching-Verfahren der BA, um Leistungsmissbrauch zu erkennen). Grund der Einstufung: Sozialleistungen sichern die Existenzgrundlage (Art. 34 GRCh); Zugang ist grundrechtsrelevant; hohes Risiko mittelbarer Diskriminierung (z. B. anhand von Wohnort, Familienstand). Volles Pflichtenbündel aus Art. 8–15 spätestens am 2. Dezember 2027 (verschoben durch AI Omnibus 2026).

Anbieter: Art. 8–15, insbesondere Daten-Governance mit Bias-Prüfung (Art. 10), Aufzeichnung (Art. 12), menschliche Aufsicht (Art. 14). Besonderheit für öffentliche Betreiber: vor der ersten Inbetriebnahme eines hochrisiko-Systems ist eine Grundrechts-Folgenabschätzung nach Art. 27 AI Act zu erstellen (Art. 26 Abs. 7) — Erfassung betroffener Personen/Gruppen, spezifische Risiken, Maßnahmen, menschliche Aufsicht, Beschwerdeweg. Überlagert: SGB (Verfahrensregelungen, Sozialgerichtsbarkeit), DSGVO Art. 22 (automatisierte Entscheidungen), AGG, Grundrechte. Dokumentation der Fairness-/Bias-Tests und der menschlichen Eingriffsmechanismen ist Voraussetzung.

Sozialleistungs-KI ist besonders fehleranfällig: historische Daten spiegeln bestehende Überprüfungs- und Ablehnungsschwerpunkte wider (z. B. bestimmte Stadtteile, Familienformen), die KI lernt diese Verzerrung und verstärkt sie — mit existentiellen Folgen für Betroffene. Internationale Vorfälle (z. B. niederländisches Toeslagenaffaire-System, australisches Robodebt) zeigen die Gefahr unverhältnismäßiger automatischer Ablehnungen. Art. 10 (Bias-Prüfung), Art. 14 (menschliche Aufsicht) und Art. 22 DSGVO (Recht auf menschliche Prüfung) sind zentrale Schutzmechanismen. Praktisch erforderlich: Repräsentative Daten, Bias-Audits an Untergruppen, klare Begründung ablehnender Entscheidungen, Beschwerdeweg, menschliche Letztverantwortung. Transparenz über den KI-Einsatz stärkt die demokratische Legitimität.