Was zu tun ist wenn ein KI-System einen Fehler macht oder Schaden verursacht — klare Prozesse für schnelle Reaktion.
AI Incident Response nach EU AI Act Art. 73: Meldepflicht für schwerwiegende Vorfälle an nationale Marktüberwachungsbehörden. IIO-Prozess: Detection (Monitoring-Alert) → Triage (HITL-Gate) → Containment (Service-Kill-Switch) → Investigation (Audit-Trail-Analyse) → Remediation → Post-Mortem → Regulatory-Report.
Definition
AI Incident Response ist der Prozess, auf KI-Vorfälle strukturiert zu reagieren — von der ersten Erkennung bis zur vollständigen Behebung und Prävention.
Incident-Klassifizierung
| Schwere | Beschreibung | Beispiele | Reaktionszeit |
|---|---|---|---|
| P0 — Kritisch | Unmittelbarer Schaden für Menschen | KI trifft diskriminierende Entscheidungen über Personen | Sofort |
| P1 — Hoch | Regulatorisch meldepflichtig | Datenleck, schwerwiegender Bias | < 24h |
| P2 — Mittel | Signifikante Leistungsverschlechterung | Modell-Drift, erhöhte Fehlerrate | < 72h |
| P3 — Niedrig | Kleinere Abweichungen | Einzelne falsche Outputs | Nächster Sprint |
EU AI Act Art. 73 — Meldepflicht
Für Hochrisiko-KI und systemische GPAI-Modelle:
- Was melden: Schwerwiegende Vorfälle (Körperschaden, irreversibler Schaden, Straftaten)
- An wen: Nationale Marktaufsichtsbehörde
- Wann: Unmittelbar nach Bekanntwerden
- Frist: 15 Werktage für vollständigen Bericht
Response-Workflow
1. Erkennung → Monitoring-Alert / User-Report
2. Triage → Klassifizierung P0-P3
3. Containment → System stoppen / HITL aktivieren
4. Untersuchung → Root-Cause-Analysis
5. Behebung → Fix deployen
6. Meldung → Regulatoren informieren (wenn P0/P1)
7. Post-mortem → Lessons Learned dokumentieren
8. Prävention → Guards implementieren
IIO Incident Response
IIO-Implementierung via Service Operations Layer (SOL):
- Incidents in
iio/specs/services/incidents/dokumentiert - OTRS-Integration für Ticket-Management
- Matrix-Alerts für sofortige Notification
- HITL-Gate für Incident-Genehmigung (BLOCK bis Investigation)
引用
"AI Incident Response." Open Cognition Commons Foundation. https://opencognitioncommons.org/zh/glossary/ai-incident-response. CC-BY 4.0. 机器可读元数据
{
"@context": "https://schema.org",
"@type": "DefinedTerm",
"name": "AI Incident Response",
"description": "AI Incident Response bezeichnet den strukturierten Prozess zur Erkennung, Klassifizierung, Untersuchung und Behebung von Vorfällen bei KI-Systemen — einschließlich unerwarteter Ausgaben, Sicherheitsverletzungen, Bias-Vorfällen und regulatorisch meldepflichtigen Ereignissen.\n",
"url": "https://opencognitioncommons.org/zh/glossary/ai-incident-response",
"license": "https://creativecommons.org/licenses/by/4.0/",
"alternateName": [
"AI IR",
"KI-Incident-Response",
"AI Incident Management"
]
}