Trust & Safety Domains

Domain	Beschreibung	Beispiele
Content Safety	Schädliche Ausgaben verhindern	Hate Speech, Desinformation
Model Safety	Modell-Verhalten steuern	Jailbreak-Prävention
Platform Safety	Plattform-Missbrauch	Rate-Limiting, Abuse Detection
User Safety	Schutz vor Manipulation	Transparenzpflichten
Societal Safety	Gesellschaftliche Risiken	Wahlbeeinflussung, Deepfakes

EU AI Act und T&S

Bedrohung	Regulierung
KI-generierte Desinformation	Art. 50 (Kennzeichnungspflicht)
Deepfakes/Synthetische Medien	Art. 50 Abs. 4 (Kennzeichnung)
Soziale Manipulation	Art. 5 (verbotene Praktiken)
Biometrische Überwachung	Art. 5 (verboten, mit Ausnahmen)

T&S in der Praxis

Content Moderation

KI-generierte Inhalte prüfen:

Pre-generation: System-Prompt mit Guardrails
Post-generation: Output-Filter, Classifier
Human Review: HITL für Grenzfälle

Missbrauchs-Prävention

Rate-Limiting pro User/API-Key
Anomalie-Detection für Missbrauchsmuster
Blacklisting bekannter Angriffsvektoren

IIO T&S Maßnahmen

IIO implementiert T&S durch:

HITL-Gates bei risikobehafteten Ausgaben
Content-Filter in LiteLLM für schädliche Anfragen
Audit Trail für forensische Analyse
Scope-Isolation verhindert Agent-Missbrauch

Trust & Safety für KI hilft, sicherzustellen, dass Systeme vertrauenswürdig sind und Schutz vor Missbrauch bieten.

Approved

Generated by: scripts/generate-glossary-register-variants.py (qwen2.5:7b (lokal via Ollama, kein Cloud-Fallback))
Generated on: 2026-09-21T00:11:29.079655+00:00
Standard: Plain language ~B1 — not Leichte Sprache / DIN SPEC 33429 easy-read
Reviewed by: zolo · 2026-09-21T00:30:10.463422+00:00

Trust & Safety (T&S) für KI umfasst die Implementierung von Praktiken, Prozessen und Technologien, welche das Vertrauen der Nutzer in KI-Systeme fördern und gleichzeitig den Schutz vor Missbrauch, schädlichem Verhalten und unerwünschten Ausgaben gewährleisten. Diese Ansatzfelder sind essentiell für die etablierung einer sicheren und verantwortungsbewussten Nutzung von KI-Technologien.

Approved

Generated by: scripts/generate-glossary-register-variants.py (qwen2.5:7b (lokal via Ollama, kein Cloud-Fallback))
Generated on: 2026-09-21T00:11:29.079655+00:00
Standard: Plain language ~B1 — not Leichte Sprache / DIN SPEC 33429 easy-read
Reviewed by: zolo · 2026-09-21T00:30:10.463422+00:00

Citation

"Trust & Safety (AI)." Open Cognition Commons Foundation. https://opencognitioncommons.org/en/glossary/trust-safety. CC-BY 4.0.

Machine-readable metadata

{
  "@context": "https://schema.org",
  "@type": "DefinedTerm",
  "name": "Trust & Safety (AI)",
  "description": "Trust & Safety (T&S) für KI bezeichnet die Praktiken, Prozesse und Technologien, die sicherstellen, dass KI-Systeme vertrauenswürdig betrieben werden — mit Schutz vor Missbrauch, schädlichen Ausgaben und unerwünschten Verhaltensweisen.\n",
  "url": "https://opencognitioncommons.org/en/glossary/trust-safety",
  "license": "https://creativecommons.org/licenses/by/4.0/",
  "alternateName": [
    "Trust & Safety",
    "T&S",
    "TrustSafety"
  ]
}