跳转到主要内容
← 词汇表
concept

信任与安全(AI)

Trust & Safety · T&S · TrustSafety

1 min 阅读 2026年5月19日
Trust & Safety (T&S) für KI bezeichnet die Praktiken, Prozesse und Technologien, die sicherstellen, dass KI-Systeme vertrauenswürdig betrieben werden — mit Schutz vor Missbrauch, schädlichen Ausgaben und unerwünschten Verhaltensweisen.

Trust & Safety Domains

DomainBeschreibungBeispiele
Content SafetySchädliche Ausgaben verhindernHate Speech, Desinformation
Model SafetyModell-Verhalten steuernJailbreak-Prävention
Platform SafetyPlattform-MissbrauchRate-Limiting, Abuse Detection
User SafetySchutz vor ManipulationTransparenzpflichten
Societal SafetyGesellschaftliche RisikenWahlbeeinflussung, Deepfakes

EU AI Act und T&S

BedrohungRegulierung
KI-generierte DesinformationArt. 50 (Kennzeichnungspflicht)
Deepfakes/Synthetische MedienArt. 50 Abs. 4 (Kennzeichnung)
Soziale ManipulationArt. 5 (verbotene Praktiken)
Biometrische ÜberwachungArt. 5 (verboten, mit Ausnahmen)

T&S in der Praxis

Content Moderation

KI-generierte Inhalte prüfen:

  1. Pre-generation: System-Prompt mit Guardrails
  2. Post-generation: Output-Filter, Classifier
  3. Human Review: HITL für Grenzfälle

Missbrauchs-Prävention

  • Rate-Limiting pro User/API-Key
  • Anomalie-Detection für Missbrauchsmuster
  • Blacklisting bekannter Angriffsvektoren

IIO T&S Maßnahmen

IIO implementiert T&S durch:

  • HITL-Gates bei risikobehafteten Ausgaben
  • Content-Filter in LiteLLM für schädliche Anfragen
  • Audit Trail für forensische Analyse
  • Scope-Isolation verhindert Agent-Missbrauch

Trust & Safety für KI hilft, sicherzustellen, dass Systeme vertrauenswürdig sind und Schutz vor Missbrauch bieten.

已批准
生成方式
scripts/generate-glossary-register-variants.py (qwen2.5:7b (lokal via Ollama, kein Cloud-Fallback))
生成日期
2026-09-21T00:11:29.079655+00:00
标准
简单语言 ~B1 — 非德国易读标准 DIN SPEC 33429
审核人
zolo · 2026-09-21T00:30:10.463422+00:00

Trust & Safety (T&S) für KI umfasst die Implementierung von Praktiken, Prozessen und Technologien, welche das Vertrauen der Nutzer in KI-Systeme fördern und gleichzeitig den Schutz vor Missbrauch, schädlichem Verhalten und unerwünschten Ausgaben gewährleisten. Diese Ansatzfelder sind essentiell für die etablierung einer sicheren und verantwortungsbewussten Nutzung von KI-Technologien.

已批准
生成方式
scripts/generate-glossary-register-variants.py (qwen2.5:7b (lokal via Ollama, kein Cloud-Fallback))
生成日期
2026-09-21T00:11:29.079655+00:00
标准
简单语言 ~B1 — 非德国易读标准 DIN SPEC 33429
审核人
zolo · 2026-09-21T00:30:10.463422+00:00

引用

"信任与安全(AI)." Open Cognition Commons Foundation. https://opencognitioncommons.org/zh/glossary/trust-safety. CC-BY 4.0.
机器可读元数据
{
  "@context": "https://schema.org",
  "@type": "DefinedTerm",
  "name": "信任与安全(AI)",
  "description": "Trust & Safety (T&S) für KI bezeichnet die Praktiken, Prozesse und Technologien, die sicherstellen, dass KI-Systeme vertrauenswürdig betrieben werden — mit Schutz vor Missbrauch, schädlichen Ausgaben und unerwünschten Verhaltensweisen.\n",
  "url": "https://opencognitioncommons.org/zh/glossary/trust-safety",
  "license": "https://creativecommons.org/licenses/by/4.0/",
  "alternateName": [
    "Trust & Safety",
    "T&S",
    "TrustSafety"
  ]
}