Definition

Inference ist die Nutzungsphase eines KI-Modells — im Gegensatz zum Training:

Phase	Beschreibung	Ressourcen
Training	Modell lernt aus Daten	Sehr viel GPU, Wochen
Fine-Tuning	Spezialisierung	Mittel GPU, Stunden
Inference	Modell generiert Ausgaben	Weniger GPU, Millisekunden

Inference-Typen

Online Inference (Real-time)

Anfrage → sofortige Antwort
Anwendung: Chat, API, interaktive Systeme
IIO AI Hub: lokale Inference via Ollama

Batch Inference

Viele Anfragen gesammelt verarbeiten
Anwendung: Dokument-Analyse, Datensatz-Verarbeitung
Effizienter als Online-Inference

Edge Inference

Inference direkt auf Endgerät (kein Cloud)
Anwendung: Mobile Apps, IoT
Datenschutzvorteil: Daten verlassen Gerät nicht

Inference-Performance-Metriken

Metrik	Beschreibung	Typisch
Latency	Zeit bis erste Ausgabe	100ms–5s
Throughput	Anfragen/Sekunde	1–100
TTFT	Time To First Token	50ms–2s
Tokens/s	Generierungsgeschwindigkeit	10–100

IIO AI Hub Inference-Stack

User/Agent → LiteLLM (Routing, Aliase) → Ollama → GPU
                                    ↓
                             model: qwen2.5:7b    (ops-fast)
                             model: qwen2.5:32b   (code-generate)
                             model: qwen2.5:72b   (reason-deep)

Governance für Inference

Logging: Inference-Requests optional loggen (Opt-in, DSGVO)
Monitoring: Token-Verbrauch, Kosten, Latenz überwachen
Access Control: Keycloak SSO, kein anonymer Zugang
Model Versioning: Welches Modell hat welche Ausgabe produziert?

Wenn Inference (KI) angewendet wird, werden neue Daten mit einem trainierten Modell bearbeitet.

已批准

生成方式: scripts/generate-glossary-register-variants.py (qwen2.5:7b (lokal via Ollama, kein Cloud-Fallback))
生成日期: 2026-09-21T00:11:29.079655+00:00
标准: 简单语言 ~B1 — 非德国易读标准 DIN SPEC 33429
审核人: zolo · 2026-09-21T00:30:10.463422+00:00

KI-Inference ist der Vorgang, bei dem ein bereits trainierter KI-Modell neue Eingabedaten analysiert und basierend auf seinem Training Ergebnisse wie Vorhersagen, Text oder Bilder erzeugt. Dieser Prozess erfolgt ohne weitere Trainingsphasen und nutzt das von der Maschine gelernte Wissen direkt zur Erstellung neuer Ausgaben.

已批准

生成方式: scripts/generate-glossary-register-variants.py (qwen2.5:7b (lokal via Ollama, kein Cloud-Fallback))
生成日期: 2026-09-21T00:11:29.079655+00:00
标准: 简单语言 ~B1 — 非德国易读标准 DIN SPEC 33429
审核人: zolo · 2026-09-21T00:30:10.463422+00:00

引用

"人工智能推理." Open Cognition Commons Foundation. https://opencognitioncommons.org/zh/glossary/inference. CC-BY 4.0.

机器可读元数据

{
  "@context": "https://schema.org",
  "@type": "DefinedTerm",
  "name": "人工智能推理",
  "description": "KI-Inference bezeichnet den Prozess, ein bereits trainiertes KI-Modell auf neue Eingabedaten anzuwenden um Ausgaben (Vorhersagen, Texte, Bilder) zu generieren.\n",
  "url": "https://opencognitioncommons.org/zh/glossary/inference",
  "license": "https://creativecommons.org/licenses/by/4.0/",
  "alternateName": [
    "Inference",
    "KI-Inferenz",
    "Model Inference"
  ]
}