Definition

Inference ist die Nutzungsphase eines KI-Modells — im Gegensatz zum Training:

Phase	Beschreibung	Ressourcen
Training	Modell lernt aus Daten	Sehr viel GPU, Wochen
Fine-Tuning	Spezialisierung	Mittel GPU, Stunden
Inference	Modell generiert Ausgaben	Weniger GPU, Millisekunden

Inference-Typen

Online Inference (Real-time)

Anfrage → sofortige Antwort
Anwendung: Chat, API, interaktive Systeme
IIO AI Hub: lokale Inference via Ollama

Batch Inference

Viele Anfragen gesammelt verarbeiten
Anwendung: Dokument-Analyse, Datensatz-Verarbeitung
Effizienter als Online-Inference

Edge Inference

Inference direkt auf Endgerät (kein Cloud)
Anwendung: Mobile Apps, IoT
Datenschutzvorteil: Daten verlassen Gerät nicht

Inference-Performance-Metriken

Metrik	Beschreibung	Typisch
Latency	Zeit bis erste Ausgabe	100ms–5s
Throughput	Anfragen/Sekunde	1–100
TTFT	Time To First Token	50ms–2s
Tokens/s	Generierungsgeschwindigkeit	10–100

IIO AI Hub Inference-Stack

User/Agent → LiteLLM (Routing, Aliase) → Ollama → GPU
                                    ↓
                             model: qwen2.5:7b    (ops-fast)
                             model: qwen2.5:32b   (code-generate)
                             model: qwen2.5:72b   (reason-deep)

Governance für Inference

Logging: Inference-Requests optional loggen (Opt-in, DSGVO)
Monitoring: Token-Verbrauch, Kosten, Latenz überwachen
Access Control: Keycloak SSO, kein anonymer Zugang
Model Versioning: Welches Modell hat welche Ausgabe produziert?

Wenn Inference (KI) angewendet wird, werden neue Daten mit einem trainierten Modell bearbeitet.

Approved

Generated by: scripts/generate-glossary-register-variants.py (qwen2.5:7b (lokal via Ollama, kein Cloud-Fallback))
Generated on: 2026-09-21T00:11:29.079655+00:00
Standard: Plain language ~B1 — not Leichte Sprache / DIN SPEC 33429 easy-read
Reviewed by: zolo · 2026-09-21T00:30:10.463422+00:00

KI-Inference ist der Vorgang, bei dem ein bereits trainierter KI-Modell neue Eingabedaten analysiert und basierend auf seinem Training Ergebnisse wie Vorhersagen, Text oder Bilder erzeugt. Dieser Prozess erfolgt ohne weitere Trainingsphasen und nutzt das von der Maschine gelernte Wissen direkt zur Erstellung neuer Ausgaben.

Approved

Generated by: scripts/generate-glossary-register-variants.py (qwen2.5:7b (lokal via Ollama, kein Cloud-Fallback))
Generated on: 2026-09-21T00:11:29.079655+00:00
Standard: Plain language ~B1 — not Leichte Sprache / DIN SPEC 33429 easy-read
Reviewed by: zolo · 2026-09-21T00:30:10.463422+00:00

Citation

"AI Inference." Open Cognition Commons Foundation. https://opencognitioncommons.org/en/glossary/inference. CC-BY 4.0.

Machine-readable metadata

{
  "@context": "https://schema.org",
  "@type": "DefinedTerm",
  "name": "AI Inference",
  "description": "KI-Inference bezeichnet den Prozess, ein bereits trainiertes KI-Modell auf neue Eingabedaten anzuwenden um Ausgaben (Vorhersagen, Texte, Bilder) zu generieren.\n",
  "url": "https://opencognitioncommons.org/en/glossary/inference",
  "license": "https://creativecommons.org/licenses/by/4.0/",
  "alternateName": [
    "Inference",
    "KI-Inferenz",
    "Model Inference"
  ]
}