Definition

Inference ist die Nutzungsphase eines KI-Modells — im Gegensatz zum Training:

Phase	Beschreibung	Ressourcen
Training	Modell lernt aus Daten	Sehr viel GPU, Wochen
Fine-Tuning	Spezialisierung	Mittel GPU, Stunden
Inference	Modell generiert Ausgaben	Weniger GPU, Millisekunden

Inference-Typen

Online Inference (Real-time)

Anfrage → sofortige Antwort
Anwendung: Chat, API, interaktive Systeme
IIO AI Hub: lokale Inference via Ollama

Batch Inference

Viele Anfragen gesammelt verarbeiten
Anwendung: Dokument-Analyse, Datensatz-Verarbeitung
Effizienter als Online-Inference

Edge Inference

Inference direkt auf Endgerät (kein Cloud)
Anwendung: Mobile Apps, IoT
Datenschutzvorteil: Daten verlassen Gerät nicht

Inference-Performance-Metriken

Metrik	Beschreibung	Typisch
Latency	Zeit bis erste Ausgabe	100ms–5s
Throughput	Anfragen/Sekunde	1–100
TTFT	Time To First Token	50ms–2s
Tokens/s	Generierungsgeschwindigkeit	10–100

IIO AI Hub Inference-Stack

User/Agent → LiteLLM (Routing, Aliase) → Ollama → GPU
                                    ↓
                             model: qwen2.5:7b    (ops-fast)
                             model: qwen2.5:32b   (code-generate)
                             model: qwen2.5:72b   (reason-deep)

Governance für Inference

Logging: Inference-Requests optional loggen (Opt-in, DSGVO)
Monitoring: Token-Verbrauch, Kosten, Latenz überwachen
Access Control: Keycloak SSO, kein anonymer Zugang
Model Versioning: Welches Modell hat welche Ausgabe produziert?

Wenn Inference (KI) angewendet wird, werden neue Daten mit einem trainierten Modell bearbeitet.

承認済み

生成元: scripts/generate-glossary-register-variants.py (qwen2.5:7b (lokal via Ollama, kein Cloud-Fallback))
生成日: 2026-09-21T00:11:29.079655+00:00
基準: やさしい言葉 ~B1 — ドイツの易読規格DIN SPEC 33429ではありません
レビュー担当: zolo · 2026-09-21T00:30:10.463422+00:00

KI-Inference ist der Vorgang, bei dem ein bereits trainierter KI-Modell neue Eingabedaten analysiert und basierend auf seinem Training Ergebnisse wie Vorhersagen, Text oder Bilder erzeugt. Dieser Prozess erfolgt ohne weitere Trainingsphasen und nutzt das von der Maschine gelernte Wissen direkt zur Erstellung neuer Ausgaben.

承認済み

生成元: scripts/generate-glossary-register-variants.py (qwen2.5:7b (lokal via Ollama, kein Cloud-Fallback))
生成日: 2026-09-21T00:11:29.079655+00:00
基準: やさしい言葉 ~B1 — ドイツの易読規格DIN SPEC 33429ではありません
レビュー担当: zolo · 2026-09-21T00:30:10.463422+00:00

引用

"AI推論." Open Cognition Commons Foundation. https://opencognitioncommons.org/ja/glossary/inference. CC-BY 4.0.

機械可読メタデータ

{
  "@context": "https://schema.org",
  "@type": "DefinedTerm",
  "name": "AI推論",
  "description": "KI-Inference bezeichnet den Prozess, ein bereits trainiertes KI-Modell auf neue Eingabedaten anzuwenden um Ausgaben (Vorhersagen, Texte, Bilder) zu generieren.\n",
  "url": "https://opencognitioncommons.org/ja/glossary/inference",
  "license": "https://creativecommons.org/licenses/by/4.0/",
  "alternateName": [
    "Inference",
    "KI-Inferenz",
    "Model Inference"
  ]
}