🟢 Plain Language

Local AI bedeutet: Local AI bezeichnet den Betrieb von KI-Modellen und -Diensten auf eigener, lokal kontrollierter Infrastruktur — im Gegensatz zur Nutzung externer Cloud-APIs. Das ist wichtig, weil KI-Systeme heute überall eingesetzt werden und Regeln brauchen, damit sie sicher und fair funktionieren.

🔵 Expert Level

Local AI bezeichnet den Betrieb von KI-Modellen und -Diensten auf eigener, lokal kontrollierter Infrastruktur — im Gegensatz zur Nutzung externer Cloud-APIs. Alle Daten verbleiben in der eigenen Infrastruktur. [IIO Framework] LiteLLM Proxy (IIO AI Hub): OpenAI-compatible multi-model proxy running on inhzgx9. Exposes 9 models: local-chat (qwen2.5:32b), local-vision (llama3.2-vision:11b), local-embed (nomic), local-fast, local-code, local-router, claude-haiku-4-5 (Anthropic), gpt-4.1-mini (OpenAI), gemini-1.5-flash. Master [IIO Framework] Ollama: Open-source local LLM inference server. IIO uses Ollama on inhzgx9 (RTX PRO 6000 Blackwell, 96GB VRAM) to serve: qwen2.5:32b (general chat), llama3.2-vision:11b (image analysis), nomic-embed-text (embeddings). Ollama API is OpenAI-compatible. LiteLLM proxies Ollama models under the aliases: [IIO-SRC-012] IIO smoke test (35 checks, v2026-05-15): Portal URLs (7), AI Hub (2), OCC (2), Services (4), Chain-10 dry-run (1), iio-welcome (2), Layer System (8), Layer Documentation (4), API Server (2), Notification System (3). Result: 35 PASS / 3 WARN / 0 FAIL. 3 WARNs are expected: OCC RAG (WireGuard), API /h

Definition

Local AI bezeichnet den Ansatz, KI-Modelle auf eigener Infrastruktur zu betreiben — ohne Daten an externe Cloud-Anbieter zu übertragen.

Vorteile gegenüber Cloud-KI

Aspekt	Cloud-KI (OpenAI, Anthropic)	Local AI
Datenschutz	Daten verlassen Unternehmen	Daten bleiben intern
DSGVO	Drittland-Transfers problematisch	EU-konform by default
Kosten	Pay-per-token (skaliert mit Nutzung)	Fix (Hardware/Strom)
Latenz	Netzwerk-abhängig	Lokal (ms statt s)
Offline	Nein	Ja
Kontrolle	Anbieter-abhängig	Vollständig
Modell-Wahl	Beschränkt	Alle Open-Weight-Modelle
Leistung	SOTA	Abhängig von Hardware

Technischer Stack

Minimaler Local AI Stack

Ollama          ← Modell-Laufzeit (llama.cpp, GPU-Support)
    ↓
LiteLLM         ← OpenAI-kompatibler API-Proxy, Routing
    ↓
OpenWebUI       ← Browser-UI für Chat, RAG, Knowledge Base
    ↓
Keycloak        ← Authentifizierung, RBAC

IIO AI Hub (Referenzimplementierung)

Server: Dedizierte GPU-Server (inhzgx4: RTX 4090, inhzgx9: H100)
Modelle: Qwen 2.5 (7B→72B), Deepseek-Coder, Codestral
Routing: LiteLLM mit Aliases (ops-fast, code-generate, reason-deep)
Zugang: SSO via Keycloak, interne URLs
Kosten: Einmalige Hardware + Strom vs. Cloud-API-Kosten

DSGVO und Local AI

Local AI vereinfacht DSGVO-Compliance erheblich:

DSGVO-Anforderung	Cloud-KI	Local AI
Art. 44 — Drittland-Transfer	Schwierig (US-Anbieter)	Kein Transfer
Art. 28 — Auftragsverarbeitung	AVV mit Anbieter nötig	Kein Auftragsverarbeiter
Art. 25 — Privacy by Design	Anbieter-abhängig	Vollständige Kontrolle
Datenlöschung	Anbieter muss löschen	Direkte Kontrolle

Wann Local AI, wann Cloud?

Local AI empfohlen für:

Verarbeitung personenbezogener Daten
Vertrauliche Geschäftsdaten, Finanz-, HR-Daten
Hochvolumen-Anwendungen (Kostenersparnis ab ~1M Token/Tag)
Compliance-kritische Bereiche (Gesundheit, Recht, Behörden)

Cloud-KI kann sinnvoll sein für:

SOTA-Leistung (GPT-4o, Claude 3.5+ bei komplexen Tasks)
Seltene, unkritische Nutzung
Teams ohne IT-Kapazität für Eigenbetrieb

Governance-Empfehlungen

Modell-Inventar — alle betriebenen Modelle mit Version und Zweck dokumentieren
Zugriffskontrolle — SSO + RBAC, kein anonymer Zugang
Audit Trail — alle Prompts und Completions optional loggen (Opt-in)
Update-Prozess — Modell-Updates wie Software-Deployments behandeln
Backup — Modell-Gewichte sichern (Verfügbarkeit)

Citation

"로컬 AI." Open Cognition Commons Foundation. https://opencognitioncommons.org/ko/glossary/local-ai. CC-BY 4.0.

Machine-readable metadata

{
  "@context": "https://schema.org",
  "@type": "DefinedTerm",
  "name": "로컬 AI",
  "description": "Local AI bezeichnet den Betrieb von KI-Modellen und -Diensten auf eigener, lokal kontrollierter Infrastruktur — im Gegensatz zur Nutzung externer Cloud-APIs. Alle Daten verbleiben in der eigenen Infrastruktur.\n",
  "url": "https://opencognitioncommons.org/ko/glossary/local-ai",
  "license": "https://creativecommons.org/licenses/by/4.0/",
  "alternateName": [
    "Local AI",
    "On-Premise AI",
    "Self-hosted AI",
    "lokale KI"
  ]
}