🟢 Plain Language

KI die auf dem eigenen Computer oder Server läuft — keine Daten gehen in die Cloud. Gut für Datenschutz und Kontrolle.

🔵 Expert Level

Local AI als Datenschutz-Enabler: Modelle laufen on-premise via Ollama, LM Studio, llama.cpp. Technisch: GGUF-Format für quantisierte Modelle (Q4_K_M, Q8_0), llama.cpp als inference engine, Open-Weight-Modelle (Llama, Mistral, Qwen). IIO-Implementierung: Ollama auf IIO-Node + LiteLLM-Gateway für einheitliche API. DSGVO-relevant: keine Übertragung personenbezogener Daten an externe Anbieter.

Definition

Local AI bezeichnet den Ansatz, KI-Modelle auf eigener Infrastruktur zu betreiben — ohne Daten an externe Cloud-Anbieter zu übertragen.

Vorteile gegenüber Cloud-KI

Aspekt	Cloud-KI (OpenAI, Anthropic)	Local AI
Datenschutz	Daten verlassen Unternehmen	Daten bleiben intern
DSGVO	Drittland-Transfers problematisch	EU-konform by default
Kosten	Pay-per-token (skaliert mit Nutzung)	Fix (Hardware/Strom)
Latenz	Netzwerk-abhängig	Lokal (ms statt s)
Offline	Nein	Ja
Kontrolle	Anbieter-abhängig	Vollständig
Modell-Wahl	Beschränkt	Alle Open-Weight-Modelle
Leistung	SOTA	Abhängig von Hardware

Technischer Stack

Minimaler Local AI Stack

Ollama          ← Modell-Laufzeit (llama.cpp, GPU-Support)
    ↓
LiteLLM         ← OpenAI-kompatibler API-Proxy, Routing
    ↓
OpenWebUI       ← Browser-UI für Chat, RAG, Knowledge Base
    ↓
Keycloak        ← Authentifizierung, RBAC

IIO AI Hub (Referenzimplementierung)

Server: Dedizierte GPU-Server (inhzgx4: RTX 4090, inhzgx9: H100)
Modelle: Qwen 2.5 (7B→72B), Deepseek-Coder, Codestral
Routing: LiteLLM mit Aliases (ops-fast, code-generate, reason-deep)
Zugang: SSO via Keycloak, interne URLs
Kosten: Einmalige Hardware + Strom vs. Cloud-API-Kosten

DSGVO und Local AI

Local AI vereinfacht DSGVO-Compliance erheblich:

DSGVO-Anforderung	Cloud-KI	Local AI
Art. 44 — Drittland-Transfer	Schwierig (US-Anbieter)	Kein Transfer
Art. 28 — Auftragsverarbeitung	AVV mit Anbieter nötig	Kein Auftragsverarbeiter
Art. 25 — Privacy by Design	Anbieter-abhängig	Vollständige Kontrolle
Datenlöschung	Anbieter muss löschen	Direkte Kontrolle

Wann Local AI, wann Cloud?

Local AI empfohlen für:

Verarbeitung personenbezogener Daten
Vertrauliche Geschäftsdaten, Finanz-, HR-Daten
Hochvolumen-Anwendungen (Kostenersparnis ab ~1M Token/Tag)
Compliance-kritische Bereiche (Gesundheit, Recht, Behörden)

Cloud-KI kann sinnvoll sein für:

SOTA-Leistung (GPT-4o, Claude 3.5+ bei komplexen Tasks)
Seltene, unkritische Nutzung
Teams ohne IT-Kapazität für Eigenbetrieb

Governance-Empfehlungen

Modell-Inventar — alle betriebenen Modelle mit Version und Zweck dokumentieren
Zugriffskontrolle — SSO + RBAC, kein anonymer Zugang
Audit Trail — alle Prompts und Completions optional loggen (Opt-in)
Update-Prozess — Modell-Updates wie Software-Deployments behandeln
Backup — Modell-Gewichte sichern (Verfügbarkeit)

Cytowanie

"Local AI." Open Cognition Commons Foundation. https://opencognitioncommons.org/pl/glossary/local-ai. CC-BY 4.0.

Metadane czytelne maszynowo

{
  "@context": "https://schema.org",
  "@type": "DefinedTerm",
  "name": "Local AI",
  "description": "Local AI bezeichnet den Betrieb von KI-Modellen und -Diensten auf eigener, lokal kontrollierter Infrastruktur — im Gegensatz zur Nutzung externer Cloud-APIs. Alle Daten verbleiben in der eigenen Infrastruktur.\n",
  "url": "https://opencognitioncommons.org/pl/glossary/local-ai",
  "license": "https://creativecommons.org/licenses/by/4.0/",
  "alternateName": [
    "Local AI",
    "On-Premise AI",
    "Self-hosted AI",
    "lokale KI"
  ]
}