Name: Open Cognition Commons
License: https://creativecommons.org/licenses/by/4.0/

Was ist LiteLLM?

LiteLLM löst das “too many APIs”-Problem: Statt OpenAI-, Anthropic-, Ollama-API separat zu integrieren, kommunizieren alle Clients mit einem LiteLLM-Proxy.

Client (openai SDK)
        ↓
   LiteLLM Proxy
   ┌─────────────────────────────────────┐
   │  ops-fast  → qwen2.5:7b (Ollama)   │
   │  code-gen  → codestral (Ollama)     │
   │  reason    → qwen2.5:72b (Ollama)   │
   │  fallback  → gpt-4o (OpenAI API)    │
   └─────────────────────────────────────┘

IIO Aliase

IIO definiert semantische Aliase statt Modellnamen:

Alias	Modell	Use Case
`ops-fast`	qwen2.5:7b	Schnelle Ops-Tasks
`code-generate`	deepseek-coder-v2	Code schreiben
`code-review`	codestral:22b	Code reviewen
`reason-medium`	qwen2.5:32b	Analyse, Planung
`reason-deep`	qwen2.5:72b	Komplexe Aufgaben
`fallback-gpt4o`	gpt-4o (aimlapi)	Fallback extern

Features

Budget-Limits — pro Team, User, API-Key
Logging — alle Requests auf Wunsch loggen
Caching — semantisches Response-Caching
Load Balancing — zwischen mehreren Modellen
Fallback — bei Fehler auf anderes Modell
Rate Limiting — pro Key/Minute

DSGVO-Aspekt

LiteLLM ermöglicht Policy-Enforcement:

Anfragen die Personendaten enthalten → nur lokale Modelle (Ollama)
Anonyme/öffentliche Anfragen → auch externe Modelle erlaubt
Alle Routing-Entscheidungen im Audit Log

引用

"LiteLLM." Open Cognition Commons Foundation. https://opencognitioncommons.org/zh/glossary/litellm. CC-BY 4.0.

机器可读元数据

{
  "@context": "https://schema.org",
  "@type": "DefinedTerm",
  "name": "LiteLLM",
  "description": "LiteLLM ist ein Open-Source-Proxy-Server, der alle großen LLM-APIs (OpenAI, Anthropic, Gemini, Azure, Ollama, HuggingFace u.v.m.) hinter einer einheitlichen OpenAI-kompatiblen REST-API abstrahiert.\n",
  "url": "https://opencognitioncommons.org/zh/glossary/litellm",
  "license": "https://creativecommons.org/licenses/by/4.0/",
  "alternateName": [
    "LiteLLM",
    "LiteLLM Proxy"
  ]
}