LoRA (Low-Rank Adaptation)

Wie LoRA funktioniert

Standard Fine-Tuning: Alle Gewichte des Modells werden trainiert → Teuer (GPU), langsam, viel Speicher

LoRA:

Original Gewichte W (eingefroren)
        +
LoRA Matrizen A × B (trainierbar, klein)
        =
W + A×B (effektiv neue Gewichte)

A und B sind niedrigrangige Matrizen — viel kleiner als das Originalmodell.

Vorteile

Anwendungen

• Stil-Training: Modell auf spezifischen Zeichenstil anpassen
• Charakter-Konsistenz: Immer gleiche Figuren in Bildgenerierung (IIO-Nutzung)
• Domänen-Anpassung: Modell auf Fachterminologie spezialisieren
• Sprach-Fine-Tuning: Bessere Leistung für spezifische Sprache

DSGVO und LoRA

LoRA-Adapter können auf sensiblen internen Daten trainiert werden:

• Training lokal (kein Cloud-Transfer)
• Adapter enthält kein direktes “Erinnern” der Trainingsdaten
• Aber: Membership Inference Attacks möglich → Datenschutzfolgenabschätzung empfohlen

{
  "@context": "https://schema.org",
  "@type": "DefinedTerm",
  "name": "LoRA (Low-Rank Adaptation)",
  "description": "LoRA (Low-Rank Adaptation) ist eine Parameter-effiziente Feinabstimmungs- methode für große KI-Modelle, die zusätzliche niedrigrangige Gewichtsmatrizen einfügt statt das gesamte Modell zu trainieren.\n",
  "url": "https://opencognitioncommons.org/zh/glossary/lora",
  "license": "https://creativecommons.org/licenses/by/4.0/",
  "alternateName": [
    "LoRA",
    "Low-Rank Adaptation",
    "PEFT"
  ]
}