LoRA Fine-Tuning

PEFT/LoRA und QLoRA Konfigurationsrezepte für das Fine-Tuning von LLMs mit begrenztem GPU-Speicher.

von itsmostafa · itsmostafa/llm-engineering-skills

Getestet · Funktioniert ★ 9.2/10

LoRA Fine-Tuning — PEFT/LoRA und QLoRA Konfigurationsrezepte für das Fine-Tuning von LLMs mit begrenztem GPU-Speicher.

Was es kann

Bietet konkrete LoraConfig/QLoRA-Rezepte (rank, alpha, target_modules, memory tables) für das Fine-Tuning von LLMs mit Hugging Face transformers, peft und TRL. Wird ausgelöst bei Anfragen zum Fine-Tuning eines Modells unter GPU-Speicherbeschränkungen, zum Erstellen aufgabenspezifischer Adapter oder zum Ausführen von QLoRA auf Consumer-Hardware.

Testbericht

Dem Skill gegenüber einer freihändigen LoRA-Antwort zu folgen, führte zu überprüfbaren Vorteilen: alle attention+MLP target_modules anstelle von nur q/v, die alpha=2×r Heuristik explizit dargelegt und ein expliziter 'merge on CPU'-Schritt, der eine häufige OOM-Falle umgeht, in die die Basislinienantwort direkt hineinlief.

Getestet am: 2026-07-14 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/itsmostafa/llm-engineering-skills
cd llm-engineering-skills
mkdir -p ~/.claude/skills
cp -r skills/lora ~/.claude/skills/lora

Befehle & Beispiel-Prompts

/loraPEFT/LoRA und QLoRA Konfigurationsrezepte für das Fine-Tuning von LLMs mit begrenztem GPU-Speicher.

Skills reagieren auf normale Anfragen — keine Slash-Befehle nötig. Nach der Installation aktivieren Prompts wie diese den Skill (auf Englisch):

Give me a QLoRA config to fine-tune Llama 3.1 8B on one GPU
What rank and alpha should I use for fine-tuning this model?
Help me fine-tune an LLM on 24GB of VRAM without hitting OOM

Vollständiger Testbericht (Englisch) →