LoRA Fine-Tuning

PEFT/LoRA och QLoRA konfigurationsrecept för finjustering av LLM:er på begränsat GPU-minne.

av itsmostafa · itsmostafa/llm-engineering-skills

Testad · Fungerar ★ 9.2/10

LoRA Fine-Tuning — PEFT/LoRA och QLoRA konfigurationsrecept för finjustering av LLM:er på begränsat GPU-minne.

Vad den gör

Ger konkreta LoraConfig/QLoRA-recept (rank, alpha, target_modules, memory tables) för finjustering av LLM:er med Hugging Face transformers, peft och TRL. Utlöses vid förfrågningar om att finjustera en modell under GPU-minnesbegränsningar, bygga uppgiftsspecifika adaptrar eller köra QLoRA på konsumenthårdvara.

Testrapport

Att följa skickligheten över ett frihands-LoRA-svar gav kontrollerbara vinster: alla attention+MLP target_modules istället för bara q/v, alpha=2×r-heuristiken förklarad, och ett explicit 'merge on CPU'-steg som undviker en vanlig OOM-fälla som baslinjesvaret gick rakt in i.

Testad: 2026-07-14 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/itsmostafa/llm-engineering-skills
cd llm-engineering-skills
mkdir -p ~/.claude/skills
cp -r skills/lora ~/.claude/skills/lora

Kommandon och exempelprompter

/loraPEFT/LoRA och QLoRA konfigurationsrecept för finjustering av LLM:er på begränsat GPU-minne.

Skills triggas av vanliga förfrågningar — inga kommandon att memorera. Efter installationen aktiverar prompter som dessa skillen (på engelska):

Give me a QLoRA config to fine-tune Llama 3.1 8B on one GPU
What rank and alpha should I use for fine-tuning this model?
Help me fine-tune an LLM on 24GB of VRAM without hitting OOM

Läs hela rapporten →