LoRA Fine-Tuning

PEFT/LoRA og QLoRA konfigurasjonsoppskrifter for finjustering av LLM-er på begrenset GPU-minne.

av itsmostafa · itsmostafa/llm-engineering-skills

Bestått ★ 9.2/10

LoRA Fine-Tuning — PEFT/LoRA og QLoRA konfigurasjonsoppskrifter for finjustering av LLM-er på begrenset GPU-minne.

Hva den gjør

Gir konkrete LoRAConfig/QLoRA-oppskrifter (rank, alpha, target_modules, minnetabeller) for finjustering av LLM-er med Hugging Face transformers, peft, og TRL. Utløses ved forespørsler om å finjustere en modell under GPU-minnebegrensninger, bygge oppgave-spesifikke adaptere, eller kjøre QLoRA på forbruker-maskinvare.

Testrapport

Å følge ferdigheten over et frittstående LoRA-svar ga sjekkbare gevinster: alle attention+MLP target_modules i stedet for bare q/v, alpha=2×r heuristikken forklart, og et eksplisitt 'merge on CPU'-steg som unngår en vanlig OOM-felle som baselinesvaret gikk rett inn i.

Testet på: 2026-07-14 · Claude Code 2.x (agent harness)

Installer

git clone https://github.com/itsmostafa/llm-engineering-skills
cd llm-engineering-skills
mkdir -p ~/.claude/skills
cp -r skills/lora ~/.claude/skills/lora

Kommandoer og eksempelprompter

/loraPEFT/LoRA og QLoRA konfigurasjonsoppskrifter for finjustering av LLM-er på begrenset GPU-minne.

Skills utløses av vanlige forespørsler — ingen kommandoer å huske. Etter installasjonen aktiverer prompter som disse skillen (på engelsk):

Give me a QLoRA config to fine-tune Llama 3.1 8B on one GPU
What rank and alpha should I use for fine-tuning this model?
Help me fine-tune an LLM on 24GB of VRAM without hitting OOM

Full rapport →