LoRA Fine-Tuning

PEFT/LoRA en QLoRA config recepten voor fine-tuning van LLM's op beperkt GPU-geheugen.

Door itsmostafa · itsmostafa/llm-engineering-skills

Getest · Werkt ★ 9.2/10

LoRA Fine-Tuning — PEFT/LoRA en QLoRA config recepten voor fine-tuning van LLM's op beperkt GPU-geheugen.

Wat het doet

Biedt concrete LoraConfig/QLoRA recepten (rank, alpha, target_modules, memory tables) voor het fine-tunen van LLM's met Hugging Face transformers, peft en TRL. Activeert bij verzoeken om een model te fine-tunen onder GPU-geheugenbeperkingen, taakspecifieke adapters te bouwen, of QLoRA uit te voeren op consumentenhardware.

Testrapport

Het volgen van de skill boven een vrije LoRA-antwoord leverde controleerbare voordelen op: alle attention+MLP target_modules in plaats van alleen q/v, de alpha=2×r heuristiek uitgeschreven, en een expliciete 'merge on CPU' stap die een veelvoorkomende OOM-valstrik omzeilt waar het baseline-antwoord recht inliep.

Getest op: 2026-07-14 · Claude Code 2.x (agent harness)

Installatie

git clone https://github.com/itsmostafa/llm-engineering-skills
cd llm-engineering-skills
mkdir -p ~/.claude/skills
cp -r skills/lora ~/.claude/skills/lora

Commando's en voorbeeldprompts

/loraPEFT/LoRA en QLoRA config recepten voor fine-tuning van LLM's op beperkt GPU-geheugen.

Skills reageren op gewone verzoeken — geen commando's om te onthouden. Na installatie activeren prompts zoals deze de skill (in het Engels):

Give me a QLoRA config to fine-tune Llama 3.1 8B on one GPU
What rank and alpha should I use for fine-tuning this model?
Help me fine-tune an LLM on 24GB of VRAM without hitting OOM

Volledig rapport (Engels) →