SkillProof tested Claude skills

LoRA Fine-Tuning

PEFT/LoRA og QLoRA konfigurationsopskrifter til finjustering af LLMs på begrænset GPU-hukommelse.

Af itsmostafa · itsmostafa/llm-engineering-skills

Testet · Virker ★ 9.2/10

LoRA Fine-Tuning — PEFT/LoRA og QLoRA konfigurationsopskrifter til finjustering af LLMs på begrænset GPU-hukommelse.

Hvad det gør

Giver konkrete LoraConfig/QLoRA opskrifter (rank, alpha, target_modules, hukommelsestabeller) til finjustering af LLMs med Hugging Face transformers, peft og TRL. Triggers ved anmodninger om at finjustere en model under GPU-hukommelsesbegrænsninger, bygge opgavespecifikke adaptere, eller køre QLoRA på forbrugerhardware.

Testrapport

Følgning af skillen over et fritstående LoRA-svar producerede tjekbare gevinster: alle attention+MLP target_modules i stedet for kun q/v, alpha=2×r heuristikken forklaret, og et eksplicit 'merge on CPU' trin, der undgår en almindelig OOM-fælde, som baseline-svaret gik lige ind i.

Testet: 2026-07-14 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/itsmostafa/llm-engineering-skills
cd llm-engineering-skills
mkdir -p ~/.claude/skills
cp -r skills/lora ~/.claude/skills/lora

Kommandoer og eksempelprompter

  • /loraPEFT/LoRA og QLoRA konfigurationsopskrifter til finjustering af LLMs på begrænset GPU-hukommelse.

Skills udløses af almindelige forespørgsler — ingen kommandoer at huske. Efter installationen aktiverer prompter som disse skillen (på engelsk):

  • Give me a QLoRA config to fine-tune Llama 3.1 8B on one GPU
  • What rank and alpha should I use for fine-tuning this model?
  • Help me fine-tune an LLM on 24GB of VRAM without hitting OOM

Læs hele rapporten →