SkillProof tested Claude skills

LoRA Fine-Tuning

Przepisy konfiguracji PEFT/LoRA i QLoRA do dostrajania LLM na ograniczonej pamięci GPU.

Autor: itsmostafa · itsmostafa/llm-engineering-skills

Testowano · Działa ★ 9.2/10

LoRA Fine-Tuning — Przepisy konfiguracji PEFT/LoRA i QLoRA do dostrajania LLM na ograniczonej pamięci GPU.

Co robi ten skill

Dostarcza konkretne przepisy LoraConfig/QLoRA (rank, alpha, target_modules, memory tables) do dostrajania LLM za pomocą Hugging Face transformers, peft i TRL. Uruchamia się na żądania dostrojenia modelu w warunkach ograniczonej pamięci GPU, budowania adapterów specyficznych dla zadań lub uruchamiania QLoRA na sprzęcie konsumenckim.

Raport z testu

Postępowanie zgodnie z umiejętnością zamiast swobodnej odpowiedzi LoRA przyniosło sprawdzalne korzyści: wszystkie target_modules attention+MLP zamiast tylko q/v, wyjaśniona heurystyka alpha=2×r oraz jawny krok 'merge on CPU', który omijał typową pułapkę OOM, w którą wpadła odpowiedź bazowa.

Testowano: 2026-07-14 · Claude Code 2.x (agent harness)

Instalacja

git clone https://github.com/itsmostafa/llm-engineering-skills
cd llm-engineering-skills
mkdir -p ~/.claude/skills
cp -r skills/lora ~/.claude/skills/lora

Komendy i przykładowe prompty

  • /loraPrzepisy konfiguracji PEFT/LoRA i QLoRA do dostrajania LLM na ograniczonej pamięci GPU.

Skille uruchamiają się na zwykłe polecenia — bez komend do zapamiętania. Po instalacji aktywują go prompty takie jak te (po angielsku):

  • Give me a QLoRA config to fine-tune Llama 3.1 8B on one GPU
  • What rank and alpha should I use for fine-tuning this model?
  • Help me fine-tune an LLM on 24GB of VRAM without hitting OOM

Pełny raport →