SkillProof tested Claude skills

LoRA Fine-Tuning

PEFT/LoRA a QLoRA konfigurační recepty pro fine-tuning LLM s omezenou GPU pamětí.

od itsmostafa · itsmostafa/llm-engineering-skills

Otestováno · Funguje ★ 9.2/10

LoRA Fine-Tuning — PEFT/LoRA a QLoRA konfigurační recepty pro fine-tuning LLM s omezenou GPU pamětí.

Co umí

Poskytuje konkrétní LoraConfig/QLoRA recepty (rank, alpha, target_modules, paměťové tabulky) pro fine-tuning LLM s Hugging Face transformers, peft a TRL. Spouští se při požadavcích na fine-tuning modelu s omezením GPU paměti, budování adaptérů specifických pro úlohu nebo spouštění QLoRA na spotřebitelském hardwaru.

Testovací report

Sledování dovednosti nad volným LoRA odpovědí přineslo ověřitelné výhry: všechny attention+MLP target_modules místo pouhých q/v, heuristika alpha=2×r vysvětlena a explicitní krok 'merge on CPU', který se vyhne běžnému OOM pasti, do které se volná odpověď přímo vrhla.

Testováno: 2026-07-14 · Claude Code 2.x (agent harness)

Instalace

git clone https://github.com/itsmostafa/llm-engineering-skills
cd llm-engineering-skills
mkdir -p ~/.claude/skills
cp -r skills/lora ~/.claude/skills/lora

Příkazy a ukázkové prompty

  • /loraPEFT/LoRA a QLoRA konfigurační recepty pro fine-tuning LLM s omezenou GPU pamětí.

Skilly se spouštějí běžnými požadavky — žádné příkazy k zapamatování. Po instalaci ho aktivují prompty jako tyto (anglicky):

  • Give me a QLoRA config to fine-tune Llama 3.1 8B on one GPU
  • What rank and alpha should I use for fine-tuning this model?
  • Help me fine-tune an LLM on 24GB of VRAM without hitting OOM

Kompletní testovací report (anglicky) →