LoRA Fine-Tuning

Ricette di configurazione PEFT/LoRA e QLoRA per il fine-tuning di LLM su memoria GPU limitata.

di itsmostafa · itsmostafa/llm-engineering-skills

Promosso ★ 9.2/10

LoRA Fine-Tuning — Ricette di configurazione PEFT/LoRA e QLoRA per il fine-tuning di LLM su memoria GPU limitata.

Cosa fa

Fornisce ricette concrete LoraConfig/QLoRA (rank, alpha, target_modules, memory tables) per il fine-tuning di LLM con Hugging Face transformers, peft e TRL. Si attiva su richieste di fine-tuning di un modello sotto vincoli di memoria GPU, costruzione di adattatori specifici per task o esecuzione di QLoRA su hardware consumer.

Rapporto di test

Seguire la skill rispetto a una risposta LoRA a mano libera ha prodotto vantaggi verificabili: tutti i target_modules attention+MLP invece di soli q/v, l'euristica alpha=2×r esplicitata e un passaggio esplicito 'merge on CPU' che evita una comune trappola OOM in cui la risposta baseline è caduta.

Testato il: 2026-07-14 · Claude Code 2.x (agent harness)

Installazione

git clone https://github.com/itsmostafa/llm-engineering-skills
cd llm-engineering-skills
mkdir -p ~/.claude/skills
cp -r skills/lora ~/.claude/skills/lora

Comandi e prompt di esempio

/loraRicette di configurazione PEFT/LoRA e QLoRA per il fine-tuning di LLM su memoria GPU limitata.

Gli skill si attivano con richieste in linguaggio naturale, senza comandi da ricordare. Dopo l'installazione, prompt come questi lo attivano (in inglese):

Give me a QLoRA config to fine-tune Llama 3.1 8B on one GPU
What rank and alpha should I use for fine-tuning this model?
Help me fine-tune an LLM on 24GB of VRAM without hitting OOM

Rapporto completo →