PEFT Fine-Tuning
Codice di fine-tuning LoRA/QLoRA per modelli HuggingFace con guida rank/alpha e correzioni OOM.
Promosso
Cosa fa
Genera codice HuggingFace PEFT per il fine-tuning LoRA e QLoRA di modelli linguistici 7B-70B, incluse tabelle di selezione rank/alpha, elenchi di moduli target specifici per architettura e risoluzione dei problemi CUDA OOM. Si attiva su richieste di fine-tuning di modelli grandi sotto vincoli di memoria GPU, addestramento di adattatori invece di modelli completi o servizio di più adattatori specifici per task da un unico modello base.
Rapporto di test
L'esempio QLoRA della skill elenca tutti e sette i layer lineari Llama-3.1 (`q/k/v/o_proj` più `gate/up/down_proj`) come target LoRA e li abbina a una tabella rank/alpha e a una tabella benchmark di memoria GPU (60GB FT completo vs 18GB LoRA vs 6GB QLoRA); una risposta di base basata solo sulla memoria per la stessa richiesta ha prodotto una configurazione plausibile ma più snella che mirava solo a `q_proj/v_proj` e non citava numeri.
Testato il: 2026-07-14 · Claude Code 2.x (agent harness)
Installazione
git clone https://github.com/Orchestra-Research/AI-Research-SKILLs cd AI-Research-SKILLs mkdir -p ~/.claude/skills cp -r 03-fine-tuning/peft ~/.claude/skills/peft-fine-tuning
Comandi e prompt di esempio
/peft-fine-tuningCodice di fine-tuning LoRA/QLoRA per modelli HuggingFace con guida rank/alpha e correzioni OOM.
Gli skill si attivano con richieste in linguaggio naturale, senza comandi da ricordare. Dopo l'installazione, prompt come questi lo attivano (in inglese):
Fine-tune Llama 3.1 with LoRA using PEFTSet up QLoRA target modules for my modelConfigure PEFT LoRA for parameter-efficient fine-tuning