PEFT Fine-Tuning

LoRA/QLoRA finjusteringskode for HuggingFace-modeller med rank/alpha veiledning og OOM-fikser.

av Orchestra-Research · Orchestra-Research/AI-Research-SKILLs

Bestått ★ 8.4/10

PEFT Fine-Tuning — LoRA/QLoRA finjusteringskode for HuggingFace-modeller med rank/alpha veiledning og OOM-fikser.

Hva den gjør

Genererer HuggingFace PEFT-kode for LoRA og QLoRA finjustering av 7B-70B språkmodeller, inkludert rank/alpha utvalgstabeller, arkitekturspesifikke target-module lister, og CUDA OOM feilsøking. Utløses ved forespørsler om å finjustere store modeller under GPU minnebegrensninger, trene adaptere i stedet for fulle modeller, eller betjene flere oppgavespesifikke adaptere fra én basemodell.

Testrapport

Skillens QLoRA-eksempel lister alle syv Llama-3.1 lineære lag (q/k/v/o_proj pluss gate/up/down_proj) som LoRA-mål og parer dem med en rank/alpha-tabell og en GPU-minne benchmark-tabell (60GB full FT vs 18GB LoRA vs 6GB QLoRA); et minne-basert grunnlinjesvar for samme forespørsel produserte en plausibel, men tynnere konfigurasjon som bare målrettet q_proj/v_proj og oppga ingen tall.

Testet på: 2026-07-14 · Claude Code 2.x (agent harness)

Installer

git clone https://github.com/Orchestra-Research/AI-Research-SKILLs
cd AI-Research-SKILLs
mkdir -p ~/.claude/skills
cp -r 03-fine-tuning/peft ~/.claude/skills/peft-fine-tuning

Kommandoer og eksempelprompter

/peft-fine-tuningLoRA/QLoRA finjusteringskode for HuggingFace-modeller med rank/alpha veiledning og OOM-fikser.

Skills utløses av vanlige forespørsler — ingen kommandoer å huske. Etter installasjonen aktiverer prompter som disse skillen (på engelsk):

Fine-tune Llama 3.1 with LoRA using PEFT
Set up QLoRA target modules for my model
Configure PEFT LoRA for parameter-efficient fine-tuning

Full rapport →