PEFT Fine-Tuning
Kod fine-tuning LoRA/QLoRA dla modeli HuggingFace z wytycznymi rank/alpha i poprawkami OOM.
Testowano · Działa
Co robi ten skill
Generuje kod HuggingFace PEFT do fine-tuning LoRA i QLoRA dla modeli językowych 7B-70B, w tym tabele wyboru rank/alpha, listy modułów docelowych specyficznych dla architektury oraz rozwiązywanie problemów z CUDA OOM. Uruchamia się na żądania fine-tuning dużych modeli z ograniczeniami pamięci GPU, trenowania adapterów zamiast pełnych modeli lub obsługi wielu adapterów specyficznych dla zadań z jednego modelu bazowego.
Raport z testu
Przykład QLoRA umiejętności wymienia wszystkie siedem warstw liniowych Llama-3.1 (q/k/v/o_proj plus gate/up/down_proj) jako cele LoRA i łączy je z tabelą rank/alpha oraz tabelą benchmarków pamięci GPU (60GB pełne FT vs 18GB LoRA vs 6GB QLoRA); odpowiedź bazowa tylko z pamięci dla tego samego żądania wygenerowała wiarygodną, ale uboższą konfigurację, która celowała tylko w q_proj/v_proj i nie podała żadnych liczb.
Testowano: 2026-07-14 · Claude Code 2.x (agent harness)
Instalacja
git clone https://github.com/Orchestra-Research/AI-Research-SKILLs cd AI-Research-SKILLs mkdir -p ~/.claude/skills cp -r 03-fine-tuning/peft ~/.claude/skills/peft-fine-tuning
Komendy i przykładowe prompty
/peft-fine-tuningKod fine-tuning LoRA/QLoRA dla modeli HuggingFace z wytycznymi rank/alpha i poprawkami OOM.
Skille uruchamiają się na zwykłe polecenia — bez komend do zapamiętania. Po instalacji aktywują go prompty takie jak te (po angielsku):
Fine-tune Llama 3.1 with LoRA using PEFTSet up QLoRA target modules for my modelConfigure PEFT LoRA for parameter-efficient fine-tuning