PEFT Fine-Tuning
LoRA/QLoRA fine-tuning code voor HuggingFace modellen met rank/alpha begeleiding en OOM fixes.
Getest · Werkt
Wat het doet
Genereert HuggingFace PEFT code voor LoRA en QLoRA fine-tuning van 7B-70B language models, inclusief rank/alpha selection tables, architectuur-specifieke target-module lijsten, en CUDA OOM troubleshooting. Activeert bij verzoeken om grote modellen te fine-tunen onder GPU memory constraints, adapters te trainen in plaats van volledige modellen, of meerdere taakspecifieke adapters te serveren vanuit één basismodel.
Testrapport
Het QLoRA voorbeeld van de skill somt alle zeven Llama-3.1 linear layers (q/k/v/o_proj plus gate/up/down_proj) op als LoRA targets en koppelt deze aan een rank/alpha tabel en een GPU-memory benchmark tabel (60GB full FT vs 18GB LoRA vs 6GB QLoRA); een geheugen-alleen baseline antwoord voor hetzelfde verzoek produceerde een plausibele maar dunnere config die alleen q_proj/v_proj targette en geen cijfers noemde.
Getest op: 2026-07-14 · Claude Code 2.x (agent harness)
Installatie
git clone https://github.com/Orchestra-Research/AI-Research-SKILLs cd AI-Research-SKILLs mkdir -p ~/.claude/skills cp -r 03-fine-tuning/peft ~/.claude/skills/peft-fine-tuning
Commando's en voorbeeldprompts
/peft-fine-tuningLoRA/QLoRA fine-tuning code voor HuggingFace modellen met rank/alpha begeleiding en OOM fixes.
Skills reageren op gewone verzoeken — geen commando's om te onthouden. Na installatie activeren prompts zoals deze de skill (in het Engels):
Fine-tune Llama 3.1 with LoRA using PEFTSet up QLoRA target modules for my modelConfigure PEFT LoRA for parameter-efficient fine-tuning