PEFT Fine-Tuning

LoRA/QLoRA fine-tuning kode til HuggingFace modeller med rank/alpha vejledning og OOM fixes.

Af Orchestra-Research · Orchestra-Research/AI-Research-SKILLs

Testet · Virker ★ 8.4/10

PEFT Fine-Tuning — LoRA/QLoRA fine-tuning kode til HuggingFace modeller med rank/alpha vejledning og OOM fixes.

Hvad det gør

Genererer HuggingFace PEFT-kode til LoRA og QLoRA fine-tuning af 7B-70B sprogmodeller, inklusive rank/alpha udvælgelsestabeller, arkitekturspecifikke target-modul-lister og CUDA OOM fejlfinding. Udløses af anmodninger om at fine-tune store modeller under GPU-hukommelsesbegrænsninger, træne adaptere i stedet for fulde modeller eller servere flere opgavespecifikke adaptere fra én basemodel.

Testrapport

Skill'ens QLoRA-eksempel lister alle syv Llama-3.1 lineære lag (q/k/v/o_proj plus gate/up/down_proj) som LoRA-mål og parrer dem med en rank/alpha-tabel og en GPU-hukommelsesbenchmark-tabel (60GB fuld FT vs 18GB LoRA vs 6GB QLoRA); et hukommelsesbaseret baseline-svar for den samme anmodning producerede en plausibel, men tyndere konfiguration, der kun målrettede q_proj/v_proj og nævnte ingen tal.

Testet: 2026-07-14 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/Orchestra-Research/AI-Research-SKILLs
cd AI-Research-SKILLs
mkdir -p ~/.claude/skills
cp -r 03-fine-tuning/peft ~/.claude/skills/peft-fine-tuning

Kommandoer og eksempelprompter

/peft-fine-tuningLoRA/QLoRA fine-tuning kode til HuggingFace modeller med rank/alpha vejledning og OOM fixes.

Skills udløses af almindelige forespørgsler — ingen kommandoer at huske. Efter installationen aktiverer prompter som disse skillen (på engelsk):

Fine-tune Llama 3.1 with LoRA using PEFT
Set up QLoRA target modules for my model
Configure PEFT LoRA for parameter-efficient fine-tuning

Læs hele rapporten →