PEFT Fine-Tuning

LoRA/QLoRA finjusteringskod för HuggingFace-modeller med rank/alpha-vägledning och OOM-fixar.

av Orchestra-Research · Orchestra-Research/AI-Research-SKILLs

Testad · Fungerar ★ 8.4/10

PEFT Fine-Tuning — LoRA/QLoRA finjusteringskod för HuggingFace-modeller med rank/alpha-vägledning och OOM-fixar.

Vad den gör

Genererar HuggingFace PEFT-kod för LoRA och QLoRA finjustering av 7B-70B språkmodeller, inklusive rank/alpha-urvalstabeller, arkitekturspecifika target-module-listor och CUDA OOM-felsökning. Utlöses av förfrågningar om att finjustera stora modeller under GPU-minnesbegränsningar, träna adaptrar istället för fullständiga modeller, eller servera flera uppgiftsspecifika adaptrar från en basmodell.

Testrapport

Skillens QLoRA-exempel listar alla sju Llama-3.1 linjära lager (q/k/v/o_proj plus gate/up/down_proj) som LoRA-mål och parar dem med en rank/alpha-tabell och en GPU-minnesbenchmark-tabell (60GB full FT vs 18GB LoRA vs 6GB QLoRA); ett minnesbaserat baslinjesvar för samma förfrågan producerade en plausibel men tunnare konfiguration som endast riktade sig mot q_proj/v_proj och angav inga siffror.

Testad: 2026-07-14 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/Orchestra-Research/AI-Research-SKILLs
cd AI-Research-SKILLs
mkdir -p ~/.claude/skills
cp -r 03-fine-tuning/peft ~/.claude/skills/peft-fine-tuning

Kommandon och exempelprompter

/peft-fine-tuningLoRA/QLoRA finjusteringskod för HuggingFace-modeller med rank/alpha-vägledning och OOM-fixar.

Skills triggas av vanliga förfrågningar — inga kommandon att memorera. Efter installationen aktiverar prompter som dessa skillen (på engelska):

Fine-tune Llama 3.1 with LoRA using PEFT
Set up QLoRA target modules for my model
Configure PEFT LoRA for parameter-efficient fine-tuning

Läs hela rapporten →