PEFT Fine-Tuning
LoRA/QLoRA Fine-Tuning-Code für HuggingFace-Modelle mit Rank/Alpha-Anleitung und OOM-Fixes.
Getestet · Funktioniert
Was es kann
Generiert HuggingFace PEFT-Code für LoRA- und QLoRA-Fine-Tuning von 7B-70B Sprachmodellen, einschließlich Rank/Alpha-Auswahltabellen, architekturspezifischen Target-Module-Listen und CUDA OOM-Fehlerbehebung. Löst bei Anfragen aus, große Modelle unter GPU-Speicherbeschränkungen zu fine-tunen, Adapter anstelle vollständiger Modelle zu trainieren oder mehrere aufgabenbezogene Adapter von einem Basismodell aus zu bedienen.
Testbericht
Das QLoRA-Beispiel des Skills listet alle sieben Llama-3.1 linearen Schichten (q/k/v/o_proj plus gate/up/down_proj) als LoRA-Ziele auf und paart sie mit einer Rank/Alpha-Tabelle und einer GPU-Speicher-Benchmark-Tabelle (60GB Full FT vs 18GB LoRA vs 6GB QLoRA); eine reine Gedächtnis-Baseline-Antwort für dieselbe Anfrage produzierte eine plausible, aber dünnere Konfiguration, die nur q_proj/v_proj ansprach und keine Zahlen nannte.
Getestet am: 2026-07-14 · Claude Code 2.x (agent harness)
Installation
git clone https://github.com/Orchestra-Research/AI-Research-SKILLs cd AI-Research-SKILLs mkdir -p ~/.claude/skills cp -r 03-fine-tuning/peft ~/.claude/skills/peft-fine-tuning
Befehle & Beispiel-Prompts
/peft-fine-tuningLoRA/QLoRA Fine-Tuning-Code für HuggingFace-Modelle mit Rank/Alpha-Anleitung und OOM-Fixes.
Skills reagieren auf normale Anfragen — keine Slash-Befehle nötig. Nach der Installation aktivieren Prompts wie diese den Skill (auf Englisch):
Fine-tune Llama 3.1 with LoRA using PEFTSet up QLoRA target modules for my modelConfigure PEFT LoRA for parameter-efficient fine-tuning