PEFT Fine-Tuning
Code de fine-tuning LoRA/QLoRA pour les modèles HuggingFace avec guidance rank/alpha et corrections OOM.
Testé · Fonctionne
Ce que fait
Génère du code HuggingFace PEFT pour le fine-tuning LoRA et QLoRA de modèles de langage 7B-70B, incluant des tableaux de sélection rank/alpha, des listes de modules cibles spécifiques à l'architecture et le dépannage CUDA OOM. Se déclenche sur les demandes de fine-tuning de grands modèles sous contraintes de mémoire GPU, d'entraînement d'adaptateurs au lieu de modèles complets, ou de service de plusieurs adaptateurs spécifiques à des tâches à partir d'un modèle de base.
Rapport de test
L'exemple QLoRA de la compétence liste les sept couches linéaires de Llama-3.1 (q/k/v/o_proj plus gate/up/down_proj) comme cibles LoRA et les associe à un tableau rank/alpha et un tableau de benchmark de mémoire GPU (60GB FT complet vs 18GB LoRA vs 6GB QLoRA) ; une réponse de référence basée uniquement sur la mémoire pour la même demande a produit une configuration plausible mais plus mince qui ne ciblait que q_proj/v_proj et ne citait aucun chiffre.
Testé le: 2026-07-14 · Claude Code 2.x (agent harness)
Installation
git clone https://github.com/Orchestra-Research/AI-Research-SKILLs cd AI-Research-SKILLs mkdir -p ~/.claude/skills cp -r 03-fine-tuning/peft ~/.claude/skills/peft-fine-tuning
Commandes et exemples de prompts
/peft-fine-tuningCode de fine-tuning LoRA/QLoRA pour les modèles HuggingFace avec guidance rank/alpha et corrections OOM.
Les skills se déclenchent sur des demandes en langage courant — aucune commande à retenir. Après installation, des prompts comme ceux-ci l'activent (en anglais) :
Fine-tune Llama 3.1 with LoRA using PEFTSet up QLoRA target modules for my modelConfigure PEFT LoRA for parameter-efficient fine-tuning