PEFT Fine-Tuning
Código de ajuste fino LoRA/QLoRA para modelos HuggingFace con guía de rank/alpha y correcciones de OOM.
Probado · Funciona
Qué hace
Genera código PEFT de HuggingFace para el ajuste fino LoRA y QLoRA de modelos de lenguaje de 7B-70B, incluyendo tablas de selección de rank/alpha, listas de módulos objetivo específicos de arquitectura, y solución de problemas de CUDA OOM. Se activa con solicitudes para ajustar modelos grandes bajo restricciones de memoria de GPU, entrenar adaptadores en lugar de modelos completos, o servir múltiples adaptadores específicos de tarea desde un modelo base.
Informe de la prueba
El ejemplo QLoRA de la habilidad lista las siete capas lineales de Llama-3.1 (q/k/v/o_proj plus gate/up/down_proj) como objetivos LoRA y las empareja con una tabla de rank/alpha y una tabla de benchmark de memoria de GPU (60GB FT completo vs 18GB LoRA vs 6GB QLoRA); una respuesta de referencia solo de memoria para la misma solicitud produjo una configuración plausible pero más delgada que solo apuntaba a q_proj/v_proj y no citaba números.
Probado el: 2026-07-14 · Claude Code 2.x (agent harness)
Instalación
git clone https://github.com/Orchestra-Research/AI-Research-SKILLs cd AI-Research-SKILLs mkdir -p ~/.claude/skills cp -r 03-fine-tuning/peft ~/.claude/skills/peft-fine-tuning
Comandos y prompts de ejemplo
/peft-fine-tuningCódigo de ajuste fino LoRA/QLoRA para modelos HuggingFace con guía de rank/alpha y correcciones de OOM.
Los skills se activan con peticiones en lenguaje natural, sin comandos que memorizar. Tras instalarlo, prompts como estos lo activan (en inglés):
Fine-tune Llama 3.1 with LoRA using PEFTSet up QLoRA target modules for my modelConfigure PEFT LoRA for parameter-efficient fine-tuning