LoRA Fine-Tuning

Recetas de configuración PEFT/LoRA y QLoRA para el ajuste fino de LLMs con memoria GPU limitada.

Por itsmostafa · itsmostafa/llm-engineering-skills

Probado · Funciona ★ 9.2/10

LoRA Fine-Tuning — Recetas de configuración PEFT/LoRA y QLoRA para el ajuste fino de LLMs con memoria GPU limitada.

Qué hace

Proporciona recetas concretas de LoraConfig/QLoRA (rank, alpha, target_modules, memory tables) para el ajuste fino de LLMs con Hugging Face transformers, peft y TRL. Se activa en solicitudes para ajustar un modelo bajo restricciones de memoria GPU, construir adaptadores específicos de tareas o ejecutar QLoRA en hardware de consumo.

Informe de la prueba

Seguir la habilidad en lugar de una respuesta LoRA a mano alzada produjo ganancias verificables: todos los target_modules de atención+MLP en lugar de solo q/v, la heurística alpha=2×r explicada, y un paso explícito de 'merge on CPU' que evita una trampa OOM común en la que la respuesta de referencia cayó directamente.

Probado el: 2026-07-14 · Claude Code 2.x (agent harness)

Instalación

git clone https://github.com/itsmostafa/llm-engineering-skills
cd llm-engineering-skills
mkdir -p ~/.claude/skills
cp -r skills/lora ~/.claude/skills/lora

Comandos y prompts de ejemplo

/loraRecetas de configuración PEFT/LoRA y QLoRA para el ajuste fino de LLMs con memoria GPU limitada.

Los skills se activan con peticiones en lenguaje natural, sin comandos que memorizar. Tras instalarlo, prompts como estos lo activan (en inglés):

Give me a QLoRA config to fine-tune Llama 3.1 8B on one GPU
What rank and alpha should I use for fine-tuning this model?
Help me fine-tune an LLM on 24GB of VRAM without hitting OOM

Informe completo →