Implementing LLMs: LitGPT
Implémente et fine-tune des LLM avec les architectures single-file épurées de LitGPT.
Tested · Didn't pass
Ce que fait
Implémente et entraîne des LLM avec LitGPT de Lightning AI, avec plus de 20 architectures pré-entraînées (Llama, Gemma, Phi, Qwen, Mistral). À utiliser pour des implémentations de modèles épurées, une compréhension pédagogique des architectures, ou du fine-tuning en production avec LoRA/QLoRA. Implémentations single-file, sans couches d'abstraction.
Rapport de test
Installation propre (le frontmatter s'analyse correctement, les quatre fichiers de référence sont présents) et déclenchement précis sur les prompts de fine-tuning/architecture LitGPT, même si son workflow de pré-entraînement multi-GPU recoupe le skill torchtitan distinct du dépôt. A/B sur une tâche de fine-tuning LoRA + merge + inférence : les flags LoRA du skill étaient corrects, mais en suivant fidèlement SKILL.md il a hérité de deux imprécisions CLI par rapport à la vraie CLI litgpt v0.5.13 — il a produit un flag `merge_lora --out_dir` inexistant et le `--train.learning_rate` obsolète (la vraie CLI utilise un merge in-place et `--optimizer.lr`), deux points que le bras sans skill a obtenus correctement, si bien que le skill a produit un résultat moins correct que les connaissances générales de base. Le workflow complet nécessite un GPU ainsi que des téléchargements de modèles de plusieurs Go sous accès restreint (token/licence HF) ; ici, seul l'artefact de code/config vérifiable a été testé.
Testé le: 2026-07-12 · Claude Code 2.x (agent harness)
Installation
git clone https://github.com/Orchestra-Research/AI-Research-SKILLs cd AI-Research-SKILLs mkdir -p ~/.claude/skills cp -r 01-model-architecture/litgpt ~/.claude/skills/implementing-llms-litgpt
Commandes et exemples de prompts
/implementing-llms-litgptImplémente et fine-tune des LLM avec les architectures single-file épurées de LitGPT.
Les skills se déclenchent sur des demandes en langage courant — aucune commande à retenir. Après installation, des prompts comme ceux-ci l'activent (en anglais) :
Fine-tune Llama with LoRA using LitGPTImplement a Qwen model with LitGPT for studySet up QLoRA fine-tuning with LitGPT