Implementing LLMs: LitGPT
Implementiert und fine-tuned LLMs mit LitGPTs klaren Single-File-Architekturen.
Tested · Didn't pass
Was es kann
Implementiert und trainiert LLMs mit Lightning AIs LitGPT und über 20 vortrainierten Architekturen (Llama, Gemma, Phi, Qwen, Mistral). Geeignet für saubere Modellimplementierungen, ein besseres Verständnis der Architekturen oder produktives Fine-Tuning mit LoRA/QLoRA. Single-File-Implementierungen ohne Abstraktionsschichten.
Testbericht
Installation lief sauber (Frontmatter parst, alle vier Referenzdateien vorhanden), und der Skill triggert zuverlässig bei LitGPT-Fine-Tuning-/Architektur-Prompts, wobei sich sein Multi-GPU-Pretraining-Workflow mit dem separaten torchtitan-Skill im Repo überschneidet. A/B bei einer Aufgabe mit LoRA-Fine-Tuning + Merge + Inferenz: Die LoRA-Flags des Skills waren korrekt, aber durch das genaue Befolgen der SKILL.md übernahm er zwei CLI-Ungenauigkeiten gegenüber der echten litgpt-v0.5.13-CLI — er verwendete ein nicht existierendes `merge_lora --out_dir`-Flag und das veraltete `--train.learning_rate` (die echte CLI nutzt In-Place-Merge und `--optimizer.lr`), beides hat der No-Skill-Baseline-Arm richtig gemacht, sodass der Skill ein weniger korrektes Ergebnis lieferte als das allgemeine Basiswissen. Der vollständige Workflow benötigt eine GPU sowie gated Multi-GB-Modell-Downloads (HF-Token/Lizenz); hier wurde nur das prüfbare Code-/Konfigurationsartefakt getestet.
Getestet am: 2026-07-12 · Claude Code 2.x (agent harness)
Installation
git clone https://github.com/Orchestra-Research/AI-Research-SKILLs cd AI-Research-SKILLs mkdir -p ~/.claude/skills cp -r 01-model-architecture/litgpt ~/.claude/skills/implementing-llms-litgpt
Befehle & Beispiel-Prompts
/implementing-llms-litgptImplementiert und fine-tuned LLMs mit LitGPTs klaren Single-File-Architekturen.
Skills reagieren auf normale Anfragen — keine Slash-Befehle nötig. Nach der Installation aktivieren Prompts wie diese den Skill (auf Englisch):
Fine-tune Llama with LoRA using LitGPTImplement a Qwen model with LitGPT for studySet up QLoRA fine-tuning with LitGPT