Implementing LLMs: LitGPT

Implementuje i dostraja LLM-y dzięki czystym, jednoplikowym architekturom LitGPT.

Autor: Orchestra-Research · Orchestra-Research/AI-Research-SKILLs

Tested · Didn't pass

Implementing LLMs: LitGPT — Implementuje i dostraja LLM-y dzięki czystym, jednoplikowym architekturom LitGPT.

Co robi ten skill

Implementuje i trenuje LLM-y za pomocą LitGPT od Lightning AI, z ponad 20 wstępnie wytrenowanymi architekturami (Llama, Gemma, Phi, Qwen, Mistral). Używaj, gdy potrzebujesz czystych implementacji modeli, edukacyjnego zrozumienia architektur albo produkcyjnego dostrajania z LoRA/QLoRA. Implementacje jednoplikowe, bez warstw abstrakcji.

Raport z testu

Zainstalował się czysto (frontmatter się parsuje, wszystkie cztery pliki referencyjne są obecne) i trafnie wyzwala się przy promptach o dostrajaniu/architekturze LitGPT, choć jego workflow do pretreningu wielo-GPU pokrywa się z osobnym skillem torchtitan w repo. A/B na zadaniu LoRA fine-tune + merge + inference: flagi LoRA w skillu były poprawne, ale przez wierne trzymanie się SKILL.md odziedziczył dwie nieścisłości CLI względem prawdziwego litgpt v0.5.13 — wygenerował nieistniejącą flagę `merge_lora --out_dir` oraz przestarzały `--train.learning_rate` (prawdziwe CLI używa scalania w miejscu i `--optimizer.lr`), które w wariancie bez skilla były poprawne, więc skill dał mniej poprawny wynik niż ogólna wiedza bazowa. Pełny workflow wymaga GPU oraz pobrania modeli wielogigabajtowych spod bramki dostępu (token/licencja HF); tutaj przetestowano tylko sprawdzalny artefakt kodu/konfiguracji.

Testowano: 2026-07-12 · Claude Code 2.x (agent harness)

Instalacja

git clone https://github.com/Orchestra-Research/AI-Research-SKILLs
cd AI-Research-SKILLs
mkdir -p ~/.claude/skills
cp -r 01-model-architecture/litgpt ~/.claude/skills/implementing-llms-litgpt

Komendy i przykładowe prompty

  • /implementing-llms-litgptImplementuje i dostraja LLM-y dzięki czystym, jednoplikowym architekturom LitGPT.

Skille uruchamiają się na zwykłe polecenia — bez komend do zapamiętania. Po instalacji aktywują go prompty takie jak te (po angielsku):

  • Fine-tune Llama with LoRA using LitGPT
  • Implement a Qwen model with LitGPT for study
  • Set up QLoRA fine-tuning with LitGPT