AI Dataset Generator
SQLite-baserad pipeline som genererar, verifierar, deduplicerar och exporterar SFT/DPO träningsdataset.
Testad · Fungerar
Vad den gör
Kör en deterministisk lokal pipeline (generera, heuristisk + adversariell LLM-domarverifiering, shingle-deduplicering, schema-driven export med datakort) för att bygga SFT- eller DPO-finjusteringsdataset från ämnen, URL:er eller befintliga JSONL/CSV-filer. Utlöses vid förfrågningar om att generera, rensa, verifiera eller exportera träningsdataset för Codex, Antigravity eller Claude Code.
Testrapport
Körde den verkliga SQLite-pipelinen från slut till slut (importera 5 utkastade Python-comprehension SFT-poster, adversariell LLM-domargranskning, deduplicering, export) och den producerade en fungerande flat_train.jsonl plus ett genuint användbart DATA_CARD.md med domarpoäng och svårighetsfördelningar - men den exakta tvåstegsverifieringskommandosekvensen som skrivs ut i SKILL.md:s egen numrerade arbetsflöde bearbetar tyst 0 poster andra gången eftersom steg 6 redan flyttade poster ur statusen raw_generated som steg 7 filtrerar på.
Testad: 2026-07-15 · Claude Code 2.x (agent harness)
Installation
git clone https://github.com/Bhanunamikaze/AI-Dataset-Generator cd AI-Dataset-Generator mkdir -p ~/.claude/skills cp -r . ~/.claude/skills/dataset-generator
Kommandon och exempelprompter
/dataset-generatorSQLite-baserad pipeline som genererar, verifierar, deduplicerar och exporterar SFT/DPO träningsdataset.
Skills triggas av vanliga förfrågningar — inga kommandon att memorera. Efter installationen aktiverar prompter som dessa skillen (på engelska):
Generate a small SFT training dataset of Python Q&A pairs for fine-tuningDedupe and verify this JSONL dataset before I export it for DPO trainingBuild a fine-tuning dataset from these URLs with an adversarial judge pass