AI Dataset Generator
SQLite-baseret pipeline der genererer, verificerer, deduplikerer og eksporterer SFT/DPO træningsdatasæt.
Testet · Virker
Hvad det gør
Kører en deterministisk lokal pipeline (generer, heuristisk + adversarisk LLM-dommer verificering, shingle deduplikering, skema-drevet eksport med et datakort) til at bygge SFT eller DPO finjusteringsdatasæt fra emner, URL'er eller eksisterende JSONL/CSV-filer. Triggere på anmodninger om at generere, rense, verificere eller eksportere træningsdatasæt til Codex, Antigravity eller Claude Code.
Testrapport
Kørte den rigtige SQLite pipeline ende-til-ende (import 5 udkastede Python-comprehension SFT-poster, adversarisk LLM-dommer gennemgang, deduplikering, eksport) og den producerede en fungerende flat_train.jsonl plus et ægte nyttigt DATA_CARD.md med dommer-score og sværhedsgradfordelinger - men den præcise to-trins verifikationskommando-sekvens trykt i SKILL.md's egen nummererede arbejdsgang behandler tavst 0 poster anden gang, fordi trin 6 allerede flyttede poster ud af den rå_genererede status, som trin 7 filtrerer på.
Testet: 2026-07-15 · Claude Code 2.x (agent harness)
Installation
git clone https://github.com/Bhanunamikaze/AI-Dataset-Generator cd AI-Dataset-Generator mkdir -p ~/.claude/skills cp -r . ~/.claude/skills/dataset-generator
Kommandoer og eksempelprompter
/dataset-generatorSQLite-baseret pipeline der genererer, verificerer, deduplikerer og eksporterer SFT/DPO træningsdatasæt.
Skills udløses af almindelige forespørgsler — ingen kommandoer at huske. Efter installationen aktiverer prompter som disse skillen (på engelsk):
Generate a small SFT training dataset of Python Q&A pairs for fine-tuningDedupe and verify this JSONL dataset before I export it for DPO trainingBuild a fine-tuning dataset from these URLs with an adversarial judge pass