AI Dataset Generator

SQLite-basert pipeline som genererer, verifiserer, deduperer og eksporterer SFT/DPO treningsdatasett.

av Bhanunamikaze · Bhanunamikaze/AI-Dataset-Generator

Bestått ★ 8.8/10

AI Dataset Generator — SQLite-basert pipeline som genererer, verifiserer, deduperer og eksporterer SFT/DPO treningsdatasett.

Hva den gjør

Kjører en deterministisk lokal pipeline (generer, heuristisk + adversariell LLM-dommer verifiser, shingle dedup, skjema-drevet eksport med et datakort) for å bygge SFT- eller DPO-finjusteringsdatasett fra emner, URL-er eller eksisterende JSONL/CSV-filer. Utløses på forespørsler om å generere, rense, verifisere eller eksportere treningsdatasett for Codex, Antigravity eller Claude Code.

Testrapport

Kjørte den ekte SQLite-pipelinen ende-til-ende (importer 5 utkastede Python-forståelses SFT-poster, adversariell LLM-dommergjennomgang, dedup, eksport) og den produserte en fungerende flat_train.jsonl pluss et genuint nyttig DATA_CARD.md med dommerscore og vanskelighetsfordelinger - men den eksakte to-trinns verifiseringskommando-sekvensen trykt i SKILL.mds egen nummererte arbeidsflyt behandler stille 0 poster andre gang fordi trinn 6 allerede flyttet poster ut av den rå_genererte statusen som trinn 7 filtrerer på.

Testet på: 2026-07-15 · Claude Code 2.x (agent harness)

Installer

git clone https://github.com/Bhanunamikaze/AI-Dataset-Generator
cd AI-Dataset-Generator
mkdir -p ~/.claude/skills
cp -r . ~/.claude/skills/dataset-generator

Kommandoer og eksempelprompter

/dataset-generatorSQLite-basert pipeline som genererer, verifiserer, deduperer og eksporterer SFT/DPO treningsdatasett.

Skills utløses av vanlige forespørsler — ingen kommandoer å huske. Etter installasjonen aktiverer prompter som disse skillen (på engelsk):

Generate a small SFT training dataset of Python Q&A pairs for fine-tuning
Dedupe and verify this JSONL dataset before I export it for DPO training
Build a fine-tuning dataset from these URLs with an adversarial judge pass

Full rapport →