AI Dataset Generator
Pipeline založená na SQLite, která generuje, ověřuje, deduplikuje a exportuje tréninkové datasety SFT/DPO.
Otestováno · Funguje
Co umí
Spouští deterministickou lokální pipeline (generování, heuristické + adversariální ověření pomocí LLM soudce, deduplikace shinglováním, export řízený schématem s datovou kartou) pro tvorbu SFT nebo DPO datasetů pro fine-tuning z témat, URL nebo existujících JSONL/CSV souborů. Spouští se na požadavky generování, čištění, ověřování nebo exportu tréninkových datasetů pro Codex, Antigravity nebo Claude Code.
Testovací report
Spustil jsem reálnou pipeline SQLite od začátku do konce (import 5 navržených SFT záznamů pro pochopení Pythonu, ověření adversariálním LLM soudcem, deduplikace, export) a vyprodukovala funkční flat_train.jsonl plus skutečně užitečný soubor DATA_CARD.md s rozdělením skóre soudce a obtížnosti — ale přesná dvoukroková sekvence příkazů pro ověření vytištěná v číslovaném pracovním postupu samotného SKILL.md tiše zpracuje 0 záznamů podruhé, protože krok 6 již přesunul záznamy ze stavu raw_generated, na který krok 7 filtruje.
Testováno: 2026-07-15 · Claude Code 2.x (agent harness)
Instalace
git clone https://github.com/Bhanunamikaze/AI-Dataset-Generator cd AI-Dataset-Generator mkdir -p ~/.claude/skills cp -r . ~/.claude/skills/dataset-generator
Příkazy a ukázkové prompty
/dataset-generatorPipeline založená na SQLite, která generuje, ověřuje, deduplikuje a exportuje tréninkové datasety SFT/DPO.
Skilly se spouštějí běžnými požadavky — žádné příkazy k zapamatování. Po instalaci ho aktivují prompty jako tyto (anglicky):
Generate a small SFT training dataset of Python Q&A pairs for fine-tuningDedupe and verify this JSONL dataset before I export it for DPO trainingBuild a fine-tuning dataset from these URLs with an adversarial judge pass