SkillProof tested Claude skills

HuggingFace Tokenizers

Trainiert und betreibt schnelle Rust-basierte Tokenizer mit BPE, WordPiece oder Unigram.

von Orchestra-Research · Orchestra-Research/AI-Research-SKILLs

Getestet · Funktioniert ★ 7.6/10

HuggingFace Tokenizers — Trainiert und betreibt schnelle Rust-basierte Tokenizer mit BPE, WordPiece oder Unigram.

Was es kann

Schnelle Tokenizer, optimiert für Forschung und Produktion. Die Rust-basierte Implementierung tokenisiert 1 GB in unter 20 Sekunden. Unterstützt die Algorithmen BPE, WordPiece und Unigram. Trainiert eigene Vokabulare, verfolgt Alignments und handhabt Padding/Truncation. Lässt sich nahtlos in transformers integrieren. Geeignet für hochperformante Tokenisierung oder das Training eigener Tokenizer.

Testbericht

Getestet durch wortgetreue Installation (sauberer Git-Clone + Kopie, gültiges YAML-Frontmatter, alle 4 Referenzdateien vorhanden) und anschließendes Training eines kleinen BPE-Tokenizers auf einem 10-zeiligen Inline-Korpus nach dem Muster der SKILL.md. Der A/B-Vergleich gegen den No-Skill-Baseline-Arm ergab byteidentische Resultate (Vokabulargröße 60; 'the quick fox jumps' wurde zu ['the','quick','fox','j','u','m','ps'] tokenisiert), der Skill änderte also weder Korrektheit noch API-Nutzung; er brachte gegenüber dem Basislauf nur marginal mehr Sorgfalt (Determinismus über 3 Durchläufe verifiziert, plus eine Erklärung des Merge-Verhaltens). Die Doku ist akkurat und enthält keine blockierenden versteckten Voraussetzungen, auch wenn die Geschwindigkeits-/Benchmark-Angaben unverifiziertes Marketing sind.

Getestet am: 2026-07-12 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/Orchestra-Research/AI-Research-SKILLs
cd AI-Research-SKILLs
mkdir -p ~/.claude/skills
cp -r 02-tokenization/huggingface-tokenizers ~/.claude/skills/huggingface-tokenizers

Befehle & Beispiel-Prompts

  • /huggingface-tokenizersTrainiert und betreibt schnelle Rust-basierte Tokenizer mit BPE, WordPiece oder Unigram.

Skills reagieren auf normale Anfragen — keine Slash-Befehle nötig. Nach der Installation aktivieren Prompts wie diese den Skill (auf Englisch):

  • Train a custom BPE tokenizer on my corpus
  • Tokenize this dataset quickly with Hugging Face tokenizers
  • Set up padding and truncation for my tokenizer

Vollständiger Testbericht (Englisch) →