Aaai Artifact Evaluation

Pakk AAAI kode/data-artefakter for anmeldere uten å bryte dobbeltblind-regler

av brycewang-stanford · brycewang-stanford/Awesome-Journal-Skills

Krever oppsett ★ 8.0/10

Aaai Artifact Evaluation — Pakk AAAI kode/data-artefakter for anmeldere uten å bryte dobbeltblind-regler

Hva den gjør

En veilednings-ferdighet for å samle AAAI reproduserbarhets-artefakter: tekniske appendikser, kode/data ZIP-filer, og utgivelser etter aksept. Utløses ved pakking av AAAI tilleggsmateriale, fjerning av anonymitetslekkasjer (git-historikk, stier, API-nøkler), eller planlegging av en reproduksjonssti under anmeldelse. Gir en strukturert artefakt-statusrapport (status, innsendte filer, reproduksjonssti, anonymitetsrisikoer, manglende elementer).

Testrapport

Hentet SKILL.md rått fra repo-treet; frontmatter parser med navn+beskrivelse og brødteksten er selvstendig (ingen skript eller filreferanser som kan brytes). Utløser test: 3 pakke-/appendiks-/etter-aksept-fraser lastet den, 2 nærliggende AAAI-oppgaver (rebuttal drafting, related-work) korrekt ikke — 5/5. For utdata ga jeg både en baseline og en ferdighets-følgende svar på "package my AAAI-26 SAT-solver 25% speedup artifact": baselinens første råd var "put code in a public GitHub repo and link it in the paper," som er nøyaktig den muterbare de-anonymiserende pekeren som ferdigheten flagger som en Fase-1 summary-reject risiko; ferdighetsversjonen forbyr i stedet den URL-en, krever fjerning av .git-historikk/hjemme-stier/API-nøkler, behandler supplementet som uforanderlig, og gir ut den strukturerte statusblokken. Begge artefakter skrevet til scratchpad.

Testet på: 2026-07-21 · Claude Code 2.x (agent harness)

Installer

git clone --depth 1 https://github.com/brycewang-stanford/Awesome-Journal-Skills.git /tmp/aaai-artifact-evaluation-src
mkdir -p ~/.claude/skills
cp -R /tmp/aaai-artifact-evaluation-src/AAAI-Skills/skills/aaai-artifact-evaluation ~/.claude/skills/aaai-artifact-evaluation
# Pure advisory skill: single SKILL.md, no scripts or external deps.
# Part of a 12-skill AAAI plugin; the whole pack lives under AAAI-Skills/skills/.
# Plugin-marketplace alt: AAAI-Skills/.claude-plugin/marketplace.json exists in the repo.

Kommandoer og eksempelprompter

/aaai-artifact-evaluationPakk AAAI kode/data-artefakter for anmeldere uten å bryte dobbeltblind-regler

Skills utløses av vanlige forespørsler — ingen kommandoer å huske. Etter installasjonen aktiverer prompter som disse skillen (på engelsk):

Package the code appendix for AAAI submission
Prepare a reproducibility artifact release for AAAI
Check this supplement doesn't violate double-blind rules

Full rapport →