Walk-Forward Leakage Auditor
Reviderer tidsserie-backtester for lekkasje før du stoler på Sharpe
Bestått
Hva den gjør
En strukturert revisjonssjekkliste for tidsbaserte maskinlæringsevalueringer: walk-forward backtester, rullende omskolering, prognose-pipelines og enhver kronologisk trenings-/testdeling. Den får agenten til å angi prediksjonstids-kontrakten, spore data fra råinndata gjennom funksjoner, etiketter, delinger og tilpassede transformasjoner, deretter arbeide med navngitte røde-flagg-lister for delingslogikk, funksjonstiming, transformasjonsomfang, etikettkonstruksjon, simuleringsrealisme og eksperimentkomparabilitet. Utløses når du ber om å gjennomgå eller endre backtest, rullende-CV eller prognosekode.
Testrapport
Kjørte revisjonen direkte på en 140-linjers walk-forward aksje-backtest bygget på en seedet tilfeldig vandring, så det ærlige svaret var kjent på forhånd: det er ingen signal i dataene. Det ureviderte skriptet rapporterte out-of-sample AUC 0.636 og Sharpe 2.00 og konkluderte med å sende det; en normal gjennomgang uten sjekkliste fanget opp forward-return-kolonnen i funksjonsmatrisen, full-sample z-score og skaleringen tilpasset før delingen, noe som brakte den til AUC 0.531 og Sharpe 1.05 — fortsatt en sendebeslutning. Å arbeide gjennom SKILL.md-sjekklisten seksjon for seksjon fanget i tillegg opp den manglende fem-dagers embargoen mellom trening og test, en `merge_asof` med `direction=forward` på en makroserie publisert tre uker etter periodens slutt, en inngangsterskel justert på test-Sharpe, og en benchmark beregnet over et annet datoområde og kapitalbase; etter disse fikseringene falt AUC til 0.511 og strategien tapte mot kjøp-og-hold på det matchede vinduet, noe som snudde go/no-go-konklusjonen. En feilbar vakt skrevet per ferdighetens trinn 4 feiler på både den originale og den grunnlinje-fikset filen og passerer kun på den fullt reviderte. Repoets egne eksempler reproduseres nøyaktig – 428.6 vs 873.7 MAE, som samsvarer med tallene skrevet i EXAMPLE.md.
Testet på: 2026-07-30 · Claude Code 2.x (agent harness)
Installer
git clone https://github.com/mospira/walkforward-audit.git mkdir -p ~/.claude/skills/walk-forward-leakage-auditor cd walkforward-audit && cp SKILL.md ~/.claude/skills/walk-forward-leakage-auditor/SKILL.md
Kommandoer og eksempelprompter
/walk-forward-leakage-auditorReviderer tidsserie-backtester for lekkasje før du stoler på Sharpe
Skills utløses av vanlige forespørsler — ingen kommandoer å huske. Etter installasjonen aktiverer prompter som disse skillen (på engelsk):
Review my walk-forward backtest before I trust this Sharpe ratioMy forecasting model scores 0.95 AUC in backtest but fails live, what's wrongI'm adding rolling retraining to this pipeline, check the split logic