Walk-Forward Leakage Auditor
Audytuje backtesty szeregów czasowych pod kątem wycieków, zanim zaufasz Sharpe'owi
Testowano · Działa
Co robi ten skill
Ustrukturyzowana lista kontrolna audytu dla ewaluacji uczenia maszynowego opartych na czasie: walk-forward backtesty, rolling retraining, forecasting pipelines i wszelkie chronologiczne podziały train/test. Sprawia, że agent określa prediction-time contract, śledzi dane od raw inputs przez features, labels, splits i fitted transforms, a następnie pracuje z nazwanymi red-flag lists dla split logic, feature timing, transform scope, label construction, simulation realism i experiment comparability. Uruchamia się, gdy poprosisz o przegląd lub zmianę kodu backtestu, rolling-CV lub prognozowania.
Raport z testu
Przeprowadzono audyt jeden na jeden na 140-liniowym walk-forward equity backtest, zbudowanym na seeded random walk, więc uczciwa odpowiedź była znana z góry: w danych nie ma sygnału. Unaudited script reported out-of-sample AUC 0.636 i Sharpe 2.00 i concluded ship it; a normal no-checklist review caught the forward-return column in the feature matrix, the full-sample z-score i the scaler fitted before the split, which brought it to AUC 0.531 i Sharpe 1.05 — still a ship decision. Working the SKILL.md checklist section by section additionally caught the missing five-day embargo between train and test, a merge_asof with direction=forward on a macro series published three weeks after its period end, an entry threshold tuned on the test Sharpe, i a benchmark computed over a different date range and capital base; after those fixes AUC fell to 0.511 i the strategy lost to buy-and-hold on the matched window, flipping the go/no-go conclusion. A failable guard written per the skill's step 4 fails on both the original and the baseline-fixed file and passes only on the fully audited one. The repo's own worked examples reproduce exactly — 428.6 vs 873.7 MAE, matching the numbers printed in EXAMPLE.md.
Testowano: 2026-07-30 · Claude Code 2.x (agent harness)
Instalacja
git clone https://github.com/mospira/walkforward-audit.git mkdir -p ~/.claude/skills/walk-forward-leakage-auditor cd walkforward-audit && cp SKILL.md ~/.claude/skills/walk-forward-leakage-auditor/SKILL.md
Komendy i przykładowe prompty
/walk-forward-leakage-auditorAudytuje backtesty szeregów czasowych pod kątem wycieków, zanim zaufasz Sharpe'owi
Skille uruchamiają się na zwykłe polecenia — bez komend do zapamiętania. Po instalacji aktywują go prompty takie jak te (po angielsku):
Review my walk-forward backtest before I trust this Sharpe ratioMy forecasting model scores 0.95 AUC in backtest but fails live, what's wrongI'm adding rolling retraining to this pipeline, check the split logic