Walk-Forward Leakage Auditor
Audite les backtests de séries temporelles pour les fuites avant de faire confiance au Sharpe
Testé · Fonctionne
Ce que fait
Une liste de contrôle d'audit structurée pour les évaluations d'apprentissage automatique basées sur le temps : backtests walk-forward, réentraînement glissant, pipelines de prévision et toute division chronologique train/test. Elle fait en sorte que l'agent énonce le contrat de temps de prédiction, trace les données des entrées brutes à travers les caractéristiques, les étiquettes, les divisions et les transformations ajustées, puis travaille des listes de drapeaux rouges nommées pour la logique de division, le timing des caractéristiques, la portée de la transformation, la construction des étiquettes, le réalisme de la simulation et la comparabilité des expériences. Se déclenche lorsque vous demandez de réviser ou de modifier le code de backtest, de CV glissant ou de prévision.
Rapport de test
A exécuté l'audit en tête-à-tête sur un backtest d'actions walk-forward de 140 lignes construit sur une marche aléatoire ensemencée, de sorte que la réponse honnête était connue à l'avance : il n'y a pas de signal dans les données. Le script non audité a rapporté un AUC hors échantillon de 0,636 et un Sharpe de 2,00 et a conclu de le livrer ; une revue normale sans liste de contrôle a détecté la colonne de rendement futur dans la matrice des caractéristiques, le z-score de l'échantillon complet et le scaler ajusté avant la division, ce qui l'a ramené à un AUC de 0,531 et un Sharpe de 1,05 — toujours une décision de livraison. L'examen section par section de la liste de contrôle SKILL.md a en outre détecté l'embargo manquant de cinq jours entre l'entraînement et le test, un merge_asof avec direction=forward sur une série macro publiée trois semaines après la fin de sa période, un seuil d'entrée ajusté sur le Sharpe du test, et un benchmark calculé sur une plage de dates et une base de capital différentes ; après ces corrections, l'AUC est tombé à 0,511 et la stratégie a perdu face au buy-and-hold sur la fenêtre correspondante, inversant la conclusion go/no-go. Une garde faillible écrite selon l'étape 4 de la compétence échoue sur le fichier original et le fichier corrigé de base et ne passe que sur celui entièrement audité. Les exemples travaillés du dépôt se reproduisent exactement — 428,6 vs 873,7 MAE, correspondant aux chiffres imprimés dans EXAMPLE.md.
Testé le: 2026-07-30 · Claude Code 2.x (agent harness)
Installation
git clone https://github.com/mospira/walkforward-audit.git mkdir -p ~/.claude/skills/walk-forward-leakage-auditor cd walkforward-audit && cp SKILL.md ~/.claude/skills/walk-forward-leakage-auditor/SKILL.md
Commandes et exemples de prompts
/walk-forward-leakage-auditorAudite les backtests de séries temporelles pour les fuites avant de faire confiance au Sharpe
Les skills se déclenchent sur des demandes en langage courant — aucune commande à retenir. Après installation, des prompts comme ceux-ci l'activent (en anglais) :
Review my walk-forward backtest before I trust this Sharpe ratioMy forecasting model scores 0.95 AUC in backtest but fails live, what's wrongI'm adding rolling retraining to this pipeline, check the split logic