Airflow and Workflow Orchestration
Force le choix du modèle, les tentatives idempotentes et une porte de publication avant le code DAG
Testé · Fonctionne
Ce que fait
Une liste de contrôle de conception pour l'orchestration de pipelines de données à travers Airflow, MWAA, Cloud Composer, Step Functions, Azure Data Factory et Databricks Workflows. Elle vous oblige à fixer le contrat de workflow, le modèle d'orchestration, l'idempotence des tentatives, le chemin de backfill et la porte de publication avant d'écrire le code DAG, et se déclenche sur des questions concernant les dépendances, les capteurs, les tentatives, les SLA, les backfills, ou quel orchestrateur utiliser.
Rapport de test
A conçu le même pipeline S3-vers-Redshift à 40 locataires deux fois. La réponse à froid a opté pour un DAG MWAA standard : quarante capteurs S3, une boucle Python construisant quarante TaskGroups, dbt dans un BashOperator, retries=3 sur chaque tâche, et catchup=True pour le backfill de 90 jours. Les six étapes de la compétence ont renversé cinq de ces choix - elle a acheminé la charge de travail vers une distribution pilotée par les métadonnées à partir d'une table de contrôle au lieu de TaskGroups copiés-collés, a remplacé la flotte de capteurs par un déclencheur d'événement, a détecté que la répétition d'un COPY Redshift partiel duplique les lignes, a divisé le backfill sur son propre point d'entrée limité avec réconciliation, et a réordonné l'exécution de sorte que la charge atterrisse en staging et ne soit promue qu'après la porte de qualité. Sa table 'Common Rationalizations' nomme textuellement les deux pièges dans lesquels la réponse à froid est tombée. Un accroc : SKILL.md pointe vers references/pipeline-orchestration-patterns.md, qui se trouve à la racine du dépôt, et non à côté de la compétence, donc une simple copie du dossier de la compétence le perd silencieusement.
Testé le: 2026-07-30 · Claude Code 2.x (agent harness)
Installation
git clone --depth 1 https://github.com/vaquarkhan/data-engineering-agent-skills.git mkdir -p ~/.claude/skills/airflow-and-workflow-orchestration/references cd data-engineering-agent-skills && cp skills/airflow-and-workflow-orchestration/SKILL.md ~/.claude/skills/airflow-and-workflow-orchestration/ && cp references/pipeline-orchestration-patterns.md ~/.claude/skills/airflow-and-workflow-orchestration/references/
Commandes et exemples de prompts
/airflow-and-workflow-orchestrationForce le choix du modèle, les tentatives idempotentes et une porte de publication avant le code DAG
Les skills se déclenchent sur des demandes en langage courant — aucune commande à retenir. Après installation, des prompts comme ceux-ci l'activent (en anglais) :
Should I use Step Functions or MWAA for this 40-tenant ingestion pipeline?Add retries and a backfill path to my Airflow DAG without duplicating rowsDesign the dependency graph for our ingestion-to-publish data pipeline