Airflow and Workflow Orchestration

Fuerza la elección del modelo, reintentos idempotentes y una puerta de publicación antes del código DAG

Por vaquarkhan · vaquarkhan/data-engineering-agent-skills

Probado · Funciona ★ 8.4/10

Airflow and Workflow Orchestration — Fuerza la elección del modelo, reintentos idempotentes y una puerta de publicación antes del código DAG

Qué hace

Una lista de verificación de diseño para la orquestación de pipelines de datos en Airflow, MWAA, Cloud Composer, Step Functions, Azure Data Factory y Databricks Workflows. Le obliga a fijar el contrato del flujo de trabajo, el modelo de orquestación, la idempotencia de reintentos, la ruta de backfill y la puerta de publicación antes de escribir código DAG, y se activa en preguntas sobre dependencias, sensores, reintentos, SLAs, backfills o qué orquestador usar.

Informe de la prueba

Se diseñó la same 40-tenant S3-to-Redshift pipeline twice. La cold answer reached for a stock MWAA DAG: forty S3 sensors, a Python loop building forty TaskGroups, dbt in a BashOperator, retries=3 on every task, and catchup=True for the 90-day backfill. La skill's six steps overturned five of those - it routed the workload to metadata-driven fan-out off a control table instead of copy-pasted TaskGroups, replaced the sensor fleet with an event trigger, caught that retrying a partial Redshift COPY duplicates rows, split the backfill onto its own throttled entry point with reconciliation, and reordered the run so the load lands in staging and only promotes after the quality gate. Su 'Common Rationalizations' table names the two traps the cold answer walked into verbatim. One snag: SKILL.md points at references/pipeline-orchestration-patterns.md, which lives at the repo root, not beside the skill, so a plain copy of the skill folder silently loses it.

Probado el: 2026-07-30 · Claude Code 2.x (agent harness)

Instalación

git clone --depth 1 https://github.com/vaquarkhan/data-engineering-agent-skills.git
mkdir -p ~/.claude/skills/airflow-and-workflow-orchestration/references
cd data-engineering-agent-skills && cp skills/airflow-and-workflow-orchestration/SKILL.md ~/.claude/skills/airflow-and-workflow-orchestration/ && cp references/pipeline-orchestration-patterns.md ~/.claude/skills/airflow-and-workflow-orchestration/references/

Comandos y prompts de ejemplo

/airflow-and-workflow-orchestrationFuerza la elección del modelo, reintentos idempotentes y una puerta de publicación antes del código DAG

Los skills se activan con peticiones en lenguaje natural, sin comandos que memorizar. Tras instalarlo, prompts como estos lo activan (en inglés):

Should I use Step Functions or MWAA for this 40-tenant ingestion pipeline?
Add retries and a backfill path to my Airflow DAG without duplicating rows
Design the dependency graph for our ingestion-to-publish data pipeline

Informe completo →