Airflow and Workflow Orchestration

Dwingt modelkeuze, idempotente retries en een publish gate af vóór DAG-code

Door vaquarkhan · vaquarkhan/data-engineering-agent-skills

Getest · Werkt ★ 8.4/10

Airflow and Workflow Orchestration — Dwingt modelkeuze, idempotente retries en een publish gate af vóór DAG-code

Wat het doet

Een ontwerpchecklist voor data pipeline-orkestratie over Airflow, MWAA, Cloud Composer, Step Functions, Azure Data Factory en Databricks Workflows. Het dwingt u om het workflowcontract, orchestratiemodel, retry-idempotentie, backfill-pad en publish gate vast te leggen voordat u DAG-code schrijft, en activeert bij vragen over afhankelijkheden, sensoren, retries, SLA's, backfills, of welke orchestrator te gebruiken.

Testrapport

Ontwierp tweemaal dezelfde 40-tenant S3-naar-Redshift pijplijn. Het 'koude' antwoord greep naar een standaard MWAA DAG: veertig S3-sensoren, een Python-lus die veertig TaskGroups bouwde, dbt in een BashOperator, retries=3 op elke taak, en catchup=True voor de 90-dagen backfill. De zes stappen van de skill verwierpen vijf daarvan - het leidde de workload naar metadata-gestuurde fan-out vanuit een controletabel in plaats van gekopieerde TaskGroups, verving de sensorvloot door een event-trigger, merkte op dat het opnieuw proberen van een gedeeltelijke Redshift COPY rijen dupliceert, splitste de backfill naar zijn eigen 'throttled' toegangspunt met reconciliatie, en herordende de run zodat de lading in staging terechtkomt en pas na de kwaliteitsgate wordt gepromoot. De 'Common Rationalizations'-tabel benoemt de twee valkuilen waar het 'koude' antwoord woordelijk in liep. Eén probleem: SKILL.md wijst naar references/pipeline-orchestration-patterns.md, dat zich in de repo-root bevindt, niet naast de skill, dus een simpele kopie van de skill-map verliest het stilzwijgend.

Getest op: 2026-07-30 · Claude Code 2.x (agent harness)

Installatie

git clone --depth 1 https://github.com/vaquarkhan/data-engineering-agent-skills.git
mkdir -p ~/.claude/skills/airflow-and-workflow-orchestration/references
cd data-engineering-agent-skills && cp skills/airflow-and-workflow-orchestration/SKILL.md ~/.claude/skills/airflow-and-workflow-orchestration/ && cp references/pipeline-orchestration-patterns.md ~/.claude/skills/airflow-and-workflow-orchestration/references/

Commando's en voorbeeldprompts

/airflow-and-workflow-orchestrationDwingt modelkeuze, idempotente retries en een publish gate af vóór DAG-code

Skills reageren op gewone verzoeken — geen commando's om te onthouden. Na installatie activeren prompts zoals deze de skill (in het Engels):

Should I use Step Functions or MWAA for this 40-tenant ingestion pipeline?
Add retries and a backfill path to my Airflow DAG without duplicating rows
Design the dependency graph for our ingestion-to-publish data pipeline

Volledig rapport (Engels) →