Airflow and Workflow Orchestration

Tvinger frem modellvalg, idempotente gjenforsøk og en publiseringsport før DAG-kode

av vaquarkhan · vaquarkhan/data-engineering-agent-skills

Bestått ★ 8.4/10

Airflow and Workflow Orchestration — Tvinger frem modellvalg, idempotente gjenforsøk og en publiseringsport før DAG-kode

Hva den gjør

En designsjekkliste for orkestrering av datapipeliner på tvers av Airflow, MWAA, Cloud Composer, Step Functions, Azure Data Factory og Databricks Workflows. Den får deg til å fikse arbeidsflytkontrakten, orkestreringsmodellen, gjenforsøksidempotensen, backfill-stien og publiseringsporten før du skriver DAG-kode, og utløses ved spørsmål om avhengigheter, sensorer, gjenforsøk, SLAer, backfills, eller hvilken orkestrator som skal brukes.

Testrapport

Designet den samme 40-leietaker S3-til-Redshift-pipelinen to ganger. Det uforberedte svaret brukte en standard MWAA DAG: førti S3-sensorer, en Python-løkke som bygger førti TaskGroups, dbt i en BashOperator, `retries=3` på hver oppgave, og `catchup=True` for 90-dagers backfill. Ferdighetens seks trinn omgjorde fem av disse – den ruter arbeidsbelastningen til metadata-drevet fan-out fra en kontrolltabell i stedet for kopierte TaskGroups, erstattet sensorflåten med en hendelsestrigger, fanget opp at gjenforsøk av en delvis Redshift COPY dupliserer rader, delte backfillen på sitt eget strupede inngangspunkt med avstemming, og omorganiserte kjøringen slik at lasten lander i staging og kun promoterer etter kvalitetsporten. Dens 'Common Rationalizations'-tabell navngir de to fellene det uforberedte svaret gikk i ordrett. Ett problem: SKILL.md peker på `references/pipeline-orchestration-patterns.md`, som ligger ved repo-roten, ikke ved siden av ferdigheten, så en enkel kopi av ferdighetsmappen mister den stille.

Testet på: 2026-07-30 · Claude Code 2.x (agent harness)

Installer

git clone --depth 1 https://github.com/vaquarkhan/data-engineering-agent-skills.git
mkdir -p ~/.claude/skills/airflow-and-workflow-orchestration/references
cd data-engineering-agent-skills && cp skills/airflow-and-workflow-orchestration/SKILL.md ~/.claude/skills/airflow-and-workflow-orchestration/ && cp references/pipeline-orchestration-patterns.md ~/.claude/skills/airflow-and-workflow-orchestration/references/

Kommandoer og eksempelprompter

/airflow-and-workflow-orchestrationTvinger frem modellvalg, idempotente gjenforsøk og en publiseringsport før DAG-kode

Skills utløses av vanlige forespørsler — ingen kommandoer å huske. Etter installasjonen aktiverer prompter som disse skillen (på engelsk):

Should I use Step Functions or MWAA for this 40-tenant ingestion pipeline?
Add retries and a backfill path to my Airflow DAG without duplicating rows
Design the dependency graph for our ingestion-to-publish data pipeline

Full rapport →