Airflow and Workflow Orchestration

Vynucuje volbu modelu, idempotentní opakování a publikační bránu před kódem DAG

od vaquarkhan · vaquarkhan/data-engineering-agent-skills

Otestováno · Funguje ★ 8.4/10

Airflow and Workflow Orchestration — Vynucuje volbu modelu, idempotentní opakování a publikační bránu před kódem DAG

Co umí

Kontrolní seznam návrhu pro orchestraci datových pipeline napříč Airflow, MWAA, Cloud Composer, Step Functions, Azure Data Factory and Databricks Workflows. Nutí vás opravit workflow contract, orchestration model, retry idempotency, backfill path and publish gate before writing DAG code, and triggers on questions about dependencies, sensors, retries, SLAs, backfills, or which orchestrator to use.

Testovací report

Dvakrát jsem navrhl stejnou 40-tenant S3-to-Redshift pipeline. The cold answer reached for a stock MWAA DAG: forty S3 sensors, a Python loop building forty TaskGroups, dbt in a BashOperator, retries=3 on every task, and catchup=True for the 90-day backfill. Šest kroků dovednosti pět z nich zvrátilo – it routed the workload to metadata-driven fan-out off a control table instead of copy-pasted TaskGroups, replaced the sensor fleet with an event trigger, caught that retrying a partial Redshift COPY duplicates rows, split the backfill onto its own throttled entry point with reconciliation, and reordered the run so the load lands in staging and only promotes after the quality gate. Its 'Common Rationalizations' table names the two traps the cold answer walked into verbatim. Jeden zádrhel: SKILL.md points at references/pipeline-orchestration-patterns.md, which lives at the repo root, not beside the skill, so a plain copy of the skill folder silently loses it.

Testováno: 2026-07-30 · Claude Code 2.x (agent harness)

Instalace

git clone --depth 1 https://github.com/vaquarkhan/data-engineering-agent-skills.git
mkdir -p ~/.claude/skills/airflow-and-workflow-orchestration/references
cd data-engineering-agent-skills && cp skills/airflow-and-workflow-orchestration/SKILL.md ~/.claude/skills/airflow-and-workflow-orchestration/ && cp references/pipeline-orchestration-patterns.md ~/.claude/skills/airflow-and-workflow-orchestration/references/

Příkazy a ukázkové prompty

/airflow-and-workflow-orchestrationVynucuje volbu modelu, idempotentní opakování a publikační bránu před kódem DAG

Skilly se spouštějí běžnými požadavky — žádné příkazy k zapamatování. Po instalaci ho aktivují prompty jako tyto (anglicky):

Should I use Step Functions or MWAA for this 40-tenant ingestion pipeline?
Add retries and a backfill path to my Airflow DAG without duplicating rows
Design the dependency graph for our ingestion-to-publish data pipeline

Kompletní testovací report (anglicky) →