Zapier Onboard

Informe de la prueba

Se localizó SKILL.md en plugins/zapier/skills/zapier-onboard/SKILL.md (árbol de la API de gh; curl raw 200); el frontmatter se analizó con yaml.safe_load produciendo exactamente nombre+descripción, sin scripts ni activos en ninguno de los cuatro directorios de habilidades y sin patrones curl|sh / base64 / exfil en plugins/ o zapier-power/. Se verificaron las tres habilidades hermanas a las que el cuerpo hace referencia (zapier-demo, zapier-explore, zapier-status SKILL.md) más .mcp.json y .claude-plugin/plugin.json — todas HTTP 200 — y se ejecutó el bloque de instalación dos veces bajo un HOME temporal ($(mktemp -d)), colocando SKILL.md en ~/.claude/skills/zapier-onboard/SKILL.md. Frases de activación juzgadas: DEBERÍA activarse — "What is Zapier MCP and how do I get started?", "My Zapier connection broke, I get a 401 when it tries to send a Slack message", "Set me up with Zapier so I can reach Gmail from here" (las 3 correctas, la descripción las nombra textualmente); NO DEBERÍA activarse — "Write a Zap trigger for my custom app with the Zapier CLI platform" (plataforma de desarrollador, no onboarding de MCP) y "I already have Slack and Gmail Zapier tools working, add more for my sales workflow" (esa es la habilidad hermana zapier-explore) — no cargaría ninguna de las dos, así que 5/5, aunque la segunda negativa está genuinamente cerca de la rama Healthy de esta habilidad. SALIDA: No pude ejecutar el Paso 1 o el Paso 2 — no existen herramientas mcp__zapier* en mi sesión, por lo que "check if any Zapier MCP tools are available" y "call mcp_auth" no son ejecutables, y los pasos Healthy / Auth-broken / verify son inalcanzables sin un servidor autenticado en vivo y una cuenta de Zapier. Escribí dos artefactos para la única rama que es ejecutable sin conexión (/private/tmp/.../scratchpad/zo_baseline.md vs zo_skill.md, "PM, connected, zero actions configured, what do I add?"): la línea base dio 4 aplicaciones difusas ("Jira or Linear", "Notion or Confluence") y cero nombres de acción de Zapier, mientras que la ejecución de la habilidad fijó el kit PM exacto de 5 aplicaciones y nombró las etiquetas literales del panel de control — "Find Issues via JQL", "Create Detailed Event", "Find Database Item" — además del traspaso a /zapier-demo. Esa diferencia es real pero estrecha, y el "1-2 searches AND 1-2 writes per app" de la habilidad es posiblemente peor que el consejo de solo lectura primero de mi línea base, por lo que la salida se mantiene en 5 y outputMeasured es falso ya que el trabajo real de la habilidad (diagnosticar + autenticar) nunca se ejecutó.

Probado el: 2026-07-21 · Claude Code 2.x (agent harness)