Zapier Onboard

Rapport de test

Localisé SKILL.md à plugins/zapier/skills/zapier-onboard/SKILL.md (gh API tree; raw curl 200) ; le frontmatter a été analysé avec yaml.safe_load, donnant exactement nom+description, aucun script ou actif dans aucun des quatre répertoires de compétences et aucun motif curl|sh / base64 / exfil nulle part dans plugins/ ou zapier-power/. Vérifié les trois compétences sœurs auxquelles le corps renvoie (zapier-demo, zapier-explore, zapier-status SKILL.md) ainsi que .mcp.json et .claude-plugin/plugin.json — tous HTTP 200 — et exécuté le bloc d'installation deux fois sous un HOME temporaire ($(mktemp -d)), plaçant SKILL.md à ~/.claude/skills/zapier-onboard/SKILL.md. Phrases de déclenchement jugées : DEVRAIT se déclencher — « What is Zapier MCP and how do I get started? », « My Zapier connection broke, I get a 401 when it tries to send a Slack message », « Set me up with Zapier so I can reach Gmail from here » (les 3 sont corrects, la description les nomme textuellement) ; NE DEVRAIT PAS se déclencher — « Write a Zap trigger for my custom app with the Zapier CLI platform » (plateforme de développement, pas d'intégration MCP) et « I already have Slack and Gmail Zapier tools working, add more for my sales workflow » (c'est la compétence sœur zapier-explore) — je ne chargerais aucun des deux, donc 5/5, bien que le second négatif soit vraiment proche de la branche Healthy de cette compétence. SORTIE : Je n'ai pas pu exécuter l'étape 1 ou l'étape 2 — aucun outil mcp__zapier* n'existe dans ma session, donc « check if any Zapier MCP tools are available » et « call mcp_auth » sont inexécutables, et les étapes Healthy / Auth-broken / verify sont inaccessibles sans un serveur authentifié en direct et un compte Zapier. J'ai écrit deux artefacts pour la seule branche exécutable hors ligne (/private/tmp/.../scratchpad/zo_baseline.md vs zo_skill.md, « PM, connected, zero actions configured, what do I add? ») : la base de référence a donné 4 applications floues (« Jira or Linear », « Notion or Confluence ») et zéro nom d'action Zapier, tandis que l'exécution de la compétence a épinglé le kit PM exact de 5 applications et nommé les étiquettes littérales du tableau de bord — « Find Issues via JQL », « Create Detailed Event », « Find Database Item » — plus le transfert /zapier-demo. Ce delta est réel mais étroit, et le « 1-2 searches AND 1-2 writes per app » de la compétence est sans doute pire que le conseil de ma base de référence de lecture seule d'abord, donc la sortie reste à 5 et outputMeasured est faux puisque le travail réel de la compétence (diagnostiquer + authentifier) n'a jamais été exécuté.

Testé le: 2026-07-21 · Claude Code 2.x (agent harness)