Skills de Claude Code para Pruebas y QA: Verificación con 118 ejecuciones reales

Cada skill de Claude Code promete hacerte más productivo. En el mundo de las pruebas y el aseguramiento de la calidad, esa promesa a menudo se traduce en generar suites de pruebas, auditar la calidad o automatizar verificaciones tediosas. El problema es que la mayoría de los directorios de skills son solo listas de nombres y promesas. No te dicen si una skill realmente funciona.

Nosotros sí. En SkillProof, instalamos y ejecutamos de forma independiente cada skill en una tarea real antes de que sea listada. Luego publicamos un veredicto y una puntuación detallada. Nuestro proceso está diseñado para encontrar lo que funciona, lo que necesita corrección y lo que está fundamentalmente roto. De las 2172 skills que hemos probado en todas las categorías, solo 1338 (62%) pasan limpiamente. Otras 725 funcionan, pero requieren configuración manual. Y 109 skills fallaron rotundamente: o no pudieron ejecutarse como se documentaba, o se ejecutaron y te dejaron en peor situación que Claude sin ninguna skill instalada. Publicamos esos fracasos porque son tan importantes como los éxitos.

Este artículo aplica esa misma metodología rigurosa y sin exageraciones a la categoría de Pruebas y QA. Analizaremos las mejores skills de Claude Code para pruebas, mostrando exactamente dónde y cómo superan al modelo base. También examinaremos skills que son prometedoras pero tienen fallos, y algunas que fallaron completamente nuestras pruebas. Esto no es una clasificación teórica; es un informe de campo.

La categoría de Pruebas y QA en cifras

La categoría de Pruebas y QA en SkillProof lista actualmente 143 skills. De esas, 25 todavía están en nuestra cola de pruebas. Hemos completado las ejecuciones para 118 de ellas. Aquí está el desglose de los veredictos:

Veredicto	Cantidad	Porcentaje	Descripción
Pasa	65	55%	Se instala y ejecuta como se anuncia, superando al modelo base.
Funciona con configuración	46	39%	Aporta valor, pero requiere trabajo manual o tiene advertencias conocidas.
Falla	7	6%	No se pudo ejecutar, o su resultado fue peor que el del modelo base.

Es crucial entender cómo llegamos a estos veredictos y sus puntuaciones correspondientes. Cada skill se califica según cuatro criterios: instalación limpia (/5), activación fiable (/5), calidad del resultado frente al modelo base (/10) y la calidad de su documentación (/5). Esta puntuación bruta se normaliza luego a una puntuación final de /10.

El veredicto es un juicio separado, no un umbral de puntuación. Una skill 'pasa' si produce mejores resultados que Claude sin skills en una tarea relevante de forma nativa. Obtiene 'Funciona con configuración' si solo entrega resultados después de configurar, usar una skill complementaria o una integración conectada. 'Falla' si es inerte, está rota o es activamente perjudicial. Es por eso que los dos ejes se separan: 371 skills con un veredicto de 'Funciona con configuración' todavía obtienen una puntuación de 8.0 o superior, y la skill con la puntuación más baja que 'pasa' en nuestro catálogo se sitúa en 7.2. A las skills que fallan se les retiene la puntuación por completo; una instalación limpia no redime a una skill que informa de una caída del servidor como un éxito. Puedes leer todos los detalles sobre nuestro proceso en nuestra metodología.

Las de mejor rendimiento: Skills que superan al modelo base

Estas skills obtuvieron un veredicto de 'Pasa' al ofrecer mejoras tangibles sobre el modelo base. No solo generan código; generan el código correcto, demostrando una comprensión del contexto del proyecto, los frameworks y las mejores prácticas. Lo que las separa del resto es su capacidad para leer el código base existente y producir pruebas idiomáticas y mantenibles.

Skills de automatización de pruebas de Web y UI

Para tareas que involucran automatización de navegadores, las mejores skills reemplazan selectores y esperas frágiles y codificadas de forma rígida con alternativas modernas y resilientes.

Playwright Automation Expert (9.6/10) Cuando se le pidió escribir una prueba de inicio de sesión, el modelo base produjo un script con selectores #id y .class frágiles y llamadas a waitForTimeout fijas. La versión guiada por la skill fue una mejora significativa. Usó localizadores basados en roles y una aserción toHaveURL con espera automática, que son mucho más resilientes a los cambios en el marcado. Ambos cambios son elementos explícitos de DEBE/NO DEBE HACER en el propio cuerpo de la skill, por lo que estaba siguiendo sus propias reglas en lugar de tener suerte. Además, su script de andamiaje incluido creó correctamente la estructura de directorios tests/, pages/ y fixtures/ que prometía, configurando un nuevo proyecto con una estructura limpia de Page Object Model desde el principio.

Cypress Author (9.6/10) Ejecutamos la misma solicitud de prueba de inicio de sesión con Cypress Author. El resultado del modelo base fue nuevamente defectuoso, conteniendo una URL codificada de forma rígida para el comando cy.visit() y un cy.wait(2000) para manejar operaciones asíncronas. Con la skill instalada, el resultado cambió drásticamente. Usó una visita relativa contra un baseUrl configurado y reemplazó la espera fija con una aserción basada en un tiempo de espera. Crucialmente, también favoreció los selectores data-cy, demostrando una conciencia de las mejores prácticas de Cypress para crear pruebas estables. Las reglas que aplicó provienen del archivo de estilo propio del autor, no de nuestro prompt.

Skills de pruebas unitarias y de integración

Crear una buena skill de Claude para pruebas unitarias requiere más que solo generar sentencias assert. Requiere comprender frameworks, dobles de prueba y errores comunes.

Swift Testing (9.6/10) Pedimos una suite de pruebas que cubriera un validador de correo electrónico más un doble de repositorio. El modelo base produjo código XCTest funcional pero ingenuo, incluyendo un doble que nombró incorrectamente MockUserRepository. La skill Swift Testing generó una suite más sofisticada usando @Suite y @Test con tres o cuatro entradas parametrizadas cada una, y colocó el doble junto al protocolo bajo #if DEBUG exactamente como lo exige la skill. Más impresionante aún, identificó correctamente el rol del doble de prueba como un spying stub según la taxonomía de Martin Fowler y renombró la clase en consecuencia, mostrando una comprensión más profunda de la teoría de pruebas.

Flutter Tester (9.6/10) En un proyecto de Flutter usando Riverpod para la gestión de estado, la prueba de widget generada por el modelo base contenía dos errores comunes pero graves: simulaba directamente el proveedor de Riverpod y no llamaba a GetIt.reset() en el método tearDown. Estas son literalmente las dos primeras filas de la tabla 'Errores Comunes' de la propia skill Flutter Tester. La reescritura guiada por la skill corrigió ambos problemas sin ninguna indicación específica, demostrando un conocimiento incorporado de los errores específicos del framework.

Skills especializadas de QA y auditoría

Este grupo de skills de Claude Code para QA sobresale en análisis específicos y no obvios que un humano o una herramienta menos especializada podría pasar por alto.

Add LLM Evals (9.6/10) Con la tarea de agregar una tubería de evaluación a un chatbot RAG, el modelo base ofreció cuatro puntos vagos sobre precisión y relevancia. La skill Add LLM Evals, en contraste, entregó una solución completa y ejecutable. Nombró las métricas Ragas específicas de RAG, produjo una configuración de promptfoo ejecutable para realizar la evaluación e incluyó un código de salida para CI que fallaría la compilación si las métricas caían por debajo de un umbral. Incluso agregó un paso crucial de calibración del juez: una recomendación de etiquetar a mano ~30 ejemplos para verificar la concordancia antes de escalar la evaluación.

Web Quality Audit (9.6/10) Dirigimos esta skill a una página con varios problemas plantados deliberadamente. Una revisión plana por el modelo base omitió la mayoría de ellos. La skill, sin embargo, detectó problemas sutiles como una declaración charset faltante y advertencias de contenido mixto. Para cada hallazgo, proporcionó una etiqueta file:line, facilitando la remediación.

Screen Reader Testing (9.6/10) La prueba de accesibilidad es notoriamente difícil de automatizar. Probamos esta skill contra un diálogo modal que usaba un botón de solo ícono para cerrar y carecía de un rol dialog. La skill no solo señaló el problema; produjo los atributos exactos aria-label="Close" y role="dialog" necesarios para solucionarlo. También generó scripts de prueba concretos tanto para VoiceOver en macOS como para NVDA en Windows para verificar la solución.

Buenas, pero no perfectas: La categoría "Funciona con configuración"

Casi el 40% de las skills que probamos en esta categoría caen en este grupo. Son efectivas pero vienen con advertencias. Pueden requerir configuración manual, tener un error conocido o contener una característica que no funciona como se anuncia. Aún las listamos porque su funcionalidad principal es valiosa, pero documentamos el costo de la configuración.

Plugin Release Checker (9.2/10) Esta skill está diseñada para auditar un repositorio de plugins antes de un lanzamiento. En nuestra prueba, detectó con éxito los cinco defectos que habíamos plantado en un repositorio de desecho. Sin embargo, una de sus seis verificaciones anunciadas —un validador para un archivo de manifiesto específico— se degrada silenciosamente a una simple advertencia. La lógica de validación completa reside en una carpeta de skill hermana separada y no está incluida, un hecho que descubrimos solo leyendo el código fuente. La skill sigue siendo muy efectiva, pero no es el paquete completo que dice ser.

Agent Verifier (Verification) (9.2/10) Usamos esta skill para auditar un archivo simple agent.py que contenía dos problemas plantados: una clave de API en producción codificada de forma rígida y un prompt de sistema que prometía una herramienta que el agente en realidad no tenía. La skill identificó correctamente ambos problemas críticos. Sin embargo, también marcó un bucle while True: como un posible bucle infinito, simplemente porque carecía de una palabra clave break literal. El bucle contenía una sentencia return que proporcionaba una salida limpia, convirtiendo la advertencia en un falso positivo. Es una herramienta útil que requiere que un humano interprete sus hallazgos más pedantes.

Los fracasos: Skills que se deben evitar

Siete skills en la categoría de pruebas recibieron un veredicto de 'Falla'. Una calificación de fallo significa una de dos cosas: la skill fue imposible de ejecutar como se documentaba, o se ejecutó y empeoró la situación. Según nuestra política, no publicamos una puntuación para estas skills. Aquí hay tres ejemplos que ilustran por qué.

API Auditor (Failed) El fracaso de esta skill fue espectacular. Su propósito es auditar puntos de conexión de API para verificar su tiempo de actividad y corrección. Apuntamos su script de auditoría de doce líneas incluido a un servicio que estaba genuinamente caído (devolviendo un 503 Service Unavailable) y una ruta que no existía (devolviendo un 404 Not Found). En ambos casos, el script imprimió Result: Success. Un auditor de tiempo de actividad que informa errores del servidor como éxitos es peor que ningún auditor. Para colmo de males, sus propias instrucciones prometen un análisis de latencia que el script ni siquiera intenta medir.

Reins (Failed) Este fracaso es del tipo más frustrante, porque el motor subyacente es genuinamente bueno. El problema es el empaquetado. Tanto el SKILL.md como el script de instalación incluido te dicen que instales un paquete global de npm con un nombre que no existe en el registro, por lo que la instalación documentada muere con un E404. El envoltorio de hook incluido luego busca el paquete en esa misma ruta inexistente. El nombre real del paquete difiere en unos pocos caracteres, y solo puedes encontrarlo abriendo el propio package.json del repositorio. Una skill que no se puede instalar siguiendo sus propias instrucciones falla nuestra prueba, por muy bueno que sea el código que la respalda.

Common AppSec Patterns (Failed) Esta skill es un puro orquestador. Su única función es invocar cinco sub-agentes diferentes que se supone que realizan pruebas de seguridad. El problema es que esos sub-agentes no se incluyen con la skill. Cuando se instala por sí sola, es completamente inerte. Es una cáscara vacía que no hace nada, un claro fallo de empaquetado y documentación.

¿Qué diferencia a las buenas de las malas skills de QA?

El patrón es claro. Las mejores skills de automatización de pruebas de Claude Code no son solo cadenas de prompts ingeniosas. Su valor proviene de ser conscientes del contexto. Leen las dependencias del proyecto, notan los frameworks que ya están en uso, adoptan convenciones existentes como los atributos data-cy y un baseUrl configurado, y aplican teoría de pruebas establecida como la taxonomía de dobles de prueba. Superan al modelo base no por ser más inteligentes, sino por estar mejor informadas.

Los fracasos, por el contrario, suelen ser fallos de empaquetado y honestidad más que de inteligencia. Un script que informa que un servidor caído es un éxito, un comando de instalación que apunta a un paquete que nadie publicó, un orquestador enviado sin los agentes que orquesta: ninguno de esos son errores sutiles de razonamiento. Son cosas que nadie verificó ejecutándolas. Es por eso que creemos que la ejecución en el mundo real es la única forma de generar un veredicto significativo, y es una lección que se aplica a todas las categorías.

Lectura relacionada: Why Half of All Claude Skills Don't Work desglosa los modos de fallo anteriores en todo el catálogo, y How We Test Claude Skills documenta la comparación exacta con el modelo base de la que proviene cada veredicto en esta página.

Para ver la lista completa y actualizada de 143 skills en esta categoría, incluidas las que aún están en nuestra cola, visita el directorio de Pruebas y QA. Si prefieres no armar una pila tú mismo, también vendemos ocho paquetes temáticos de diez skills a $10 cada uno — el Security & Code Review Pack es el que se centra en revisar y probar lo que entregas.