Video Vision

Pipeline local ffmpeg+Whisper para que Claude realmente vea y transcriba archivos de video

Por Moh4696 · Moh4696/claude-video-vision

Probado · Funciona ★ 10.0/10

Video Vision — Pipeline local ffmpeg+Whisper para que Claude realmente vea y transcriba archivos de video

Qué hace

Extrae fotogramas muestreados a través de ffmpeg y una transcripción con marca de tiempo a través de Whisper local, luego responde preguntas basadas en evidencia visual y de audio con citas [MM:SS]. Se activa cada vez que un usuario hace referencia a un archivo de video local (.mp4/.mov/.mkv/.webm/.avi/.m4v) queriendo que se vea, resuma, busque, subtitule o transcriba; completamente fuera de línea después de una descarga única del modelo Whisper.

Informe de la prueba

Ejecuté el pipeline real de extremo a extremo contra un clip de prueba sintético de 6 segundos: la extracción de fotogramas de ffmpeg y la transcripción local de Whisper se ejecutaron de verdad y devolvieron la forma exacta del manifiesto JSON que documenta el README, hasta los nombres de los campos. Sin llamadas de red más allá de la descarga única del modelo Whisper revelada, sin exfiltración, nada oculto: realmente le da a Claude una capacidad de visualización de video que no tiene otra forma de obtener.

Probado el: 2026-07-16 · Claude Code 2.x (agent harness)

Instalación

git clone https://github.com/Moh4696/claude-video-vision ~/.claude/skills/video-vision

Comandos y prompts de ejemplo

  • /video-visionPipeline local ffmpeg+Whisper para que Claude realmente vea y transcriba archivos de video

Los skills se activan con peticiones en lenguaje natural, sin comandos que memorizar. Tras instalarlo, prompts como estos lo activan (en inglés):

  • Can you watch this recorded meeting.mp4 and summarize what happened?
  • I need a searchable transcript with timestamps for this lecture video.
  • Caption this .mov clip and tell me what's said around the 2 minute mark.