Video Vision

Lokal ffmpeg+Whisper-pipeline som låter Claude faktiskt titta på och transkribera videofiler

av Moh4696 · Moh4696/claude-video-vision

Testad · Fungerar ★ 10.0/10

Video Vision — Lokal ffmpeg+Whisper-pipeline som låter Claude faktiskt titta på och transkribera videofiler

Vad den gör

Extraherar samplade bildrutor via ffmpeg och en tidsstämplad transkription via lokal Whisper, svarar sedan på frågor grundade i både visuell och ljudmässig bevisning med [MM:SS]-citat. Triggas när en användare refererar till en lokal videofil (.mp4/.mov/.mkv/.webm/.avi/.m4v) och vill att den ska tittas på, sammanfattas, sökas i, bildtextas eller transkriberas; helt offline efter en engångsnedladdning av Whisper-modellen.

Testrapport

Körde den verkliga pipelinen från början till slut mot ett syntetiskt 6-sekunders testklipp: ffmpeg-bildruteextraktion och lokal Whisper-transkription utfördes båda på riktigt och returnerade exakt samma JSON-manifestform som README dokumenterar, ner till fältnamnen. Inga nätverksanrop utöver den angivna engångsnedladdningen av Whisper-modellen, ingen dataexfiltrering, inget dolt – ger genuint Claude en videokollningsförmåga som den annars saknar.

Testad: 2026-07-16 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/Moh4696/claude-video-vision ~/.claude/skills/video-vision

Kommandon och exempelprompter

  • /video-visionLokal ffmpeg+Whisper-pipeline som låter Claude faktiskt titta på och transkribera videofiler

Skills triggas av vanliga förfrågningar — inga kommandon att memorera. Efter installationen aktiverar prompter som dessa skillen (på engelska):

  • Can you watch this recorded meeting.mp4 and summarize what happened?
  • I need a searchable transcript with timestamps for this lecture video.
  • Caption this .mov clip and tell me what's said around the 2 minute mark.