Agent Computer Use

Ovládejte jakoukoli desktopovou aplikaci z terminálu pomocí agent-cu CLI (snapshot/click/type)

od kortix-ai · kortix-ai/agent-computer-use

Funguje s nastavením ★ 8.0/10

Agent Computer Use — Ovládejte jakoukoli desktopovou aplikaci z terminálu pomocí agent-cu CLI (snapshot/click/type)

Co umí

Playbook pro ovládání macOS/Linux/Windows/Electron desktop apps přes agent-cu CLI pomocí accessibility APIs: snapshot the screen, identify element refs, click/type/key/scroll/drag, a poté verify state. Spouští se na desktop-automation tasks jako 'open Music and play X', 'fill out this form' nebo 'send a Slack message'. Skill markdown je self-contained, ale agent-cu binary je samostatná cargo/npm install.

Testovací report

SKILL.md je neobvykle důkladný desktop-automation playbook s verified Music/Calculator/Slack/Finder flows, snapshot-identify-act-verify loop a detailed recovery ladder, ale jeho delta oproti no skill zde nemohla být změřena: agent-cu binary se dodává separately (cargo build nebo cargo install / npm) a vyžaduje live desktop GUI, takže bundled wrapper hlásí 'agent-cu binary not found' v headless run. Instalace samotné skill folder vám dá instructions, nikoli tool. Stojí za zmínku, že skill nabízí auto-approve its own permission globally a unsupervised přes `agent-cu setup --yes` (zapisuje Bash(agent-cu *) do settings) — scoped to its own namespace a user-gated by default, ale všimněte si toho před instalací.

Testováno: 2026-07-17 · Claude Code 2.x (agent harness)

Instalace

git clone https://github.com/kortix-ai/agent-computer-use
mkdir -p ~/.claude/skills
cd agent-computer-use && cp -r skills/agent-computer-use ~/.claude/skills/agent-computer-use

Příkazy a ukázkové prompty

  • /agent-computer-useOvládejte jakoukoli desktopovou aplikaci z terminálu pomocí agent-cu CLI (snapshot/click/type)

Skilly se spouštějí běžnými požadavky — žádné příkazy k zapamatování. Po instalaci ho aktivují prompty jako tyto (anglicky):

  • open Music and play my Espresso playlist for me
  • fill out this signup form in Safari using my saved info
  • send a Slack message to my team from the desktop app