Gridhand

Rust CLI waarmee een agent desktop GUIs kan klikken door een gelabelde gridcel te benoemen in plaats van pixelcoördinaten te raden.

Door ZachRouan · ZachRouan/agent-desktop-interface

Werkt met setup ★ 8.4/10

Gridhand — Rust CLI waarmee een agent desktop GUIs kan klikken door een gelabelde gridcel te benoemen in plaats van pixelcoördinaten te raden.

Wat het doet

Een zero-dependency, cross-platform (macOS/Linux/Windows) desktop-automatisering CLI: screenshot, vensterslijst/ophalen, klikken, typen, en toetscombinaties indrukken, alles JSON in/uit. Het leest nooit de OS accessibility tree — het legt een gelabeld grid met dradenkruis over de ruwe screenshot en je zoomt/klikt per celnaam, dus het stuurt ook canvas/WebGL/game UI's aan die accessibility-tree tools niet kunnen zien. Triggers wanneer een agent het scherm moet zien of in een desktop-app moet klikken/typen.

Testrapport

Echte ~9.100-regelige zero-dependency Rust binary (geverifieerd: lege Cargo.toml deps, Cargo.lock heeft exact 1 entry, geen AT-SPI/AXUIElement/UIAutomation referenties in broncode) die echte OS-level screenshot/input implementeert via CoreGraphics/uinput/user32 — geen stub. Maar het heeft een Rust toolchain nodig (of een vertrouwde vooraf gebouwde release binary) plus OS-permissie grants (macOS Toegankelijkheid+Schermopname, Linux udev/input-group via sudo) voordat een enkel commando draait, en deze sandbox had noch cargo noch grantable OS-permissies, dus de daadwerkelijke klik-nauwkeurigheid van de grid-methode kon niet end-to-end worden geverifieerd.

Getest op: 2026-07-16 · Claude Code 2.x (agent harness)

Installatie

git clone https://github.com/ZachRouan/agent-desktop-interface.git
cd agent-desktop-interface && ./setup.sh   # builds the gridhand binary + platform permissions
mkdir -p ~/.claude/skills/gridhand && cp skills/gridhand/SKILL.md ~/.claude/skills/gridhand/SKILL.md

Commando's en voorbeeldprompts

/gridhandRust CLI waarmee een agent desktop GUIs kan klikken door een gelabelde gridcel te benoemen in plaats van pixelcoördinaten te raden.

Skills reageren op gewone verzoeken — geen commando's om te onthouden. Na installatie activeren prompts zoals deze de skill (in het Engels):

Take a screenshot of my desktop and click the labeled grid cell
Automate clicking inside this game's canvas UI for me
Type this text into that desktop app window for me

Volledig rapport (Engels) →