Gridhand

Rust CLI som låter en agent klicka på skrivbords-GUI:er genom att namnge en märkt rutnätsruta istället för att gissa pixelkoordinater.

av ZachRouan · ZachRouan/agent-desktop-interface

Fungerar med konfiguration ★ 8.4/10

Gridhand — Rust CLI som låter en agent klicka på skrivbords-GUI:er genom att namnge en märkt rutnätsruta istället för att gissa pixelkoordinater.

Vad den gör

Ett nollberoende, plattformsoberoende (macOS/Linux/Windows) skrivbordsautomations-CLI: skärmdump, lista/höj fönster, klicka, skriv och tryck tangentkombinationer, allt JSON in/ut. Den läser aldrig operativsystemets tillgänglighetsträd — den lägger över ett märkt rutnät med korshår på den råa skärmdumpen och du zoomar/klickar per rutnätsnamn, så den driver också canvas/WebGL/spelfönster som tillgänglighetsträdverktyg inte kan se. Triggers när en agent behöver se skärmen eller klicka/skriva i någon skrivbordsapp.

Testrapport

Verklig ~9 100-raders nollberoende Rust-binär (verifierad: tom Cargo.toml deps, Cargo.lock har exakt 1 post, inga AT-SPI/AXUIElement/UIAutomation-referenser i källkoden) som implementerar genuin OS-nivå skärmdump/inmatning via CoreGraphics/uinput/user32 — inte en stub. Men den behöver en Rust-verktygskedja (eller en betrodd förbyggd release-binär) plus OS-behörighetsgivningar (macOS tillgänglighet+skärminspelning, Linux udev/input-grupp via sudo) innan ett enda kommando körs, och denna sandbox hade varken cargo eller tilldelningsbara OS-behörigheter, så den faktiska klicknoggrannheten för rutnätsmetoden kunde inte verifieras från början till slut.

Testad: 2026-07-16 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/ZachRouan/agent-desktop-interface.git
cd agent-desktop-interface && ./setup.sh   # builds the gridhand binary + platform permissions
mkdir -p ~/.claude/skills/gridhand && cp skills/gridhand/SKILL.md ~/.claude/skills/gridhand/SKILL.md

Kommandon och exempelprompter

/gridhandRust CLI som låter en agent klicka på skrivbords-GUI:er genom att namnge en märkt rutnätsruta istället för att gissa pixelkoordinater.

Skills triggas av vanliga förfrågningar — inga kommandon att memorera. Efter installationen aktiverar prompter som dessa skillen (på engelska):

Take a screenshot of my desktop and click the labeled grid cell
Automate clicking inside this game's canvas UI for me
Type this text into that desktop app window for me

Läs hela rapporten →