Gridhand

CLI Rust che consente a un agente di fare clic su GUI desktop nominando una cella griglia etichettata invece di indovinare le coordinate dei pixel.

di ZachRouan · ZachRouan/agent-desktop-interface

Richiede configurazione ★ 8.4/10

Gridhand — CLI Rust che consente a un agente di fare clic su GUI desktop nominando una cella griglia etichettata invece di indovinare le coordinate dei pixel.

Cosa fa

Una CLI di automazione desktop multipiattaforma (macOS/Linux/Windows) senza dipendenze: screenshot, elenca/solleva finestre, fai clic, digita e premi combinazioni di tasti, tutto in formato JSON in/out. Non legge mai l'albero di accessibilità del sistema operativo — sovrappone una griglia etichettata con mirini sullo screenshot grezzo e si ingrandisce/fa clic per nome cella, quindi guida anche interfacce canvas/WebGL/di gioco che gli strumenti dell'albero di accessibilità non possono vedere. Si attiva quando un agente ha bisogno di vedere lo schermo o fare clic/digitare in qualsiasi applicazione desktop.

Rapporto di test

Vero binario Rust zero-dipendenze di circa 9.100 righe (verificato: deps Cargo.toml vuoto, Cargo.lock ha esattamente 1 voce, nessun riferimento AT-SPI/AXUIElement/UIAutomation nel sorgente) che implementa screenshot/input a livello di OS tramite CoreGraphics/uinput/user32 — non uno stub. Ma necessita di una toolchain Rust (o di un binario precompilato fidato) più permessi OS (Accessibilità+Registrazione schermo macOS, gruppo input/udev Linux tramite sudo) prima che un singolo comando venga eseguito, e questo sandbox non aveva né cargo né permessi OS concedibili, quindi l'effettiva accuratezza del clic del metodo griglia non ha potuto essere verificata end-to-end.

Testato il: 2026-07-16 · Claude Code 2.x (agent harness)

Installazione

git clone https://github.com/ZachRouan/agent-desktop-interface.git
cd agent-desktop-interface && ./setup.sh   # builds the gridhand binary + platform permissions
mkdir -p ~/.claude/skills/gridhand && cp skills/gridhand/SKILL.md ~/.claude/skills/gridhand/SKILL.md

Comandi e prompt di esempio

/gridhandCLI Rust che consente a un agente di fare clic su GUI desktop nominando una cella griglia etichettata invece di indovinare le coordinate dei pixel.

Gli skill si attivano con richieste in linguaggio naturale, senza comandi da ricordare. Dopo l'installazione, prompt come questi lo attivano (in inglese):

Take a screenshot of my desktop and click the labeled grid cell
Automate clicking inside this game's canvas UI for me
Type this text into that desktop app window for me

Rapporto completo →