Gridhand
CLI Rust qui permet à un agent de cliquer sur des interfaces graphiques de bureau en nommant une cellule de grille étiquetée au lieu de deviner les coordonnées des pixels.
Fonctionne avec configuration
Ce que fait
Une CLI d'automatisation de bureau multiplateforme (macOS/Linux/Windows) sans dépendances : capture d'écran, liste/lève les fenêtres, clique, tape et appuie sur des combinaisons de touches, le tout en JSON entrée/sortie. Elle ne lit jamais l'arbre d'accessibilité du système d'exploitation — elle superpose une grille étiquetée avec des réticules sur la capture d'écran brute et vous zoomez/cliquez par nom de cellule, donc elle pilote également les interfaces canvas/WebGL/jeu que les outils d'arbre d'accessibilité ne peuvent pas voir. Se déclenche lorsqu'un agent a besoin de voir l'écran ou de cliquer/taper dans n'importe quelle application de bureau.
Rapport de test
Vrai binaire Rust sans dépendance d'environ 9 100 lignes (vérifié : deps Cargo.toml vides, Cargo.lock a exactement 1 entrée, aucune référence AT-SPI/AXUIElement/UIAutomation dans la source) implémentant la capture d'écran/entrée au niveau de l'OS via CoreGraphics/uinput/user32 — pas un stub. Mais il a besoin d'une chaîne d'outils Rust (ou d'un binaire de sortie précompilé fiable) plus des autorisations système (macOS Accessibilité+Enregistrement d'écran, Linux udev/groupe d'entrée via sudo) avant qu'une seule commande ne s'exécute, et ce sandbox n'avait ni cargo ni autorisations système accordables, donc la précision réelle du clic de la méthode de grille n'a pas pu être vérifiée de bout en bout.
Testé le: 2026-07-16 · Claude Code 2.x (agent harness)
Installation
git clone https://github.com/ZachRouan/agent-desktop-interface.git cd agent-desktop-interface && ./setup.sh # builds the gridhand binary + platform permissions mkdir -p ~/.claude/skills/gridhand && cp skills/gridhand/SKILL.md ~/.claude/skills/gridhand/SKILL.md
Commandes et exemples de prompts
/gridhandCLI Rust qui permet à un agent de cliquer sur des interfaces graphiques de bureau en nommant une cellule de grille étiquetée au lieu de deviner les coordonnées des pixels.
Les skills se déclenchent sur des demandes en langage courant — aucune commande à retenir. Après installation, des prompts comme ceux-ci l'activent (en anglais) :
Take a screenshot of my desktop and click the labeled grid cellAutomate clicking inside this game's canvas UI for meType this text into that desktop app window for me