Gridhand

CLI de Rust que permite a un agente hacer clic en GUIs de escritorio nombrando una celda de cuadrícula etiquetada en lugar de adivinar coordenadas de píxeles.

Por ZachRouan · ZachRouan/agent-desktop-interface

Funciona con configuración ★ 8.4/10

Gridhand — CLI de Rust que permite a un agente hacer clic en GUIs de escritorio nombrando una celda de cuadrícula etiquetada en lugar de adivinar coordenadas de píxeles.

Qué hace

Una CLI de automatización de escritorio multiplataforma (macOS/Linux/Windows) sin dependencias: captura de pantalla, lista/eleva ventanas, clic, escritura y combinaciones de teclas, todo en formato JSON de entrada/salida. Nunca lee el árbol de accesibilidad del sistema operativo — superpone una cuadrícula etiquetada con retículas sobre la captura de pantalla bruta y tú haces zoom/clic por nombre de celda, por lo que también controla interfaces de lienzo/WebGL/juegos que las herramientas de árbol de accesibilidad no pueden ver. Se activa cuando un agente necesita ver la pantalla o hacer clic/escribir en cualquier aplicación de escritorio.

Informe de la prueba

Binario real de Rust de aproximadamente 9100 líneas y cero dependencias (verificado: Cargo.toml vacío de dependencias, Cargo.lock tiene exactamente 1 entrada, sin referencias a AT-SPI/AXUIElement/UIAutomation en el código fuente) implementando captura de pantalla/entrada a nivel de SO genuino a través de CoreGraphics/uinput/user32 — no es un stub. Pero necesita una cadena de herramientas de Rust (o un binario precompilado confiable) más permisos del SO (macOS Accesibilidad+Grabación de pantalla, Linux udev/grupo de entrada vía sudo) antes de que se ejecute un solo comando, y este sandbox no tenía ni cargo ni permisos de SO concedibles, por lo que la precisión real del clic del método de cuadrícula no pudo ser verificada de principio a fin.

Probado el: 2026-07-16 · Claude Code 2.x (agent harness)

Instalación

git clone https://github.com/ZachRouan/agent-desktop-interface.git
cd agent-desktop-interface && ./setup.sh   # builds the gridhand binary + platform permissions
mkdir -p ~/.claude/skills/gridhand && cp skills/gridhand/SKILL.md ~/.claude/skills/gridhand/SKILL.md

Comandos y prompts de ejemplo

/gridhandCLI de Rust que permite a un agente hacer clic en GUIs de escritorio nombrando una celda de cuadrícula etiquetada en lugar de adivinar coordenadas de píxeles.

Los skills se activan con peticiones en lenguaje natural, sin comandos que memorizar. Tras instalarlo, prompts como estos lo activan (en inglés):

Take a screenshot of my desktop and click the labeled grid cell
Automate clicking inside this game's canvas UI for me
Type this text into that desktop app window for me

Informe completo →