Gridhand

Rust CLI, die es einem Agenten ermöglicht, Desktop-GUIs zu klicken, indem eine beschriftete Gitterzelle benannt wird, anstatt Pixelkoordinaten zu erraten.

von ZachRouan · ZachRouan/agent-desktop-interface

Funktioniert mit Setup ★ 8.4/10

Gridhand — Rust CLI, die es einem Agenten ermöglicht, Desktop-GUIs zu klicken, indem eine beschriftete Gitterzelle benannt wird, anstatt Pixelkoordinaten zu erraten.

Was es kann

Eine Zero-Dependency, plattformübergreifende (macOS/Linux/Windows) Desktop-Automatisierungs-CLI: Screenshot, Fenster auflisten/anheben, klicken, tippen und Tastenkombinationen drücken, alles JSON rein/raus. Sie liest niemals den Accessibility Tree des Betriebssystems aus – sie überlagert ein beschriftetes Gitter mit Fadenkreuzen auf dem Roh-Screenshot, und Sie zoomen/klicken nach Zellennamen, sodass sie auch Canvas/WebGL/Spiel-UIs antreibt, die Accessibility-Tree-Tools nicht sehen können. Löst aus, wenn ein Agent den Bildschirm sehen oder in eine Desktop-App klicken/tippen muss.

Testbericht

Echte ~9.100-Zeilen Zero-Dependency Rust-Binärdatei (verifiziert: leeres Cargo.toml deps, Cargo.lock hat genau 1 Eintrag, keine AT-SPI/AXUIElement/UIAutomation-Referenzen im Quellcode), die echte OS-Level-Screenshot-/Eingabe über CoreGraphics/uinput/user32 implementiert – kein Stub. Aber sie benötigt eine Rust-Toolchain (oder eine vertrauenswürdige vorab kompilierte Release-Binärdatei) plus OS-Berechtigungen (macOS Accessibility+Screen Recording, Linux udev/input-group über sudo), bevor ein einziger Befehl ausgeführt wird, und diese Sandbox hatte weder Cargo noch grantierbare OS-Berechtigungen, sodass die tatsächliche Klickgenauigkeit der Gittermethode nicht Ende-zu-Ende verifiziert werden konnte.

Getestet am: 2026-07-16 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/ZachRouan/agent-desktop-interface.git
cd agent-desktop-interface && ./setup.sh   # builds the gridhand binary + platform permissions
mkdir -p ~/.claude/skills/gridhand && cp skills/gridhand/SKILL.md ~/.claude/skills/gridhand/SKILL.md

Befehle & Beispiel-Prompts

/gridhandRust CLI, die es einem Agenten ermöglicht, Desktop-GUIs zu klicken, indem eine beschriftete Gitterzelle benannt wird, anstatt Pixelkoordinaten zu erraten.

Skills reagieren auf normale Anfragen — keine Slash-Befehle nötig. Nach der Installation aktivieren Prompts wie diese den Skill (auf Englisch):

Take a screenshot of my desktop and click the labeled grid cell
Automate clicking inside this game's canvas UI for me
Type this text into that desktop app window for me

Vollständiger Testbericht (Englisch) →