Gridhand

Rust CLI, które pozwala agentowi klikać GUI na pulpicie, nazywając oznaczoną komórkę siatki zamiast zgadywać współrzędne pikseli.

Autor: ZachRouan · ZachRouan/agent-desktop-interface

Działa po konfiguracji ★ 8.4/10

Gridhand — Rust CLI, które pozwala agentowi klikać GUI na pulpicie, nazywając oznaczoną komórkę siatki zamiast zgadywać współrzędne pikseli.

Co robi ten skill

Zero-zależności, wieloplatformowy (macOS/Linux/Windows) CLI do automatyzacji pulpitu: zrzut ekranu, lista/podnoszenie okien, klikanie, pisanie i kombinacje klawiszy, wszystko w formacie JSON we/wy. Nigdy nie odczytuje drzewa dostępności systemu operacyjnego — nakłada oznaczoną siatkę z celownikiem na surowy zrzut ekranu, a Ty powiększasz/klikasz według nazwy komórki, dzięki czemu napędza również GUI canvas/WebGL/gry, których narzędzia drzewa dostępności nie widzą. Wyzwalana, gdy agent potrzebuje zobaczyć ekran lub kliknąć/wpisać w dowolną aplikację na pulpicie.

Raport z testu

Rzeczywisty binarny plik Rust o rozmiarze ~9100 linii, bez zależności (zweryfikowano: puste Cargo.toml deps, Cargo.lock ma dokładnie 1 wpis, brak odniesień do AT-SPI/AXUIElement/UIAutomation w kodzie źródłowym) implementujący rzeczywiste zrzuty ekranu/wejście na poziomie systemu operacyjnego przez CoreGraphics/uinput/user32 — nie jest to atrapa. Ale potrzebuje narzędzi Rust (lub zaufanego, wstępnie skompilowanego binarnego pliku wydania) plus uprawnień systemu operacyjnego (macOS Accessibility+Screen Recording, Linux udev/input-group przez sudo), zanim jakiekolwiek polecenie zostanie wykonane, a to środowisko nie miało ani cargo, ani uprawnień systemu operacyjnego, które można przyznać, więc rzeczywista dokładność klikania metodą siatki nie mogła zostać zweryfikowana od początku do końca.

Testowano: 2026-07-16 · Claude Code 2.x (agent harness)

Instalacja

git clone https://github.com/ZachRouan/agent-desktop-interface.git
cd agent-desktop-interface && ./setup.sh   # builds the gridhand binary + platform permissions
mkdir -p ~/.claude/skills/gridhand && cp skills/gridhand/SKILL.md ~/.claude/skills/gridhand/SKILL.md

Komendy i przykładowe prompty

/gridhandRust CLI, które pozwala agentowi klikać GUI na pulpicie, nazywając oznaczoną komórkę siatki zamiast zgadywać współrzędne pikseli.

Skille uruchamiają się na zwykłe polecenia — bez komend do zapamiętania. Po instalacji aktywują go prompty takie jak te (po angielsku):

Take a screenshot of my desktop and click the labeled grid cell
Automate clicking inside this game's canvas UI for me
Type this text into that desktop app window for me

Pełny raport →