Agent-desktop pilote vos applis sans regarder l'écran
Des agents IA qui prennent le contrôle de votre ordi, y’en a tellement qu’on ne sait plus lesquels sont bons, mauvais ou sans intérêt. Je vous en ai même présenté quelques-uns comme
et en général, la méthode habituelle pour faire cliquer une IA dans une app X ou Y, c’est de lui balancer une capture d’écran et de la laisser cibler les coordonnées en pixels. En tout cas, c’est comme ça que fait le
. Alors qu’
de Vercel Labs, lui prend un autre chemin puisqu’il lit l’arbre d’accessibilité du système et envoie ensuite son rendu au format JSON à l’agent.
Et dans ce JSON, chaque bouton, champ ou élément cliquable dispose d’une référence qui lui est propre, du genre @s8f3k2p9:e8. L’agent clique alors (ou tape) sur cette référence, relit bien sûr l’interface pour vérifier que ça a marché, et recommence. L’outil n’embarque d’ailleurs aucun modèle IA, c’est donc votre agent qui fait tourner cette boucle, agent-desktop se contentant de lire et d’agir. Toutes ces actions sur une référence passent par en réalité par l’API d’accessibilité sans avoir à bouger le curseur de la souris ni prendre le focus, donc votre souris reste dispo et ça ne gène pas votre usage de l’ordi.
Je l’ai donc testé ça sur mon Mac en commençant easyyy par TextEdit. J’ai donc ouvert un fichier texte, demandé un snapshot de la fenêtre, et ça m’a renvoyé 8 références dont celle de la zone de texte. Puis j’ai remplacé son contenu avec set-value et envoyé un raccourci Cmd+S directement à TextEdit pour le sauvegarder sur mon disque dur.
Le fichier de test après le passage d’agent-desktop, texte remplacé et enregistré sans toucher au clavier
Bon, TextEdit, c’est l’appli d’Apple bien cadrée, donc c’était un peu facile, je vous l’avoue. Du coup, j’ai fait pointer l’outil sur une application Electron, T3 Code qui est l’interface que j’utilise pour mes agents de codage et dont je vous proposerai mon test très bientôt. Et le snapshot remonte dans cette app Electron, 247 références (boutons, entrées d’arborescence, listes déroulantes, champs de saisie) quasi instantanément, même s’il est incomplet en réalité car l’arbre est trop profond pour le budget par défaut. Rassurez vous, si j’en crois la doc, ce cas est prévu et géré en demandant d’abord un squelette de la fenêtre, puis à partir de là, l’outil peut descendre dans la zone qui nous intéresse (avec le paramètre --root).
Vous l’aurez compris, une application qui ne publie pas d’arbre d’accessibilité est tout simplement invisible pour agent-desktop. Mais bon, la plupart en ont, donc ce n’est pas un souci.
Pour installer Agent Desktop, ça passe par npm (Homebrew marche aussi sur Mac et Linux) :
npm install -g agent-desktop
agent-desktop permissions --guide
agent-desktop snapshot --app Finder -i
Sur macOS, la permission Accessibilité doit être accordé à l’application qui lance l’outil, que ce soit votre Terminal, iTerm2, VS Code ou l’appli de votre agent genre Claude ou Codex. Autrement dit, c’est tout ce qui tourne dans ce terminal qui obtient le droit de piloter vos applis, donc réservez-la à celui qui sert à ça. Notez aussi que les snapshots, le presse-papiers et les captures contiennent ce qu’il y a sur votre bureau.
Depuis la version 1.2.0, agent-desktop mcp expose aussi toutes ses commandes sous forme de serveur MCP, et agent-desktop skills get desktop vous crache le mode d’emploi à faire lire à votre agent avant son premier clic comme ça il sera autonome comme un petit chef. Par contre, pour les pages web, ce n’est pas l’outil qu’il vous faut. Je vous renverrai donc vers agent-browser.
Voilà, le tout est sous licence Apache-2.0 et ça tourne dans tous les OS.
Source : korben.info