vercel-labs / agent-desktop

∴ 是什么

agent-desktop 是一个用 Rust 编写的命令行工具和 C 库，面向 AI 代理，让它们通过操作系统的辅助功能树（accessibility tree）读取桌面应用的真实 UI 结构并执行操作。它适用于 macOS、Windows 和 Linux，每个可操作的元素都有一个引用标识（ref），代理基于 ref 操作并重新快照验证，不依赖像素匹配。工具输出 JSON 格式的快照和错误信息，并提供语言绑定（FFI）以便进程内调用。

∴ 解决什么问题

• ›AI 代理难以可靠地操作桌面应用，基于像素的猜测不稳定且难以安全重试
• ›UI 变化后旧引用可能指向错误的元素，需要稳定的引用机制
• ›需要防止代理在快照后因元素复用而误操作

∴ 怎么上手

1. 01npm install -g agent-desktop
2. 02agent-desktop version
3. 03macOS 需先运行 agent-desktop permissions --guide 授予辅助功能权限
4. 04agent-desktop snapshot --app Finder -i
5. 05agent-desktop click @s8f3k2p9:e8
6. 06agent-desktop snapshot --app Finder -i

∴ 适合谁

使用 AI 代理自动化桌面应用交互的开发者，尤其是希望以可靠、可重试方式控制 GUI 的代理工程实现者。

∴ 要点

• ›快照返回带 ref 的 JSON，代理基于 ref 操作而非像素匹配
• ›refs 属于特定快照，UI 变化后旧 ref 会返回 STALE_REF 或 AMBIGUOUS_TARGET
• ›支持 macOS、Windows、Linux，但各平台功能有差异（如 Linux 部分功能仅限 X11）
• ›提供 C 语言绑定 libagent_desktop_ffi，可在进程内调用
• ›默认无头（headless）模式，通过辅助功能 API 操作，不移动指针或抢焦点
• ›快照、剪贴板、截图等可能包含私有桌面内容，需注意隐私处理

∴ 在榜记录

GitHub Trending 今日榜的每日存档，日期按北京时间。2026-11-02 首次上榜，累计在榜 1 天，最高第 1 名。