让智能体操作电脑，卡住的地方往往不是「看不懂界面」，而是「点不准」。截图识别坐标这条路，分辨率一变、窗口一挪、主题一换，坐标就废了。Agent Desktop 换了个思路：不去看像素，直接读系统告诉应用的那份结构。

它读的是无障碍树

Agent Desktop 是 Vercel Labs 开源的一个桌面 computer-use 工具，形态是一条命令行加一个 C 库，采用 Apache-2.0 许可。它做的事情说起来简单：不截屏，而是通过操作系统本来就提供给辅助技术的无障碍接口，把当前应用界面的结构读出来——有哪些按钮、哪些输入框、哪些列表项，每个元素能做什么动作。屏幕上任何东西，只要能被人用键盘或读屏软件操作，它就能拿到。

这条路的好处是稳定。元素是按结构定位的，窗口大小变了、缩放比例换了、换了主题配色，元素还是那个元素。代价是它只认「结构完整」的应用：如果某个程序自绘界面、完全不暴露无障碍信息，它就只能看到一片空白。

快照、动作、再快照

它的工作循环是三步。先要一份快照，返回的是一段结构化数据，其中每个可操作元素都带一个引用标识；接着对某个引用下达动作，比如点击、输入、设置数值、勾选、滚动；动作完成后再取一次快照，核对界面的实际变化。整套流程里没有任何「按坐标点击」的环节，也就没有猜坐标这回事。

引用是跟快照绑定的，这一点设计得比较严谨：上一份快照里的标识，拿到新状态里可能已经失效，此时动作会明确返回「引用过期」或「目标不唯一」，而不是随便点一个位置了事。遇到多个窗口时同样如此，它会把手头候选窗口列出来，让你指定一个再继续。

默认不抢你的鼠标和键盘

这条设计细节值得单独说。它默认以无头方式工作：动作走无障碍接口下发，既不移动鼠标指针，也不把窗口抢到前台。也就是说，后台有一个智能体在操作某个应用时，你可以同时用同一台电脑做别的事。需要真正模拟物理输入时，得显式打开一个开关，这时才会有指针移动和键击注入。

另外，每次命令行调用都在独立进程里跑，不常驻、不留后台服务，用完就结束。对需要把动作拆成多步、由外部编排的用法来说，这种无状态设计反而更好接。

三个平台，三套底座

macOS、Windows 与 Linux 都支持，但底层各用各的接口。macOS 走系统的辅助功能通道，第一次使用需要手动授予辅助功能权限；Windows 在终端同级完整性下操作普通应用不需要额外授权；Linux 依赖图形会话与无障碍总线服务，X11 与 Wayland 的覆盖面略有差别。能力上也有落差：通知读取在三个平台都能用，系统托盘、菜单栏图标这类区域则各有各的支持范围。

命令覆盖得比较全，一共六十个命令名，其中五十六个可直接执行，剩下四个涉及按住按键或鼠标不放，需要等后台守护进程能保证释放时才放行。快照、查找、取值、截图属于观察类；点击、输入、设置、勾选、滚动属于动作类；此外还有窗口管理、剪贴板、通知、等待与批处理。

输出格式是给程序看的

每条命令都只输出一段统一结构的数据，成功时带结果，失败时带错误码、处置方式和一条建议。错误里有一项专门说明「这次失败能不能安全重试」，调用方据此决定是重试、换目标还是停下来报告。这种约定对写自动化的人很友好，它把「失败了怎么办」从猜测变成了读字段。

同样的接口还以 C 库的形式提供，附带各平台的动态库，程序可以在进程内直接调用，不必为每个动作起一次子进程。项目也顺带提供了给智能体读取的说明文档，让它自己学会这套循环该怎么走。

它适合谁

这不是给普通用户准备的软件，没有界面，也没有「一键完成」的按钮。它面向的是要把桌面操作写进自动化流程的人：批量处理某个只能手工点击的客户端、给内部工具补一层可编程入口、在测试环境里让智能体按真实界面走一遍流程。如果你的目标只是让助手帮忙整理文件，这套东西偏底层；如果你需要的是可复现、可校验、失败能定位的桌面自动化，它给的正是这一层。

项目在十月底发布了 1.0.2 版本，同时提供 x64 与 ARM64 两种架构的原生包。作为 Vercel Labs 的实验性开源项目，它的接口还可能调整，但方向很清楚：把「智能体能不能操作桌面」这个问题，从视觉识别的概率问题，变成结构化接口的确定性问题。