請智慧代理去操作電腦，真正卡住的通常不是它看不懂畫面，而是它按不準位置。看截圖換算座標這條路，只要解析度一改、視窗一挪、配色一換，存下來的座標就全部作廢。Agent Desktop 走的是另一條：不看像素，直接讀作業系統本來就會告訴應用的那份結構。

它讀的是無障礙樹

Agent Desktop 是 Vercel Labs 開源的桌面 computer-use 工具，形態是一支命令列程式加一個 C 函式庫，採 Apache-2.0 授權。它做的事講起來很簡單：不截圖，而是透過作業系統原本就提供給輔助技術的無障礙介面，把當前應用的介面結構讀出來，有哪些按鈕、哪些輸入欄位、哪些清單項目，以及每個元素能接受什麼動作。畫面上只要是人能用鍵盤或螢幕閱讀器操作到的東西，它就抓得到。

這條路的好處是穩。元素靠結構定位，視窗大小變了、縮放比例換了、配色主題改了，元素還是同一個元素。代價是它只認結構完整的應用：某個程式如果全部自繪、完全不吐出無障礙資訊，在它眼裡就是一片空白。

快照、動作、再快照

它的工作循環有三步。先要一份快照，回來是一段結構化資料，每個可操作的元素都帶著一個參照標記；接著對某個標記下動作，例如點擊、輸入、設定數值、勾選、捲動；動作完成後再取一次快照，核對介面實際變成什麼樣。整個流程裡沒有「照座標點一下」這種環節，也就沒有猜座標這回事。

參照是綁在快照上的，這點設計得相當謹慎。上一份快照裡的標記，拿到新狀態可能已經失效，這時動作會明白回報「參照過期」或「目標不唯一」，而不是隨便挑一個位置點下去。遇到多個視窗也一樣，它會把手上的候選視窗列出來，等你指定一個再繼續。

預設不搶你的滑鼠和鍵盤

這個細節值得單獨講。它預設用無頭方式工作：動作透過無障礙介面下發，既不移動指標，也不把視窗搶到最前面。也就是說，背景有代理在操作某個應用的同時，你還能用同一臺電腦做別的事。真要模擬實體輸入，得明確打開一個開關，那時才會有指標移動與按鍵注入。

另外，每次命令列呼叫都跑在獨立行程裡，不常駐、不留背景服務，做完就結束。對於要把動作拆成多步、交給外部編排的用法，這種無狀態設計反而更好接。

三個平台，三套底座

macOS、Windows 與 Linux 都支援，但底層各用各的介面。macOS 走系統的輔助使用通道，第一次使用要手動授予權限；Windows 在終端機同等完整性層級下操作一般應用，不需要額外授權；Linux 則依賴圖形工作階段與無障礙匯流排，X11 與 Wayland 的覆蓋範圍略有差別。能力上也有落差：通知讀取三個平台都能用，系統匣、選單列圖示這類區域則各有各的支援範圍。

命令涵蓋得算完整，一共六十個命令名稱，其中五十六個可以直接執行，剩下四個牽涉到按住按鍵或滑鼠不放，要等背景常駐程式能保證放開時才放行。快照、尋找、取值、截圖屬於觀察類；點擊、輸入、設定、勾選、捲動屬於動作類；另外還有視窗管理、剪貼簿、通知、等待與批次處理。

輸出格式是給程式讀的

每個命令只吐出一段結構統一的資料，成功時帶結果，失敗時帶錯誤碼、處置方式與一條建議。錯誤裡有一欄專門說明「這次失敗能不能安全重試」，呼叫方就靠它決定要重試、換目標，還是停下來回報。這種約定對寫自動化的人很友善，它把「失敗了該怎麼辦」從猜測變成讀欄位。

同一套介面也以 C 函式庫的形式提供，附上各平台的動態函式庫，程式可以在自己的行程內直接呼叫，不必為每個動作開一次子行程。專案另附一份給代理閱讀的說明文件，讓它自己學會這套循環怎麼走。

它適合誰

這不是給一般使用者準備的軟體，沒有介面，也沒有「一鍵完成」的按鈕。它面向的是要把桌面操作寫進自動化流程的人：批次處理某個只能手動點的用戶端、替內部工具補一層可程式化的入口、在測試環境裡讓代理照真實介面走一遍流程。如果你只是要助手幫忙整理檔案，這套東西偏底層；如果你要的是可重現、可驗證、失敗能定位的桌面自動化，它給的正是這一層。

專案在十月底發布了 1.0.2 版，同時提供 x64 與 ARM64 兩種架構的原生套件。作為 Vercel Labs 的實驗性開源專案，它的介面還可能調整，但方向很清楚：把「代理能不能操作桌面」這個問題，從視覺辨識的機率問題，變成結構化介面的確定性問題。