Vercel Labs 開源 agent-desktop,把「讓 AI 代理操作電腦」的能力包裝成跨平台 CLI 及 C library。工具透過作業系統的 accessibility tree 取得應用程式介面,以結構化 JSON 和穩定 ref 讓代理辨識及操作控制項,而不必依靠截圖座標或像素比對。
以 accessibility tree 取代像素操作
官方 README 將 agent-desktop 定義為「Computer use for AI agents: read and operate desktop apps through the OS accessibility tree」。代理先對指定應用程式執行 snapshot,再以 ref 執行 click、type、scroll 等操作,之後重新 snapshot 核實結果。當介面改變時,工具會回傳 STALE_REF 或 AMBIGUOUS_TARGET,要求代理重新取得狀態,避免沿用失效的參照。
專案以 Rust 實作 CLI,並提供 C-ABI library,可在 Python、Swift、Go、Ruby、Node 及 C 等宿主程序內直接載入。官方文件列出的支援平台包括 macOS、Windows 和 Linux;npm 套件為 agent-desktop,安裝指令是 npm install -g agent-desktop。授權採用 Apache-2.0。
版本、維護狀態與實際工作流程
本次分析時,官方最新 release 為 v1.1.0,發布時間是 2026-11-03T04:13:45Z;同日 2026-11-03T05:51:54Z,main 分支仍有已驗證簽署的 macOS overlay 修正提交,顯示項目持續維護。Flavio Copes 的獨立指南以 1.0.2 為基準,在 Ubuntu 24.04.5 LTS、XFCE、X11 環境實際執行工具;指南同時列明 macOS 13+、Windows 10 1809+ 及 Ubuntu 24.04+ 的官方要求,並指出某些 Linux 桌面功能仍受 X11、GNOME Shell 及 session bus 條件限制。
CellCog 指出,工具預設以 headless 方式操作,ref 動作經 accessibility API 執行,不會移動實體游標或奪取焦點;TechPilot 的評測同樣確認其優勢是結構化操作、無需模型內置,以及可配合任何具備 shell 能力的 coding agent。另一方面,這些工具不是獨立代理,也不會取代 Claude Code、Codex 或其他負責判斷與規劃的模型。
私隱、權限與採用限制
官方 README 提醒,snapshot、clipboard read、screenshot、command output 與 debug artifacts 都可能包含私人桌面內容。Flavio Copes 與 TechPilot 均指出,未公開 accessibility tree 的應用程式無法以相同方式操作;macOS 另需 Accessibility 權限,Linux 則需要圖形 session、at-spi2-core 及正確的 display 與 DBus session 環境。
開發者公布的 token 節省數字來自單一模擬任務,並非獨立 benchmark。較穩妥的採用方式是讓代理在獨立帳戶、專用虛擬機器或受控工作環境執行,將 snapshot 與其他輸出排除於公開記錄之外,並為點擊、輸入、儲存等外部副作用加入明確驗證。
來源
- GitHub:vercel-labs/agent-desktop 官方倉庫
- GitHub Releases:v1.1.0
- GitHub:Apache-2.0 LICENSE
- CellCog:Vercel’s agent-desktop Gives Agents Computer Use
- Flavio Copes:A deep dive into agent-desktop
- TechPilot:Agent Desktop by Vercel Labs
圖片:HKAIWeb 原創封面,以 CC BY 4.0 授權發布。
