代理能力在真實工作流程中的落差,開始由同類基準提供可比較的量化答案,而代理框架的採用規模亦同步急升。
## Co-Design Bench 的設計與規模
Co-Design Bench 的論文〈Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models〉於 2026 年 10 月 26 日在 arXiv 公開(arXiv:2610.35138,分類 cs.AI),參與機構包括復旦大學、阿里巴巴 Token Hub、浙江大學、香港中文大學、上海交通大學與南洋理工大學。
基準規模包括 273 項任務,取自 26,314 次真實使用者 coding session 的 37,463 條去重請求;準則方面設有 2,331 條由專家撰寫的隱藏驗收準則;測試涵蓋 10 個模型端點與 5 種輸入模態。基準分為兩條賽道:Multimodal Editing(ME)100 項任務、Repository Editing(RE)173 項任務。
## 最強模型的完整解決率僅 26.4%
在共用同一套 agentic harness 的條件下,十個模型端點中最強者每項任務平均通過 69.9% 準則,但完整滿足全部準則的任務只佔 26.4%。以準則平均數量度,會高估代理在真實工作上的可用程度。
基準同時觀察到,全部十個模型端點在涉及三至四類變更類型的 repository editing 任務上,準則完成率均低於只涉及一至兩類變更的任務。
論文亦列明限制:每項任務只評估一次固定請求,用戶追問與中途修正不納入測試;AI 裁判本身亦可能出錯。論文頁面標示 CC BY-NC-SA 4.0 授權,官方專案頁另載有 Hugging Face 資料集(96 項 ME 任務、521 條準則)與 GitHub 程式碼倉庫。
## DeepSeek Harness 的官方生態數據
DeepSeek Harness 官方帳號在 2026 年 11 月 8 日發布〈Growing Together with Our Plugin Community〉,公布產品自上線以來的官方數據:v0.1 於 8 月 13 日上線,桌面版於 9 月 29 日發布;截至 11 月 4 日,按官方 API 用戶計算,日活躍用戶達 1.54 million,每日消耗約 92 trillion tokens。
官方產品頁說明 DeepSeek Harness 建基於 Cordis 的「一切皆插件」架構,已全球開放預覽並開源,可作為桌面應用使用,亦可由程式碼啟動網頁介面。官方把 DeepSeek Harness 定位為 agent 時代的操作系統,鼓勵社群以插件取代內置功能。
第三方插件約有 3.5 萬個,約 60% 活躍用戶曾製作或安裝至少一款;官方同時註明社群插件成熟度不一。後續計劃包括提升插件 API 穩定性與相容性、強化插件安全、建設官方插件市場,以及面向插件作者的支持計劃,提供 token 贈助、技術交流與作品推廣。
需要留意的是,上述採用數字由 DeepSeek 自報,官方與引述媒體均未提及第三方審計。
## 兩項訊息放在一起解讀
同一時間窗口內,基準測試顯示代理在真實任務的完整解決能力仍然有限,而官方生態數據則顯示代理框架的採用規模快速上升。兩者並不互相否定:前者量度代理在複雜真實任務上的完成難度,後者量度代理框架在日常使用中的普及程度。對決策者而言,前者決定導入成本與人工覆核比例,後者反映使用需求的實際規模。
## 來源
– Co-Design Bench 論文(arXiv:2610.35138,2026 年 10 月 26 日):https://arxiv.org/abs/2610.35138
– Co-Design Bench 官方專案頁:https://codesignbench.github.io/
– DeepSeek Harness 官方產品頁:https://www.deepseek.com/en/harness/
– DeepSeekHarness 官方貼文(2026 年 11 月 8 日):https://x.com/DeepSeekHarness/status/2119431663642153128
– The Decoder:https://the-decoder.com/ai-coding-agents-still-need-human-cleanup-on-nearly-three-out-of-four-tasks-in-a-real-world-test/
– SCMP:https://www.scmp.com/tech/big-tech/article/3373757/can-deepseek-challenge-openai-anthropic-ai-agents-harness-adoption-takes
## 圖片說明
本文章封面為 HKAIWeb 原創封面,採 CC BY 4.0 授權;圖片以近乎完成的瓷磚拼圖、尚未填補的空缺與懸停的機械夾爪呈現代理任務仍留缺口的概念,未使用任何第三方參考素材。
