HKAIWeb 原創封面:深色木工作枱上排列近乎完成的米白色方形瓷磚拼圖,其中一格空缺,白色機械夾爪懸停在缺口上方夾持一片瓷磚,右側散落三塊尺寸不符的瓷磚與放大鏡。Co-Design Bench 顯示最強模型完整解決率僅 26.4%,同期 DeepSeek Harness 日活躍用戶達 154 萬。

代理能力在真實工作流程中的落差,開始由同類基準提供可比較的量化答案,而代理框架的採用規模亦同步急升。

## Co-Design Bench 的設計與規模

Co-Design Bench 的論文〈Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models〉於 2026 年 10 月 26 日在 arXiv 公開(arXiv:2610.35138,分類 cs.AI),參與機構包括復旦大學、阿里巴巴 Token Hub、浙江大學、香港中文大學、上海交通大學與南洋理工大學。

基準規模包括 273 項任務,取自 26,314 次真實使用者 coding session 的 37,463 條去重請求;準則方面設有 2,331 條由專家撰寫的隱藏驗收準則;測試涵蓋 10 個模型端點與 5 種輸入模態。基準分為兩條賽道:Multimodal Editing(ME)100 項任務、Repository Editing(RE)173 項任務。

## 最強模型的完整解決率僅 26.4%

在共用同一套 agentic harness 的條件下,十個模型端點中最強者每項任務平均通過 69.9% 準則,但完整滿足全部準則的任務只佔 26.4%。以準則平均數量度,會高估代理在真實工作上的可用程度。

基準同時觀察到,全部十個模型端點在涉及三至四類變更類型的 repository editing 任務上,準則完成率均低於只涉及一至兩類變更的任務。

論文亦列明限制:每項任務只評估一次固定請求,用戶追問與中途修正不納入測試;AI 裁判本身亦可能出錯。論文頁面標示 CC BY-NC-SA 4.0 授權,官方專案頁另載有 Hugging Face 資料集(96 項 ME 任務、521 條準則)與 GitHub 程式碼倉庫。

## DeepSeek Harness 的官方生態數據

DeepSeek Harness 官方帳號在 2026 年 11 月 8 日發布〈Growing Together with Our Plugin Community〉,公布產品自上線以來的官方數據:v0.1 於 8 月 13 日上線,桌面版於 9 月 29 日發布;截至 11 月 4 日,按官方 API 用戶計算,日活躍用戶達 1.54 million,每日消耗約 92 trillion tokens。

官方產品頁說明 DeepSeek Harness 建基於 Cordis 的「一切皆插件」架構,已全球開放預覽並開源,可作為桌面應用使用,亦可由程式碼啟動網頁介面。官方把 DeepSeek Harness 定位為 agent 時代的操作系統,鼓勵社群以插件取代內置功能。

第三方插件約有 3.5 萬個,約 60% 活躍用戶曾製作或安裝至少一款;官方同時註明社群插件成熟度不一。後續計劃包括提升插件 API 穩定性與相容性、強化插件安全、建設官方插件市場,以及面向插件作者的支持計劃,提供 token 贈助、技術交流與作品推廣。

需要留意的是,上述採用數字由 DeepSeek 自報,官方與引述媒體均未提及第三方審計。

## 兩項訊息放在一起解讀

同一時間窗口內,基準測試顯示代理在真實任務的完整解決能力仍然有限,而官方生態數據則顯示代理框架的採用規模快速上升。兩者並不互相否定:前者量度代理在複雜真實任務上的完成難度,後者量度代理框架在日常使用中的普及程度。對決策者而言,前者決定導入成本與人工覆核比例,後者反映使用需求的實際規模。

## 來源

– Co-Design Bench 論文(arXiv:2610.35138,2026 年 10 月 26 日):https://arxiv.org/abs/2610.35138
– Co-Design Bench 官方專案頁:https://codesignbench.github.io/
– DeepSeek Harness 官方產品頁:https://www.deepseek.com/en/harness/
– DeepSeekHarness 官方貼文(2026 年 11 月 8 日):https://x.com/DeepSeekHarness/status/2119431663642153128
– The Decoder:https://the-decoder.com/ai-coding-agents-still-need-human-cleanup-on-nearly-three-out-of-four-tasks-in-a-real-world-test/
– SCMP:https://www.scmp.com/tech/big-tech/article/3373757/can-deepseek-challenge-openai-anthropic-ai-agents-harness-adoption-takes

## 圖片說明

本文章封面為 HKAIWeb 原創封面,採 CC BY 4.0 授權;圖片以近乎完成的瓷磚拼圖、尚未填補的空缺與懸停的機械夾爪呈現代理任務仍留缺口的概念,未使用任何第三方參考素材。

作者: hkaiweb

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

Social Media Auto Publish Powered By : XYZScripts.com