Screenshot of the Strata local-inference monitor showing GPU/VRAM use and recent requests on an RTX 5070; project-demo screenshot, not a controlled Strata 0.1.45 benchmark.

開源本地推理引擎 Strata 在 10 月 17 日推出 0.1.45。更新重點包括 Qwen3.6-35B-A3B 的圖片輸入、多個請求同時處理、伺服器開關設定,以及 Mac 和安卓流程修正。這是接續早前 0.1.44 加入 Apple Silicon 支持後的更新;KOCPC 指 Mac 版本當時需由原始碼建置。

Strata local-inference monitor 截圖(RTX 5070 上顯示 GPU/VRAM 與近期請求)
Strata local-inference monitor 截圖(項目示範畫面,非 0.1.45 版受控基準測試)

Strata 開發者以 AMD Radeon R9700 32GB 顯示卡測試 Qwen3.6-35B-A3B,並與 llama.cpp server 比較多請求吞吐。公佈結果中,1、2、4、8 個請求分別錄得 83.9、173.5、252、325 tokens/s;對照組為 73.8、107、165、208 tokens/s,約為 1.14 至 1.61 倍。這些是指定模型、硬件及測試流程下的開發者數據,不代表所有顯示卡、模型或單人聊天都會有相同提升。

新版亦改善低於 24GB VRAM 的 NVIDIA 顯示卡使用圖片功能時的記憶體取捨:安裝器可選用 CPU 圖片編碼器,避免視覺編碼器佔用一部分 GPU 記憶體。官方列出的限制包括圖片處理會較慢,而且部分進階路徑仍未在 Windows 硬件上完整測試;有些實驗性效能開關亦可能反而變慢或引發問題,應先看版本說明,不宜一律照抄網上參數。

對本地 AI 用家,這次更新較實際的方向是同一部工作站可以處理多個並行請求,並開始整合圖片輸入;對個人使用者,是否值得換用仍取決於自己的 GPU、記憶體、作業系統和模型。Apple Silicon 支持已在前一版加入,但目前不應把它理解為所有 Mac 都有免設定的一鍵安裝包。

參考資料

封面截圖:Strata 官方 GitHub README;畫面為專案示範,非 0.1.45 版的控制基準測試。

作者: hkaiweb

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

Social Media Auto Publish Powered By : XYZScripts.com