開源本地推理引擎 Strata 在 10 月 17 日推出 0.1.45。更新重點包括 Qwen3.6-35B-A3B 的圖片輸入、多個請求同時處理、伺服器開關設定,以及 Mac 和安卓流程修正。這是接續早前 0.1.44 加入 Apple Silicon 支持後的更新;KOCPC 指 Mac 版本當時需由原始碼建置。

Strata 開發者以 AMD Radeon R9700 32GB 顯示卡測試 Qwen3.6-35B-A3B,並與 llama.cpp server 比較多請求吞吐。公佈結果中,1、2、4、8 個請求分別錄得 83.9、173.5、252、325 tokens/s;對照組為 73.8、107、165、208 tokens/s,約為 1.14 至 1.61 倍。這些是指定模型、硬件及測試流程下的開發者數據,不代表所有顯示卡、模型或單人聊天都會有相同提升。
新版亦改善低於 24GB VRAM 的 NVIDIA 顯示卡使用圖片功能時的記憶體取捨:安裝器可選用 CPU 圖片編碼器,避免視覺編碼器佔用一部分 GPU 記憶體。官方列出的限制包括圖片處理會較慢,而且部分進階路徑仍未在 Windows 硬件上完整測試;有些實驗性效能開關亦可能反而變慢或引發問題,應先看版本說明,不宜一律照抄網上參數。
對本地 AI 用家,這次更新較實際的方向是同一部工作站可以處理多個並行請求,並開始整合圖片輸入;對個人使用者,是否值得換用仍取決於自己的 GPU、記憶體、作業系統和模型。Apple Silicon 支持已在前一版加入,但目前不應把它理解為所有 Mac 都有免設定的一鍵安裝包。
參考資料
封面截圖:Strata 官方 GitHub README;畫面為專案示範,非 0.1.45 版的控制基準測試。