Voxtral 3 語音代理管線示意圖:聆聽、思考與工具呼叫、應答(HKAIWeb 原創)

語音代理(voice agent)過去要拼湊多個供應商:一家做語音轉寫(STT)、一家做推理、一家做語音合成(TTS),每段之間各自承擔延遲與整合成本。Mistral 在 2026 年 10 月 20 日發布的 Voxtral 3,試圖把這三塊放進同一條實時串流管線。

第一手公告實際說了甚麼

Mistral 官方新聞稿把 Voxtral 3 定位為「新一代語音轉寫與語音合成模型家族,加上一個把聆聽、思考、工具呼叫與說話放進同一實時串流管線的語音代理 SDK」。官方指出,可靠的語音代理必須同時做好四件事:跨語言、口音、說話者與打斷情況下準確聆聽;在特定上下文中深入推理意圖;自然地帶情感與表達地說;以及透過連接的系統跨多個步驟執行行動。

Voxtral 3 語音代理管線示意圖:左為聆聽(Transcribe 3,50+ 語言、說話者分離、說完檢測),中為思考與工具呼叫(推理模型加 LiveKit 語音代理 SDK),右為應答(Mini TTS 3,35+ 語言、50+ 方言、Pro Voice);下方標示單一實時串流管線與定價。
Voxtral 3 語音代理管線三段結構(HKAIWeb 原創繪製,CC BY 4.0)

① 聆聽:Transcribe 3

  • Voxtral Small Transcribe 3:官方稱在多語言轉寫上達到同級最佳,支援 50+ 語言(包括 24 個歐盟官方語言,以及較少資源的亞洲與印度語言),具備說話者分離(diarization)、以關鍵詞提升專有名詞準確度的上下文偏置(context-biasing),以及「說完檢測」(end-of-turn detection)——讓代理知道何時可以接話。
  • Voxtral Mini Transcribe 3:官方文件註明為 40 億(4B)參數,官方稱具 32K token 上下文窗口。
  • Voxtral Mini Transcribe Realtime 3:為代理設計的實時串流轉寫,官方稱延遲低於 500 毫秒,即在使用者詞彙與說話者分離時亦然。

② 思考與工具呼叫

管線中段由通用推理模型(如 Mistral Small)負責理解意圖、拆解多步驟請求,並呼叫外部工具與系統。官方列出的應用場景包括服務台、虛擬助理與免提副駕駛,代理可在對話中查詢資料、與業務系統對接,並執行涉及多個步驟的任務。

語音代理 SDK 建於 LiveKit 之上,把實時轉寫模型、推理模型與語音合成模型串成一條管線;代理可處理 SIP 通話,並可在瀏覽器與應用程式中透過 WebRTC 運行,連接既有電話系統與客服中心軟件。Mistral 亦稱整套流程「每次來回少於 1 秒」,但官方公告未附可獨立重現的端到端延遲測試數據,本文按廠商說法標示。

③ 應答:Speech 3

  • Voxtral Mini TTS 3:Mistral 新聞稿稱支援 35+ 語言、50+ 方言,會按對話上下文調節情感、節奏與重音,亦可以標籤逐行指定(例如 [emotion=sad][pace=slow] 一類設定)。需注意同日官方 TTS 3 模型卡寫「Supports 9 languages」,兩者數字不同;該模型卡亦標示為 Public Preview Premier v3.0,即仍屬預覽階段的託管供應。引用時請以模型卡為準。
  • Pro Voice:Mistral 新聞稿稱可「using just 30 minutes of audio」複製說話者的聲線、情感表達與風格;官方 Voices 文件對自訂語音建議收集 30 分鐘至 3 小時錄音,並非 30 分鐘上限。

定價

多家媒體從 Mistral 定價頁取得的數字一致:轉寫由每分鐘 0.0035 美元起(Small 為 0.0040 美元、實時版 0.008 美元),語音合成為每百萬字符 13 美元。Mistral 稱此價格低於 OpenAI TTS-1、Deepgram、ElevenLabs Flash 與 Gemini Flash 的同類服務。 Artificial Analysis 的獨立比較亦顯示,Voxtral 3 TTS 定價低於 Gemini 3.8 Flash TTS(每百萬字符 16.5 美元)與 ElevenLabs v4 Turbo(40 美元),但高於 Simba 3.2(6.6 美元)。

獨立評測怎麼說

Artificial Analysis 對整個家族進行了實測,其公開結果(非 Mistral 自評)顯示:

  • 語音轉寫:Voxtral Small Transcribe 3 在其語音轉寫排行榜位列第 3,AA-WER Index 為 2.1%,略優於 ElevenLabs Scribe v2(2.2%)與 Grok Voice Transcribe 2.0(2.3%);Voxtral Mini Transcribe 3 位列第 5(2.2%)。
  • 串流轉寫:Voxtral Mini Transcribe Realtime 3 在 960 毫秒設定下取得 3.3% final-transcript AA-WER(46 個模型中第 6),480 毫秒設定下為 3.6%,較上一代 Voxtral Mini Transcribe Realtime 的 5.2% 有改善。
  • 語音合成:其所測的 Voxtral 3 TTS 在兩個文本轉語音競技場均位列第 12(2026-10-20 收集時快照;AA 排名屬動態資料,會隨新模型上架變動)。

需要留意:這些排名衡量個別模型能力,並不衡量整條代理管線的端到端表現。Artificial Analysis 亦明確指出這一點。

為何值得 HKAIWeb 讀者留意

對開發者而言,真正的變化不是單一模型的分數,而是整合面。把 STT、LLM、TTS 三個供應商收成一條 SDK,意味着少了兩個整合點,也少了兩段各自累積的延遲;配合 LiveKit 對 WebRTC 與 SIP 的支援,從瀏覽器 demo 走到客服中心電話線的門檻也隨之降低。對香港及亞洲讀者特別的一點是:新版轉寫明確擴展至較少資源的亞洲與印度語言,粵語、普通话等場景的實際表現雖未見獨立基準,但方向明確。

另一個值得留意的是部署選擇。Mistral 把 Voxtral 3 歸類為「主權部署」——可經歐盟託管的 API 使用,也可在自家基礎設施上運行,讓機構自行決定音頻在哪裡處理、數據如何處理、對話是否保留。對需要控制音頻處理地點、數據處理與對話保留方式的機構,這是實質的部署控制項;但可自行部署本身不等於符合 PIPL、GDPR 或香港 PDPO,各地要求不同,合規評估需另行進行。

限制與未確定事項

  • 初步判定並非開放權重,但官方未發佈 blanket 聲明。已核實 Mini TTS 3、Mini Transcribe 3 模型卡均標為 Public Preview Premier v3.0,屬託管/API 供應類別;多篇報導與社群討論亦指出 Voxtral 3 系列不是 open-weight 模型。「可自行部署」不等於開源,自建仍需遵守 Mistral 的授權條款。
  • 同級最佳說法屬官方自評。「state-of-the-art」「outperforms Whisper、Scribe v2 與 Gemini 3.5 Transcribe」等表述來自 Mistral;第三方數據目前主要來自 Artificial Analysis,且僅覆蓋個別模型而非完整管線。
  • 延遲數字為官方值,未見獨立端到端測試。「sub-500ms」見於 Realtime 3 說明;「每次來回少於 1 秒」亦為 Mistral 說法,本文未找到可獨立重現的端到端測量,不作為端到端承諾。
  • 實際噪音與口音表現需自行實測。社群建議以自家最差的通話錄音(含口音、背景噪音、多人插話)作實測,而非依賴基准分數。

來源

圖片來源及授權:本文配圖由 HKAIWeb 以 Pillow 及 Noto Sans CJK 原創繪製,授權 CC BY 4.0,由 HKAIWeb 署名。圖中資料整理自 Mistral 官方公告及 Artificial Analysis 公開評測,屬事實性資料彙總,不含任何第三方圖片。

作者: hkaiweb

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

Social Media Auto Publish Powered By : XYZScripts.com