Voxtral 3：Mistral 打造语音智能体技术栈
Mistral 的 Voxtral 3 包含语音转文字、文字转语音模型和语音智能体 SDK，每分钟 0.0035 美元起。本文介绍它能做什么、价格多少。
本文的其他语言版本：العربيةDeutschEnglishEspañolFrançaisItaliano日本語Polski
10月20日，Mistral 发布了 Voxtral 3，这是一个全新的语音转文字和文字转语音模型家族，同时推出了用于构建语音智能体的 SDK。所有功能都可以通过 Mistral API 使用，发布消息在 Hacker News 的讨论帖中获得了近500分。
Voxtral 3 有哪些新功能？
根据发布公告，Voxtral 3 包含四个模型和一个 SDK：
- Voxtral Small Transcribe 3：最精确的转录模型，支持说话人识别（即所谓的“diarization”）、专业术语提示和话语结束检测。
- Voxtral Mini Transcribe 3：更小的转录模型（4B 参数）。
- Voxtral Mini Transcribe Realtime 3：实时转录，延迟 低于 500 ms，专为智能体设计。
- Voxtral Speech 3：语音合成，可控制情感、语速和重音。据 模型文档，首个音频约在 90 ms 后输出。
此外还有基于 LiveKit 构建的 语音智能体 SDK。聆听、推理、调用工具和说话都在同一个流中完成，据 Mistral 称，每轮对话的处理时间不到一秒。智能体可以使用网页搜索和我们自己系统中的数据，可通过 SIP（也就是普通电话）或 WebRTC 接入。
Voxtral Speech 3 还能克隆声音。基础克隆需要30分钟以上的录音；针对专业用途，Mistral 提供所谓的“Pro Voice”，据公告还能还原说话人的独特风格。
Voxtral 3 多少钱？
公告中的价格：
| 模型 | 价格 |
|---|---|
| Voxtral Small Transcribe 3 | 每分钟 0.004 美元 |
| Voxtral Mini Transcribe 3 | 每分钟 0.0035 美元 |
| Voxtral Mini Transcribe Realtime 3 | 每分钟 0.008 美元 |
| Voxtral Speech 3 | 每 100 万字符 13 美元 |
| 语音智能体 API | 每分钟 0.04 美元（使用 Mistral Small 4）或 0.08 美元（使用其他模型） |
也就是说，用最小的模型转录一小时约需21美分。Mistral 在这里与 Whisper、ElevenLabs、Deepgram 和 Gemini 做了比较，但这些都只是公司自己的测量结果，所以我会等独立测试出来再下判断。
Voxtral 3 支持中文吗？
至少在转录方面，语言覆盖很广。据公告，语音转文字模型支持50多种语言，包括欧盟全部24种官方语言，以 FLEURS 基准评测。
语音合成的情况则没那么清楚。公告提到声音库中有35种以上语言和50种方言，但 文档中的模型卡 只列出了9种语言 （在基于它开发任何东西之前，先在 playground 里试试中文声音）。
有什么问题吗？
有，而这正是 Hacker News 讨论的焦点。之前的 Voxtral 模型是开放权重的（例如 Hugging Face 上的 Voxtral Mini 3B），但 Voxtral 3 的公告既没提权重，也没提许可证。Mistral 写的是“self-deployment on your own infrastructure”，但本地部署需要联系销售团队。一位评论者简短地总结道：“Closed model unfortunately”。
对质量的评价也褒贬不一。有人称赞之前版本的转录和说话人识别，也有人说演示中的新声音听起来更假，并推荐用 Parakeet 做本地转录。所以在看到更广泛的测试之前，我们对公告内容还是要保持谨慎。
如何试用 Voxtral 3？
我们有两种方式：
- Mistral Studio 的 playground：登录 Mistral 控制台 后，可以测试转录、语音合成、声音克隆和语音智能体。
- API：在 控制台 生成密钥，详细信息见 音频文档。端点在欧盟、美国和全球均可用。
如果我们想找能在自己电脑上运行的东西，Voxtral 3 并不合适（至少目前如此）。这时最好选择较早的开放版本，在本地运行 AI。而正在构建快速语音智能体的人，可以把 Voxtral 3 和 Inception 随 Mercury 3 一起发布的 Mercury Voice 做个比较。
FAQ
Voxtral 3 开源吗？
目前没有任何迹象表明它开源。公告没有给出许可证或权重链接，在自有基础设施上部署需要联系 Mistral。开放权重的是较早的 Voxtral 模型。
Voxtral 3 转录多少钱？
从每分钟 0.0035 美元（Voxtral Mini Transcribe 3）到实时模式的每分钟 0.008 美元。语音合成每百万字符 13 美元。
Voxtral 3 和之前的 Voxtral 有什么不同？
之前的版本是单独的转录或语音合成模型，大部分是开放权重。Voxtral 3 则是一整个模型家族，外加语音智能体 SDK，通过 API 提供。