Dessa AI：Block推出的从未见过文本的语音模型

10月23日，Jack Dorsey的公司Block 发布了Dessa AI。这是一款speech-to-speech语音对话模型，完全基于人类说话的录音从零训练而成。没有文本，也没有任何预训练模型。这条消息登上了Hacker News首页，拿到将近190分和几十条评论。

Dessa AI新在哪里？

大多数语音助手的工作方式是：先把语音转成文本，语言模型用文本作答，最后再把文本转回语音。这一路下来，情绪、反讽、笑声和停顿都丢掉了。

Dessa AI跳过了这一步。根据官方介绍：

1. 它一个字的文本都没见过——只从录下来的人类对话中学习。Dessa团队把这比作婴儿在见到书面文字之前就学会了说话（原话是“Babies learn to talk without ever seeing a word written down”）。
2. 它以全双工（full-duplex）方式工作，也就是边听边说。它能插一句“yeah”或“got it”，在自然的时机打断对方，还能对一声叹气或哽咽的声音做出反应。
3. 它掌握语言所用的词量比大语言模型少几百倍。Block没有给出确切数字。
4. 训练只用了一台NVIDIA GB200 NVL72系统。
5. 它比实时文本模型更快，并且可以在搭载M4 Max或更高配置的MacBook Pro上本地运行。

不过，按Block的说法，一个说出口的词所占的字节数是同一个词写成文本的几千倍——这样看来，训练只用了一个机架就更让人意外了。

Dessa背后是谁？

一个非常小的团队：六名研究员加几名实习生。负责人是Ragavan Thurairatnam，他是多伦多初创公司Dessa的联合创始人，Block在2020年收购了这家公司。据AI Polix报道，该实验室直接向Dorsey汇报，团队研发生成式语音模型已有八年多。

和Dessa聊天是什么感觉？

Block公布了带字幕的录音：Dessa帮人想起一时记不起的电影名，听到结婚纪念日惊喜的消息时很感动，给出人生建议，用西班牙语唱歌，还玩猜谜游戏。另外还有一组它和OpenAI语音模型GPT-Live-1的对话。

在Hacker News上，有人对对话的流畅度印象深刻（一位评论者写道，它“clearly far far superior in terms of fluidity of conversation”），也有人指出它听起来很棒，但没什么“智慧”，原话是“The intelligence sounds lacking”。The Verge也认为这些对话大多很自然，但有时有点尴尬。在一段录音里，模型把对方称作Ronaldo ;)

需要注意什么？

第一，这些都是Block自己的说法。没有论文、没有基准测试、没有模型规模，也没有许可证，演示还是精心挑选过的。在出现独立评价之前，我们还是保持一点距离。

第二，安全问题。听起来像真人的声音，也是骗子现成的工具，评论区里出现最多的正是这种担忧。Block的观点恰恰相反：团队认为，如今的AI“nearly deaf to the emotion in our voices”，可能察觉不到处于危机中的人，而能听出情绪的模型或许能更好地应对。

如何试用Dessa AI？

目前还用不了。在Dessa页面上可以加入等候名单，AI安全研究人员可以用所在机构的邮箱申请抢先体验。更大范围开放的时间还没有公布，权重是否开放也不清楚。

如果Dessa真的能跑在笔记本上，那就又多了一个可以在自己电脑上运行的模型，这一点我在如何在本地运行AI的教程里写过。作为对比，现成可用的语音API有例如Mistral的Voxtral 3，不过它走的是传统的转写方案。

常见问题

Dessa AI是什么？

它是Block（Jack Dorsey的公司）推出的实验性语音对话模型。它直接接收和生成音频，不把语音转成文本，而且能边听边说。

Dessa AI免费吗？

目前还没有公开提供。Block只向部分AI安全研究人员开放，并设有等候名单。价格和发布日期都还没有公布。

Dessa会说中文吗？

Block没有说明。已公布的录音主要是英语，另有一段用西班牙语唱歌。