Dessa AI : le modèle vocal de Block qui n'a jamais vu de texte

Le 23 octobre, Block, l’entreprise de Jack Dorsey, a présenté Dessa AI, un modèle de conversation vocale de type speech-to-speech, entraîné de zéro uniquement sur des enregistrements de parole humaine. Sans texte et sans aucun modèle pré-entraîné. L’annonce est arrivée en une de Hacker News, où elle a récolté près de 190 points et quelques dizaines de commentaires.

Qu’est-ce que Dessa AI apporte de nouveau ?

La plupart des assistants vocaux fonctionnent ainsi : la parole est convertie en texte, un modèle de langage répond en texte, puis ce texte est de nouveau transformé en parole. En chemin, on perd les émotions, l’ironie, le rire et les pauses.

Dessa AI saute cette étape. Selon l’annonce :

1. Il n’a jamais vu un seul mot de texte – il a appris uniquement à partir de conversations humaines enregistrées. L’équipe de Dessa compare cela aux bébés, qui apprennent à parler avant de voir un mot écrit (citant « Babies learn to talk without ever seeing a word written down »).
2. Il fonctionne en full duplex, c’est-à-dire qu’il écoute et parle en même temps. Il peut glisser un « yeah » ou un « got it », interrompre au bon moment et réagir à un soupir ou à une voix qui se brise.
3. Il a maîtrisé la langue avec des centaines de fois moins de mots que les grands modèles de langage. Block n’a pas donné le chiffre exact.
4. L’entraînement s’est fait sur un seul système NVIDIA GB200 NVL72.
5. Il est plus rapide que les modèles texte en temps réel et peut tourner en local sur un MacBook Pro M4 Max ou plus puissant.

Certes, selon Block, un mot prononcé occupe des milliers de fois plus d’octets que le même mot écrit - ce qui rend d’autant plus surprenant qu’un seul rack ait suffi pour l’entraînement.

Qui se cache derrière Dessa ?

Une toute petite équipe : six chercheurs et quelques stagiaires. Elle est dirigée par Ragavan Thurairatnam, cofondateur de Dessa, la startup torontoise rachetée par Block en 2020. Selon AI Polix, le laboratoire rend compte directement à Dorsey, et l’équipe construit des modèles génératifs de parole depuis plus de huit ans.

À quoi ressemblent les conversations avec Dessa ?

Block a publié des enregistrements sous-titrés : Dessa aide quelqu’un à retrouver le titre d’un film qui lui échappe, s’émeut à l’annonce d’une surprise d’anniversaire de mariage, donne des conseils de vie, chante en espagnol et joue aux devinettes. Il y a aussi une série de conversations avec GPT-Live-1, le modèle vocal d’OpenAI.

Sur Hacker News, certains sont impressionnés par la fluidité de la conversation (un commentateur écrit que c’est « clearly far far superior in terms of fluidity of conversation »), mais d’autres font remarquer que ça sonne très bien, sans qu’il y ait beaucoup d’« intelligence » derrière : « The intelligence sounds lacking ». The Verge décrit aussi les conversations comme naturelles pour la plupart, mais parfois maladroites. Dans un enregistrement, le modèle salue son interlocuteur en l’appelant Ronaldo ;)

À quoi faut-il faire attention ?

D’abord, tout cela repose sur les déclarations de Block. Il n’y a ni publication scientifique, ni benchmarks, ni taille du modèle, ni licence, et la démo a été soigneusement choisie. Prenons-la avec du recul en attendant des avis indépendants.

Ensuite, la sécurité. Une voix qui sonne humaine, c’est aussi un outil tout trouvé pour les escrocs, et c’est justement l’inquiétude qui revient le plus souvent dans les commentaires. Block avance l’argument inverse : selon l’équipe, l’IA actuelle est « nearly deaf to the emotion in our voices », elle peut donc passer à côté d’une personne en crise, alors qu’un modèle qui entend les émotions pourrait mieux réagir.

Comment tester Dessa AI ?

Pour l’instant, c’est impossible. Sur la page de Dessa, on peut s’inscrire sur liste d’attente, et les chercheurs en sécurité de l’IA peuvent demander un accès anticipé avec l’adresse e-mail de leur institution. Aucune date de diffusion plus large, et on ne sait pas non plus si les poids seront ouverts.

Si Dessa arrive vraiment sur les ordinateurs portables, ce sera un modèle de plus à faire tourner chez soi, sujet que j’ai abordé dans mon guide faire tourner une IA en local. À titre de comparaison, une API vocale prête à l’emploi, c’est par exemple Voxtral 3 de Mistral, qui fonctionne toutefois selon le schéma classique avec transcription.

FAQ

Qu’est-ce que Dessa AI ?

C’est un modèle expérimental de conversation vocale signé Block (l’entreprise de Jack Dorsey). Il reçoit et génère directement de l’audio, sans convertir la parole en texte, et peut écouter et parler en même temps.

Dessa AI est-il gratuit ?

Pour l’instant, il n’est pas accessible au public. Block le réserve à quelques chercheurs en sécurité de l’IA et tient une liste d’attente. Aucun tarif ni date de sortie n’a été annoncé.

Dessa parle-t-il français ?

Block ne l’a pas précisé. Les enregistrements publiés sont surtout en anglais, et l’un d’eux montre le modèle chanter en espagnol.