Dessa AI, il modello vocale di Block che non ha mai visto un testo

Il 23 ottobre Block, l’azienda di Jack Dorsey, ha presentato Dessa AI, un modello di conversazione vocale di tipo speech-to-speech addestrato da zero esclusivamente su registrazioni di voce umana. Niente testo e nessun modello preaddestrato. L’annuncio è finito in prima pagina su Hacker News, dove ha raccolto quasi 190 punti e qualche decina di commenti.

Cosa c’è di nuovo in Dessa AI?

La maggior parte degli assistenti vocali funziona così: la voce viene trasformata in testo, un modello linguistico risponde con del testo e alla fine quel testo torna a essere voce. Lungo la strada si perdono emozioni, ironia, risate e pause.

Dessa AI salta questo passaggio. Secondo l’annuncio:

1. Non ha mai visto una sola parola di testo: ha imparato solo da conversazioni registrate tra persone. Il team di Dessa lo paragona ai bambini, che imparano a parlare prima di vedere una parola scritta (citando «Babies learn to talk without ever seeing a word written down»).
2. Funziona in full duplex, cioè ascolta e parla allo stesso tempo. Può inserire un «yeah» o un «got it», interrompere al momento giusto e reagire a un sospiro o a una voce che si incrina.
3. Ha imparato la lingua con centinaia di volte meno parole rispetto ai grandi modelli linguistici. Block non ha fornito il numero esatto.
4. L’addestramento si è svolto su un solo sistema NVIDIA GB200 NVL72.
5. È più veloce dei modelli testuali in tempo reale e si può eseguire in locale su un MacBook Pro con M4 Max o superiore.

Va detto che, secondo Block, una parola pronunciata occupa migliaia di volte più byte della stessa parola scritta - il che rende ancora più sorprendente che per l’addestramento sia bastato un solo rack.

Chi c’è dietro Dessa?

Un team piccolissimo: sei ricercatori e qualche stagista. Lo guida Ragavan Thurairatnam, cofondatore di Dessa, la startup di Toronto acquisita da Block nel 2020. Secondo AI Polix, il laboratorio riporta direttamente a Dorsey e il team sviluppa modelli generativi della voce da oltre otto anni.

Come suonano le conversazioni con Dessa?

Block ha pubblicato registrazioni sottotitolate: Dessa aiuta qualcuno a ricordare il titolo di un film che gli sfugge, si commuove alla notizia di una sorpresa per l’anniversario, dà consigli di vita, canta in spagnolo e gioca agli indovinelli. C’è anche una serie di conversazioni con GPT-Live-1, il modello vocale di OpenAI.

Su Hacker News alcuni sono colpiti dalla fluidità della conversazione (un commentatore scrive che è «clearly far far superior in terms of fluidity of conversation»), ma altri fanno notare che suona benissimo, solo che di «intelligenza» ce n’è poca: «The intelligence sounds lacking». Anche The Verge descrive le conversazioni come per lo più naturali, ma a tratti impacciate. In una registrazione il modello saluta l’interlocutore chiamandolo Ronaldo ;)

A cosa fare attenzione?

Primo: sono tutte dichiarazioni di Block. Non ci sono pubblicazioni scientifiche, benchmark, dimensioni del modello né licenza, e la demo è stata scelta con cura. Prendiamola con le pinze finché non arrivano pareri indipendenti.

Secondo: la sicurezza. Una voce che sembra umana è anche uno strumento pronto all’uso per i truffatori, ed è proprio la preoccupazione che torna più spesso nei commenti. Block sostiene il contrario: secondo il team, l’IA di oggi è «nearly deaf to the emotion in our voices», quindi può non accorgersi di una persona in crisi, mentre un modello che sente le emozioni potrebbe reagire meglio.

Come provare Dessa AI?

Per ora non si può. Sulla pagina di Dessa possiamo iscriverci alla lista d’attesa, e i ricercatori di sicurezza dell’IA possono chiedere l’accesso anticipato indicando l’e-mail del proprio istituto. Non c’è una data per un rilascio più ampio, e non si sa nemmeno se i pesi saranno aperti.

Se Dessa arriverà davvero sui portatili, sarà un altro modello da far girare in casa, di cui ho parlato nella guida come usare l’AI in locale. Per confronto, un’API vocale pronta all’uso è per esempio Voxtral 3 di Mistral, che però funziona con il classico schema basato sulla trascrizione.

FAQ

Che cos’è Dessa AI?

È un modello sperimentale di conversazione vocale di Block (l’azienda di Jack Dorsey). Riceve e genera audio direttamente, senza convertire la voce in testo, e sa ascoltare e parlare allo stesso tempo.

Dessa AI è gratuita?

Per ora non è disponibile al pubblico. Block la rende accessibile solo ad alcuni ricercatori di sicurezza dell’IA e gestisce una lista d’attesa. Non sono stati annunciati prezzi né una data di lancio.

Dessa parla italiano?

Block non l’ha detto. Le registrazioni pubblicate sono soprattutto in inglese, più una in cui canta in spagnolo.