Dessa AI: el modelo de voz de Block que nunca vio un texto

El 23 de octubre, Block, la empresa de Jack Dorsey, presentó Dessa AI, un modelo de conversación por voz de tipo speech-to-speech entrenado desde cero únicamente con grabaciones de habla humana. Sin texto y sin ningún modelo preentrenado. El anuncio llegó a la portada de Hacker News, donde reunió casi 190 puntos y varias decenas de comentarios.

¿Qué tiene de nuevo Dessa AI?

La mayoría de los asistentes de voz funcionan así: la voz se convierte en texto, un modelo de lenguaje responde con texto y, al final, ese texto vuelve a convertirse en voz. Por el camino se pierden las emociones, la ironía, la risa y las pausas.

Dessa AI se salta ese paso. Según el anuncio:

1. No ha visto ni una sola palabra de texto: aprendió solo de conversaciones grabadas entre personas. El equipo de Dessa lo compara con los bebés, que aprenden a hablar antes de ver una palabra escrita (citando «Babies learn to talk without ever seeing a word written down»).
2. Funciona en dúplex completo (full-duplex), es decir, escucha y habla a la vez. Puede soltar un «yeah» o un «got it», interrumpir en un momento natural y reaccionar a un suspiro o a una voz que se quiebra.
3. Aprendió el idioma con cientos de veces menos palabras que los grandes modelos de lenguaje. Block no dio la cifra exacta.
4. El entrenamiento se hizo en un solo sistema NVIDIA GB200 NVL72.
5. Es más rápido que los modelos de texto en tiempo real y se puede ejecutar en local en un MacBook Pro con M4 Max o superior.

Eso sí, según Block una palabra hablada ocupa miles de veces más bytes que la misma palabra escrita - lo que hace aún más sorprendente que bastara un solo rack para entrenarlo.

¿Quién está detrás de Dessa?

Un equipo muy pequeño: seis investigadores y algunos becarios. Lo dirige Ragavan Thurairatnam, cofundador de Dessa, la startup de Toronto que Block compró en 2020. Según AI Polix, el laboratorio reporta directamente a Dorsey y el equipo lleva más de ocho años creando modelos generativos de voz.

¿Cómo suenan las conversaciones con Dessa?

Block publicó grabaciones subtituladas: Dessa ayuda a alguien a recordar el título de una película que no le viene a la cabeza, se emociona con la noticia de una sorpresa de aniversario, da consejos de vida, canta en español y juega a las adivinanzas. También hay una serie de conversaciones con GPT-Live-1, el modelo de voz de OpenAI.

En Hacker News, a parte de la gente le impresiona la fluidez de la conversación (un comentarista escribe que es «clearly far far superior in terms of fluidity of conversation»), pero otros señalan que suena genial, aunque hay poca «inteligencia» detrás: «The intelligence sounds lacking». The Verge también describe las conversaciones como naturales en su mayoría, pero algo torpes por momentos. En una grabación, el modelo saluda a su interlocutor como Ronaldo ;)

¿Qué hay que tener en cuenta?

Primero, que todo esto son afirmaciones de Block. No hay artículo científico, ni benchmarks, ni tamaño del modelo, ni licencia, y la demo se eligió con cuidado. Conviene tomarla con cautela hasta que aparezcan opiniones independientes.

Segundo, la seguridad. Una voz que suena humana también es una herramienta lista para estafadores, y es justo la preocupación que más se repite en los comentarios. Block argumenta lo contrario: según el equipo, la IA actual está «nearly deaf to the emotion in our voices», así que puede no darse cuenta de que una persona está en crisis, mientras que un modelo que oye las emociones podría reaccionar mejor.

¿Cómo probar Dessa AI?

De momento no se puede. En la página de Dessa podemos apuntarnos a la lista de espera, y los investigadores en seguridad de IA pueden pedir acceso anticipado con el correo de su institución. No hay fecha para un lanzamiento más amplio, y tampoco se sabe si los pesos serán abiertos.

Si Dessa llega de verdad a los portátiles, será otro modelo para ejecutar en tu propio equipo, algo de lo que hablé en la guía cómo ejecutar IA en local. Como comparación, una API de voz lista para usar es, por ejemplo, Voxtral 3 de Mistral, que sin embargo funciona con el esquema clásico de transcripción.

FAQ

¿Qué es Dessa AI?

Es un modelo experimental de conversación por voz de Block (la empresa de Jack Dorsey). Recibe y genera audio directamente, sin convertir la voz en texto, y puede escuchar y hablar a la vez.

¿Dessa AI es gratis?

Por ahora no está disponible al público. Block solo da acceso a algunos investigadores en seguridad de IA y tiene una lista de espera. No se han anunciado precios ni fecha de lanzamiento.

¿Dessa habla español?

Block no lo ha dicho. Las grabaciones publicadas son sobre todo en inglés, y hay una en la que canta en español.