Dessa AI, czyli model głosowy Blocka, który nie widział tekstu

23 października Block, firma Jacka Dorseya, pokazał Dessę, model do rozmowy głosowej typu speech-to-speech, wytrenowany od zera wyłącznie na nagraniach ludzkiej mowy. Bez tekstu i bez żadnego wcześniej wytrenowanego modelu. Ogłoszenie trafiło na pierwszą stronę Hacker News, gdzie zebrało prawie 190 punktów i kilkadziesiąt komentarzy.

Co w tym nowego?

Większość asystentów głosowych działa tak, że mowa zamienia się w tekst, model językowy odpowiada tekstem, a na końcu tekst znowu zamienia się w mowę. Po drodze giną emocje, ironia, śmiech i pauzy.

Dessa AI pomija ten etap. Według zapowiedzi:

1. Nie widziała ani jednego słowa tekstu – uczyła się wyłącznie z nagranych rozmów ludzi. Zespół Dessy porównuje to do dzieci, które uczą się mówić, zanim zobaczą zapisane słowo (cytując „Babies learn to talk without ever seeing a word written down”).
2. Działa w pełnym dupleksie (full-duplex), czyli słucha i mówi jednocześnie. Może wtrącić „yeah” albo „got it”, przerwać w naturalnym momencie i zareagować na westchnienie czy łamiący się głos.
3. Język opanował z setek razy mniejszej liczby słów niż duże modele językowe. Dokładnej liczby Block nie podał.
4. Trening odbył się na jednym systemie NVIDIA GB200 NVL72.
5. Działa szybciej niż tekstowe modele w czasie rzeczywistym i można go uruchomić lokalnie na MacBooku Pro z M4 Max lub mocniejszym.

Co prawda, według Blocka jedno wypowiedziane słowo zajmuje tysiące razy więcej bajtów niż to samo słowo zapisane tekstem - tym bardziej zaskakuje, że do treningu wystarczył jeden rack.

Kto stoi za Dessą?

Bardzo mały zespół, sześciu badaczy i kilku stażystów. Kieruje nim Ragavan Thurairatnam, współzałożyciel torontońskiego startupu Dessa, który Block przejął w 2020 roku. Według AI Polix, laboratorium raportuje bezpośrednio do Dorseya, a zespół buduje generatywne modele mowy od ponad ośmiu lat.

Jak brzmią rozmowy z Dessą?

Block opublikował nagrania z napisami: Dessa podpowiada rozmówcy tytuł filmu, którego nie może sobie przypomnieć, reaguje wzruszeniem na wiadomość o niespodziance na rocznicę, daje rady życiowe, śpiewa po hiszpańsku i gra w zgadywanki. Jest też seria rozmów z GPT-Live-1, modelem głosowym OpenAI.

Na Hacker News część osób jest pod wrażeniem płynności rozmowy (jeden z komentujących pisze, że to „clearly far far superior in terms of fluidity of conversation”), ale inni zwracają uwagę, że brzmi świetnie, tylko „mądrości” w tym niewiele, cytując „The intelligence sounds lacking”. The Verge też opisuje rozmowy jako w większości naturalne, ale momentami niezręczne. W jednym nagraniu model wita rozmówcę jako Ronaldo ;)

Na co zwrócić uwagę?

Po pierwsze, na to, że wszystko to deklaracje Blocka. Nie ma publikacji naukowej, benchmarków, rozmiaru modelu ani licencji, a demo zostało starannie wybrane. Traktujmy je z dystansem, dopóki nie pojawią się niezależne opinie.

Po drugie, na bezpieczeństwo. Głos, który brzmi jak człowiek, to też gotowe narzędzie dla oszustów, i w komentarzach to właśnie ta obawa wraca najczęściej. Block argumentuje odwrotnie: według zespołu dzisiejsza AI jest „nearly deaf to the emotion in our voices”, więc może nie zauważyć osoby w kryzysie, a model, który słyszy emocje, mógłby reagować lepiej.

Jak wypróbować Dessa AI?

Na razie się nie da. Na stronie Dessy możemy zapisać się na listę oczekujących, a badacze bezpieczeństwa AI mogą poprosić o wczesny dostęp, podając adres e-mail instytucji. Daty szerszego udostępnienia nie ma, nie wiadomo też, czy wagi będą otwarte.

Jeśli Dessa faktycznie trafi na laptopy, będzie to kolejny model do uruchomienia u siebie, o czym pisałem w poradniku jak uruchomić AI lokalnie. Dla porównania, gotowe do użycia głosowe API to np. Voxtral 3 od Mistrala, który działa jednak w klasycznym schemacie z transkrypcją.

FAQ

Czym jest Dessa AI?

To eksperymentalny model do rozmowy głosowej od Blocka (firmy Jacka Dorseya). Przyjmuje i generuje dźwięk bezpośrednio, bez zamiany mowy na tekst, i potrafi jednocześnie słuchać i mówić.

Czy Dessa AI jest dostępna za darmo?

Na razie nie jest dostępna publicznie. Block udostępnia ją tylko wybranym badaczom bezpieczeństwa AI i prowadzi listę oczekujących. Cennika ani daty premiery nie podano.

Czy Dessa mówi po polsku?

Block tego nie podał. Opublikowane nagrania są głównie po angielsku, jest też jedno z hiszpańskim śpiewem.