Dessa AI: das Sprachmodell von Block, das nie einen Text gesehen hat

Am 23. Oktober hat Block, das Unternehmen von Jack Dorsey, Dessa AI vorgestellt: ein Speech-to-Speech-Modell für Sprachgespräche, das von Grund auf ausschließlich mit Aufnahmen menschlicher Sprache trainiert wurde. Ohne Text und ohne ein vorab trainiertes Modell. Die Ankündigung landete auf der Startseite von Hacker News und sammelte dort fast 190 Punkte und einige Dutzend Kommentare.

Was ist neu an Dessa AI?

Die meisten Sprachassistenten funktionieren so: Gesprochenes wird in Text umgewandelt, ein Sprachmodell antwortet mit Text, und am Ende wird dieser Text wieder in Sprache verwandelt. Unterwegs gehen Emotionen, Ironie, Lachen und Pausen verloren.

Dessa AI überspringt diesen Schritt. Laut Ankündigung:

1. Es hat kein einziges Wort Text gesehen – gelernt hat es nur aus aufgezeichneten Gesprächen von Menschen. Das Dessa-Team vergleicht das mit Babys, die sprechen lernen, bevor sie je ein geschriebenes Wort sehen (Zitat: „Babies learn to talk without ever seeing a word written down“).
2. Es arbeitet im Vollduplex (full-duplex), hört also zu und spricht gleichzeitig. Es kann ein „yeah“ oder „got it“ einwerfen, an einer natürlichen Stelle unterbrechen und auf ein Seufzen oder eine brüchige Stimme reagieren.
3. Sprache hat es mit hundertfach weniger Wörtern gelernt als große Sprachmodelle. Eine genaue Zahl hat Block nicht genannt.
4. Trainiert wurde auf einem einzigen System NVIDIA GB200 NVL72.
5. Es ist schneller als textbasierte Echtzeitmodelle und lässt sich lokal auf einem MacBook Pro mit M4 Max oder stärker ausführen.

Dabei belegt laut Block ein gesprochenes Wort tausendfach mehr Bytes als dasselbe Wort als Text - umso überraschender, dass für das Training ein einziges Rack gereicht hat.

Wer steckt hinter Dessa?

Ein sehr kleines Team: sechs Forschende und ein paar Praktikanten. Geleitet wird es von Ragavan Thurairatnam, Mitgründer des Startups Dessa aus Toronto, das Block 2020 übernommen hat. Laut AI Polix berichtet das Labor direkt an Dorsey, und das Team baut seit über acht Jahren generative Sprachmodelle.

Wie klingen Gespräche mit Dessa?

Block hat Aufnahmen mit Untertiteln veröffentlicht: Dessa hilft jemandem auf den Titel eines Films, der ihm nicht einfällt, reagiert gerührt auf die Nachricht von einer Überraschung zum Jahrestag, gibt Lebensratschläge, singt auf Spanisch und spielt Ratespiele. Dazu kommt eine Reihe von Gesprächen mit GPT-Live-1, dem Sprachmodell von OpenAI.

Auf Hacker News sind manche von der flüssigen Unterhaltung beeindruckt (ein Kommentator schreibt, es sei „clearly far far superior in terms of fluidity of conversation“), andere merken an, dass es zwar großartig klingt, aber nicht viel „Klugheit“ dahintersteckt: „The intelligence sounds lacking“. Auch The Verge beschreibt die Gespräche als größtenteils natürlich, stellenweise aber unbeholfen. In einer Aufnahme begrüßt das Modell sein Gegenüber als Ronaldo ;)

Worauf sollte man achten?

Erstens: Das alles sind Angaben von Block. Es gibt kein wissenschaftliches Paper, keine Benchmarks, keine Modellgröße und keine Lizenz, und die Demo wurde sorgfältig ausgewählt. Sehen wir sie mit Abstand, bis unabhängige Einschätzungen vorliegen.

Zweitens: Sicherheit. Eine Stimme, die wie ein Mensch klingt, ist auch ein fertiges Werkzeug für Betrüger, und genau diese Sorge taucht in den Kommentaren am häufigsten auf. Block argumentiert andersherum: Laut dem Team ist heutige KI „nearly deaf to the emotion in our voices“, kann also einen Menschen in einer Krise übersehen, während ein Modell, das Emotionen hört, besser reagieren könnte.

Wie kann man Dessa AI ausprobieren?

Vorerst gar nicht. Auf der Dessa-Seite kann man sich auf die Warteliste setzen lassen, und Forschende im Bereich KI-Sicherheit können mit der E-Mail-Adresse ihrer Institution frühen Zugang beantragen. Ein Datum für eine breitere Freigabe gibt es nicht, und ob die Gewichte offen sein werden, ist ebenfalls unklar.

Falls Dessa tatsächlich auf Laptops landet, wäre es ein weiteres Modell zum Selbstbetrieb, worüber ich in der Anleitung KI lokal ausführen geschrieben habe. Zum Vergleich: Eine sofort nutzbare Sprach-API ist etwa Voxtral 3 von Mistral, die allerdings nach dem klassischen Schema mit Transkription arbeitet.

FAQ

Was ist Dessa AI?

Ein experimentelles Modell für Sprachgespräche von Block (dem Unternehmen von Jack Dorsey). Es nimmt Audio direkt auf und erzeugt es direkt, ohne Sprache in Text umzuwandeln, und kann gleichzeitig zuhören und sprechen.

Ist Dessa AI kostenlos verfügbar?

Bisher ist es nicht öffentlich verfügbar. Block gibt es nur ausgewählten Forschenden im Bereich KI-Sicherheit und führt eine Warteliste. Preise oder ein Starttermin wurden nicht genannt.

Spricht Dessa Deutsch?

Das hat Block nicht angegeben. Die veröffentlichten Aufnahmen sind überwiegend auf Englisch, dazu kommt eine mit spanischem Gesang.