Dessa AI：テキストを一度も見ずに学んだBlockの音声AIモデル
ジャック・ドーシーのBlockが発表したDessa AIは、全二重で会話し、テキストなしで音声だけから言語を学習。MacBookでも動きます。
この記事の他の言語版:العربيةDeutschEnglishEspañolFrançaisItalianoPolski简体中文
10月23日、ジャック・ドーシー率いるBlockがDessa AIを発表しました。人間の話し声の録音だけでゼロから学習した、speech-to-speech型の音声会話モデルです。テキストも、事前学習済みのモデルも一切使っていません。この発表はHacker Newsのトップページに載り、190ポイント近くと数十件のコメントを集めました。
Dessa AIの何が新しいのか？
多くの音声アシスタントは、まず音声をテキストに変換し、言語モデルがテキストで答え、最後にそのテキストを再び音声に変換する、という流れで動いています。その過程で、感情や皮肉、笑い、間（ま）が失われてしまいます。
Dessa AIはこの段階を丸ごと省きます。発表によると、
- テキストを一語も見ていない――人間同士の会話の録音だけから学習しました。Dessaのチームはこれを、文字を見る前に話せるようになる赤ちゃんにたとえています（引用：「Babies learn to talk without ever seeing a word written down」）。
- 全二重（full-duplex）で動作し、聞きながら同時に話せます。「yeah」や「got it」と相づちを打ったり、自然なタイミングで割り込んだり、ため息や震える声に反応したりできます。
- 大規模言語モデルより数百分の一の単語数で言語を身につけました。正確な数はBlockから公表されていません。
- 学習はNVIDIA GB200 NVL72システム1台で行われました。
- テキストベースのリアルタイムモデルより速く、M4 Max以上を搭載したMacBook Proでローカル実行できます。
とはいえBlockによれば、話し言葉の1単語は、同じ単語をテキストで書いた場合の何千倍ものバイト数を占めます。だからこそ、学習に1ラックで足りたというのは驚きです。
Dessaを作ったのは誰か？
研究者6人と数人のインターンという、ごく小さなチームです。率いるのはRagavan Thurairatnam氏で、Blockが2020年に買収したトロントのスタートアップDessaの共同創業者です。AI Polixによると、このラボはドーシー氏に直接報告しており、チームは8年以上にわたって生成音声モデルを開発してきました。
Dessaとの会話はどう聞こえるのか？
Blockは字幕付きの録音を公開しています。思い出せない映画のタイトルを一緒に探したり、結婚記念日のサプライズの話に感激したり、人生相談に乗ったり、スペイン語で歌ったり、当てっこゲームをしたりしています。OpenAIの音声モデルGPT-Live-1との一連の会話もあります。
Hacker Newsでは、会話の滑らかさに感心する声がある一方（あるコメントは「clearly far far superior in terms of fluidity of conversation」と書いています）、聞こえは素晴らしいが「賢さ」はあまりない、という指摘もあります。「The intelligence sounds lacking」というわけです。The Vergeも、会話はおおむね自然だが、ときどきぎこちないと評しています。ある録音では、モデルが相手をロナウドと呼んで挨拶しています ;)
注意すべき点は？
まず、これはすべてBlock自身の主張だということです。論文もベンチマークも、モデルのサイズもライセンスもなく、デモは入念に選ばれたものです。独立した評価が出てくるまでは、一歩引いて見ておきましょう。
次に安全性です。人間そっくりの声は、詐欺師にとってそのまま使える道具にもなります。コメント欄で最も多く見られるのがこの懸念です。Blockは逆の立場を取っています。チームによれば、今のAIは「nearly deaf to the emotion in our voices」で、危機にある人に気づけないかもしれない。感情を聞き取れるモデルなら、もっとうまく対応できるかもしれない、というのです。
Dessa AIを試すには？
今のところ試せません。Dessaのページでウェイトリストに登録でき、AI安全性の研究者は所属機関のメールアドレスで早期アクセスを申請できます。より広い公開の時期は未定で、重みが公開されるかどうかもわかっていません。
もしDessaが本当にノートPCで動くようになれば、自分のマシンで動かせるモデルがまた一つ増えることになります。これについてはガイド記事AIをローカルで動かす方法で書きました。比較のために挙げると、すぐに使える音声APIとしては、たとえばMistralのVoxtral 3がありますが、こちらは文字起こしを挟む従来の方式です。
よくある質問
Dessa AIとは？
Block（ジャック・ドーシーの会社）による実験的な音声会話モデルです。音声をテキストに変換せず、音声を直接受け取って直接生成し、聞きながら同時に話すことができます。
Dessa AIは無料で使える？
現時点では一般公開されていません。Blockは一部のAI安全性研究者にのみ提供しており、ウェイトリストを受け付けています。料金や公開日は発表されていません。
Dessaは日本語を話せる？
Blockは明らかにしていません。公開された録音は主に英語で、スペイン語で歌うものが1本あります。