文字を一切使わず「会話」だけで言語を習得したAI「Dessa」が登場、人間のような自然な対話を目指す

Blockは、会話音声だけを使ってゼロから学習したという音声AI「Dessa」を研究プレビューとして公開した。同社によると、学習にはテキストデータも事前学習済みモデルも使用していない。Dessaは音声を直接受け取り、音声で応答するモデルで、相手の話を聞きながら同時に発話できる「全二重（Full-Duplex）」に対応している。ただし、音声を直接処理することと、テキストを使わずに言語を学習することは別の技術的な特徴だ。Dessaの注目すべき点は、自然な音声対話の実現だけでなく、文字に頼らず会話音声から言語や知識を習得しようとしていることにある。

声の抑揚や会話のタイミングまで学習

Blockが公開したDessaのデモでは、相手が話している途中で笑ったり、声を大きくするよう求められると実際に声量を上げたりする様子が確認できる。また、映画のタイトルを思い出そうとしている相手の言葉を補う場面も紹介された。いずれも、相手の発言が終わってから回答を生成する従来型の音声対話とは異なり、会話の流れに合わせて反応する仕組みを示したものだ。

全二重とは、相手の発話を聞く処理と、自分が発話する処理を同時に行える方式を指す。相づちを打ったり、相手の言葉に割り込んだりするために、発話が完全に終わるのを待つ必要がない。一方、音声の直接入出力は、音声をどのような形式で受け取り、どのように出力するかに関する設計だ。この二つを組み合わせることで、言葉の内容だけでなく、声の抑揚や笑い、発話のタイミングなども対話モデルが扱う対象となる。

通常のテキストでは、ため息や沈黙の間、皮肉を込めた声色といった情報を十分に表現できない。Blockによると、Dessaはこうした音声特有の情報を処理し、相づちや割り込みのタイミングも自ら判断する。さらに、学習には「テキストも事前学習済みモデルも使わない」という方針を採用した。テキストから学習した言語モデルに音声機能を追加するのではなく、人間の会話音声そのものから言語を習得させる試みである。

Blockは、公開した会話クリップについて、人間とDessaが実際に対話した際の録音だと説明している。人間が裏側で操作することなく、モデル自身が発話内容やタイミング、声の出し方を決定しており、字幕は録音後に追加したという。ただし、これらは開発元が選んだデモであり、一般的な会話で同じ品質が得られるとは限らない。涙声のような応答や驚いて息をのむ表現ができても、それだけでAIが感情を持っていることや、相手の感情を正しく理解していることの証明にはならない。

学習には72基のGPUを使用、推論はMacBook Proで動作

Blockによると、Dessaの学習にはNVIDIAの「GB200 NVL72」を1ラック使用した。NVIDIAの公式仕様によれば、GB200 NVL72は72基のBlackwell GPUと36基のGrace CPUを高速インターコネクトで接続した液冷システムだ。「1ラック」という表現から小規模な学習環境を想像しがちだが、一般的なPCとは大きく異なる計算資源を投入している。

一方、学習済みのDessaを使って会話する推論処理は、M4 Max以上を搭載したMacBook Proでローカル実行できるという。大規模な計算資源を必要とする学習と、完成したモデルを動かす推論は別の工程であり、必要なハードウェアも異なる。MacBook Proで動作するという説明は、あくまで推論時の動作環境を示したもので、学習に必要な計算量が少ないことを意味するわけではない。

Blockは、Dessaの推論処理について、リアルタイムよりも速く実行できるとも説明している。ただし、音声を生成する速度と、相手の発話を受けて最初の応答が始まるまでの遅延は別の指標だ。公開された研究紹介には、応答開始までの具体的な遅延時間や測定条件、必要なメモリ容量は掲載されていない。モデルのパラメータ数や量子化の条件も不明なため、対応するMacでどの程度余裕を持って動作するかは判断できない。

学習データの規模についても、Blockは一般的な大規模言語モデル（LLM）が学習する単語数の数百分の一で、Dessaが言語を習得したと主張している。ただし、LLMにはC++などのプログラミング言語を学習する役割もあるため、単純には比較できないことも認めている。比較対象となるモデルや学習単語数の絶対値、同等の能力を基準とした評価結果は示されていない。また、学習期間や総GPU時間、費用も公表されておらず、単語数が少ないことをそのまま学習コストの低さに結びつけることはできない。

先行する音声AI「Moshi」との違いは学習方法

全二重の音声対話自体は、Dessaが初めて実現した技術ではない。フランスのAI研究組織Kyutaiは、2024年の時点で全二重の音声AI「Moshi」を発表している。Alexandre Défossezらによる原著プレプリント（arXiv:2410.00037v2）では、ユーザーとAIの音声を並行する二つのストリームとして処理し、聞く時間と話す時間を明確に分けない設計が説明されている。Moshiも音声を直接入出力できるため、同時に聞いて話す能力だけではDessa独自の新規性とはいえない。

両モデルの大きな違いは、言語を学習する際の出発点にある。Moshiは、70億パラメータのテキスト言語モデル「Helium」を基盤として開発された。一方、Blockの説明によれば、Dessaは事前学習済みのテキスト言語モデルを使用せず、人間の会話音声だけから言語を学習している。つまり、全二重で音声を直接扱うという点は共通しているものの、言語能力をどのように獲得するかという設計思想が異なる。

BlockによるDessaの研究紹介と、2024年10月2日付のMoshiの原著論文（1〜3ページ）を基に、主な違いを整理すると次のようになる。

比較項目	Dessa（Block）	Moshi（Kyutai）
全二重の音声対話	対応すると説明	対応
音声の直接入出力	対応すると説明	対応
テキストを使った学習	使用しないと説明	テキスト言語モデルを基盤に使用

この比較は、それぞれの開発元と論文著者が公開した設計情報に基づくもので、同じ条件で実施した性能評価ではない。そのため、応答速度や知識の正確性、対話能力の優劣を判断することはできない。

Moshiがテキストを併用している理由は、Dessaのアプローチを評価するうえでも重要だ。Moshiの開発チームは「Inner Monologue」と呼ぶ方式を採用し、音声と時間的に対応するテキストを先に予測することで、事実の正確性や言語品質を改善したと説明している。これは、テキストを利用するモデルでも音声を直接処理できることを意味し、文字を使わない設計が必ずしも音声対話の品質で優れるわけではないことを示唆している。Dessaでは、こうしたテキストによる補助なしに、会話内容の正確性や言語能力をどこまで維持できるかが重要な評価ポイントとなる。

自然な音声対話の先にある知識と安全性の課題

Blockは、開発段階で想定していなかったリスクを発見するため、少数のAI安全性研究者にDessaへの早期アクセスを提供すると説明している。同社は開発の目的として、人間とAIの相互理解や安全性の向上も挙げている。具体的な問題として、苦痛を訴える声をAIが認識できない可能性にも言及した。ただし、Dessaが危機的な状況をどの程度正確に検出できるのか、従来の音声AIと比べて安全性が向上したのかについて、定量的な評価結果は公開されていない。

声の調子に自然に合わせて応答する能力と、状況に応じて適切な内容を返す能力は、区別して評価する必要がある。たとえば、相手の声に反応して驚いた口調で返答できても、何に驚くべきかを正しく判断できているとは限らない。また、短い会話で流暢に受け答えできたとしても、長時間の対話で事実関係や文脈を正確に維持できるかは別の問題だ。音声だけで言語を習得するDessaのアプローチが実用的な対話を支えられるかどうかは、こうした能力の検証にかかっている。

学習に使用した音声データの詳細も、今後確認すべき重要な情報だ。Blockの研究紹介では、学習に用いた会話音声の総時間や出所、利用許諾の状況は明らかにされていない。どのような内容の会話が、どの程度含まれているのかというデータ構成も不明である。言語能力や感情を含む音声への対応を評価するには、学習データの特性を把握するとともに、開発元が選んだデモ以外の会話でも性能を確認する必要がある。

現時点でDessaは研究プレビューの段階にあり、一般ユーザー向けの利用ページは準備中となっている。日本語への対応状況やAPIの提供予定、価格についても公表されておらず、モデルの重みを公開するかどうかも明らかではない。Dessaの技術的な意義は、テキスト言語モデルを基盤とせず、音声だけから自然な対話能力を獲得しようとしている点にある。今後、長時間の会話における知識の正確性や、苦痛を含む声への適切な対応が実証されれば、音声だけによる言語学習の可能性を、デモでの自然な話し方を超えて評価できるようになる。