Full-duplex(全二重)音声AIは、相手の声を聞きながら同時に話せる音声対話AIです。
電話で話す人どうしのように、AIが話している途中でもユーザーは割り込めます。AIはユーザーが話している間に「うん」と相づちを打ち、二人が同時に話し始めても会話を立て直します。順番に話す方式は半二重と呼ばれ、トランシーバーに近い動きをします。
ガイド
半二重との違い
全二重と半二重は、もともと通信の用語です。半二重の回線は一度に片方向にしか信号を送れません。トランシーバーのように、ボタンを押して話し、離して聞きます。全二重の回線は、電話のように両方向へ同時に信号を送れます。
人の会話では、片方が話し終えてから次の人が話し始めるまでの間は、約200ミリ秒が最も多くなります。Stiversらが2009年に10言語で測った結果です。一語を発話する準備には少なくとも600ミリ秒かかるので、人は相手が話している間に返答を組み立て始めています。沈黙を待ってから考え始めると、答えるまでに800〜2,000ミリ秒かかります。自然な会話を集めたコーパスでは、話者交替のおよそ40%で発話が重なっています。
詳しく(英語): Speech-to-speech AI, a primer、The full-duplex threshold
割り込みと相づち
全二重の音声対話AIに求められるふるまいは、主に次の4つです。
日本語の会話では「はい」「うん」「そうですね」のような相づちが1〜2秒おきに入り、英語よりかなり頻繁です。英語の基準で作った評価にかけると、日本語として自然な相づちが誤って割り込みと判定されることがあります。
3つの作り方
このサイトのデータベースでは、各モデルを会話の扱い方で3つに分けています。下の図は、同じやり取りをそれぞれの方式で時間の流れに沿って示したものです。
話し終わるのを待ってから答えます。AI が話している間の声は聞いていません。
音声認識、言語モデル、音声合成を順に動かすため、答えるまでに間が空きます。割り込むと話を止めるものも多くあります。
1つのモデルが聞きながら話します。話している間に相づちを打ち、短い間で答え、割り込まれると譲ります。
全二重は会話の流れ方を表す言葉なので、よく作られたカスケードはそれに近づけます。このサイトでは、1つのモデルで聞くことと話すことを同時に行うものだけを「全二重」と表示します。割り込みに対応していても、カスケードは「カスケード」と表示します。
詳しく(英語): From pipeline to integrated
Moshiとは
Moshiは、パリの非営利研究機関Kyutaiが2024年9月に公開した全二重の音声対話モデルです。約70億パラメータで、ユーザーの音声と自分の音声の2つの流れを並行して扱います。Mimiというストリーミング音声コーデックの上で動き、相手が話している間も考え、相づちを打ち、割り込めます。理論上の遅延は160ミリ秒、L4 GPUでは約200ミリ秒です。重みはCC-BY-4.0、コードはApache-2.0で公開されています。
日本語では、名古屋大学のJ-MoshiがMoshiを日本語の会話でファインチューニングしました。2026年2月25日には、国立情報学研究所(NII)が中心のLLM-jpが、日本語の雑談約1,000時間で調整したLLM-jp-Moshi-v1をApache 2.0で公開しました。商用利用できる日本語の全二重モデルとしては、記録に残る最初のものです。
データベース: Moshi。詳しく(英語): Kyutai、NII, Nagoya, and J-Moshi
評価の方法(Full-Duplex-Bench)
Full-Duplex-Bench(Linら、2025年)は、間の扱い、相づち、話者交替、割り込みを採点します。採点の多くは1つのルールに基づきます。モデルが3語より多く話すか、1秒より長く話したら、発話の順番を取ったとみなします。ユーザーが話し終えたときはこのルールが働くべきで、ユーザーが間を置いただけのときは働くべきではありません。後の版では、実際の言いよどみやツールの使用も加わりました。
データベースでは応答時間を2通りで示しています。ベンダーが公表する最初の応答までの時間と、Full-Duplex-Benchで測った値です。測っているものが違うので、同じ種類どうしで比べてください。
日本語の全二重を測る共通のベンチマークは、2026年4月の調査時点でありません。J-Moshiは共通のテストセットではなく、人が聞いて点をつける主観評価(MOS)で性能を示しています。
詳しく(英語): Mapping the benchmark landscape。データベース: 全二重のベンチマーク27件、J-Moshiの主観評価、API比較はAnalytics
必要なデータ(話者別チャンネルの録音)
全二重のモデルを学習するには、話者ごとに別のチャンネルで録音した会話が必要です。チャンネルが分かれていれば、重なり、割り込み、相づちがそのまま残ります。1本に混ざった録音ではこれらが溶け合い、話者分離(ダイアライゼーション)は話者が重なる場面で最も苦戦します。データベースでは、こうしたコーパスを「全二重」と表示しています。ライセンスと同意の条件はコーパスごとに違うので、学習の前に確認してください。
日本語には、英語のFisherにあたる大規模な2チャンネル会話コーパスがありません。J-Moshiのファインチューニングに使った344時間のうち、公開データで再現できるのは143時間です。J-CHATには69,000時間の日本語音声がありますが、モノラルのため全二重の調整には使えません。
詳しく(英語): The data ceiling、Foundation before vertical。カタログ全体は Hugging Face のデータセット(CC BY 4.0)としても公開しています。
日本語に対応したモデルとデータセット
データベースで、対応言語に日本語を含むものの一覧です。対応言語は各提供元の公表に基づきます。
モデル(14件)
| モデル | 作り方 | 重み公開 | 商用利用 |
|---|---|---|---|
| Gemini 2.5 LiveGoogle DeepMind | 全二重 | なし | 可 |
| Gemini 3.1 Flash Live PreviewGoogle DeepMind | 全二重 | なし | 可 |
| Gemini 3.8 LiveGoogle DeepMind | 全二重 | なし | 可 |
| GPT-Realtime-TranslateOpenAI | 全二重 | なし | 可 |
| Grok Voice 3.0 (xAI Speech to Speech API)xAI | 全二重 | なし | 可 |
| OpenAI Realtime (gpt-realtime-2.1)OpenAI | 全二重 | なし | 可 |
| Qwen-Audio Realtime (3.0 / 3.1)Alibaba Cloud | 全二重 | なし | 可 |
| Qwen3-OmniAlibaba Cloud | 全二重 | あり | 可 |
| HF speech-to-speechHugging Face | カスケード | あり | 可 |
| VapiVapi | カスケード | なし | 可 |
| Qwen2.5-OmniAlibaba Cloud | 半二重 | あり | 可 |
| Cartesia Sonic-3.6Cartesia | その他 | なし | 可 |
| CosyVoice 2Alibaba Tongyi | その他 | あり | 可 |
| Qwen3-TTSAlibaba Cloud | その他 | あり | 可 |
データセット(16件)
| データセット | 時間 | 話者別チャンネル | 商用利用 |
|---|---|---|---|
| Japanese Duplex Conversation DatasetMagicData | 10.35 h | あり | 不可 |
| Basis Conversations 1500Basis | 1,502 h | あり | 条件付き |
| CALLHOME (JA / ZH / ES / DE / AR …)LDC | ~229 h | あり | 条件付き |
| DAI-ASR-I18NDavid AI | 42.1 h | あり | 条件付き |
| otoSpeech Japaneseotoearth | - | あり | 条件付き |
| otoSpeech Role-Playotoearth | - | あり | 条件付き |
| otoSpeech Scriptedotoearth | - | あり | 条件付き |
| DuplexChatNakata, Saito, Saruwatari (U. Tokyo / AIST) | 415k h | あり | 条件付き |
| CSS10Kyubyong Park et al. | 140 h | なし | 可 |
| ReazonSpeechReazon Holdings | 35k h | なし | 条件付き |
| Emilia / Emilia-LargeAmphion (CUHK-Shenzhen) | 215.6k h | なし | 条件付き |
| J-CHATSarulab (UTokyo) / Keio | 76k h | なし | 不可 |
| MLC-SLM (Interspeech 2025)Nexdata / Interspeech 2025 challenge | 1,604 h | なし | 条件付き |
| Corpus of Spontaneous Japanese (CSJ)NINJAL / NICT / Tokyo Tech | 661 h | なし | 条件付き |
| JVS CorpusTakamichi Lab (University of Tokyo) | 30 h | なし | 条件付き |
| JSUTShinnosuke Takamichi (U. Tokyo) | 10 h | なし | 条件付き |
よくある質問
- 全二重と半二重の違いは何ですか?
- 全二重は聞くことと話すことを同時に行い、半二重は順番に行います。電話とトランシーバーの違いにあたります。
- 割り込みに対応したカスケードは全二重ですか?
- 割り込んだときの動きは全二重に似ており、そう説明する製品も多くあります。ただし音声認識、言語モデル、音声合成が順に動くため、このサイトでは「カスケード」と表示しています。
- 相づちを打てるAIはありますか?
- 聞きながら話す全二重のモデルは、ユーザーが話している間に相づちを返せます。データベースに載っている70件のモデルのうち、全二重は37件です。モデル一覧で確認できます。
- Moshiとは何ですか?
- Kyutaiが2024年9月に公開した、約70億パラメータの全二重音声対話モデルです。重みが公開されており、日本語版のJ-MoshiやLLM-jp-Moshi-v1の土台になっています。
- 日本語に対応した全二重モデルはありますか?
- 国立情報学研究所(NII)が中心となって2026年2月に公開したLLM-jp-Moshi-v1と、名古屋大学のJ-Moshiがあります。データベースで日本語に対応する全二重モデルは8件です。
- 日本語の全二重学習データはどこで手に入りますか?
- データベースで日本語を含み、話者別チャンネルで録音されたデータセットは8件です。このページの一覧から各データセットのライセンスと出典を確認してください。
- データセットは商用利用できますか?
- ライセンスによって異なります。データセット一覧の商用利用の欄を見て、使う前に元の利用条件を読んでください。