Fullduplex
Subscribe

Full-duplex音声AIとは

English

Full-duplex(全二重)音声AIは、相手の声を聞きながら同時に話せる音声対話AIです。

電話で話す人どうしのように、AIが話している途中でもユーザーは割り込めます。AIはユーザーが話している間に「うん」と相づちを打ち、二人が同時に話し始めても会話を立て直します。順番に話す方式は半二重と呼ばれ、トランシーバーに近い動きをします。

ガイド

半二重との違い

全二重と半二重は、もともと通信の用語です。半二重の回線は一度に片方向にしか信号を送れません。トランシーバーのように、ボタンを押して話し、離して聞きます。全二重の回線は、電話のように両方向へ同時に信号を送れます。

人の会話では、片方が話し終えてから次の人が話し始めるまでの間は、約200ミリ秒が最も多くなります。Stiversらが2009年に10言語で測った結果です。一語を発話する準備には少なくとも600ミリ秒かかるので、人は相手が話している間に返答を組み立て始めています。沈黙を待ってから考え始めると、答えるまでに800〜2,000ミリ秒かかります。自然な会話を集めたコーパスでは、話者交替のおよそ40%で発話が重なっています。

詳しく(英語): Speech-to-speech AI, a primer、The full-duplex threshold

割り込みと相づち

全二重の音声対話AIに求められるふるまいは、主に次の4つです。

割り込み(バージイン)AIが話している途中でユーザーが話し始めると、AIは話すのをやめて聞きます。
相づちユーザーが話している間に、AIが「うん」「はい」のような短い反応を返します。発話の順番は取りません。
重なりからの回復二人が同時に話し始めたとき、どちらかが譲り、1秒以内に会話が元に戻ります。
共同完成話し手が探している言葉を聞き手が補います。これを直接測る公開ベンチマークはまだありません。

日本語の会話では「はい」「うん」「そうですね」のような相づちが1〜2秒おきに入り、英語よりかなり頻繁です。英語の基準で作った評価にかけると、日本語として自然な相づちが誤って割り込みと判定されることがあります。

3つの作り方

このサイトのデータベースでは、各モデルを会話の扱い方で3つに分けています。下の図は、同じやり取りをそれぞれの方式で時間の流れに沿って示したものです。

半二重

話し終わるのを待ってから答えます。AI が話している間の声は聞いていません。

カスケード

音声認識、言語モデル、音声合成を順に動かすため、答えるまでに間が空きます。割り込むと話を止めるものも多くあります。

全二重

1つのモデルが聞きながら話します。話している間に相づちを打ち、短い間で答え、割り込まれると譲ります。

あなたの発話AI の発話処理中聞かれない声、途中で止まった発話時間 →
全二重1つのモデルが、聞くことと話すことを同時に行います。例: Moshi、gpt-realtime、Gemini 3.8 Live。37件のモデル
カスケード音声認識、言語モデル、音声合成を順につなぎます。ユーザーが割り込むと話すのをやめるものが多く、割り込みには対応しますが、各段は前の段の処理を待ちます。例: LiveKit Agents、ElevenLabs Agents、Vapi。20件のモデル
半二重順番に話します。ユーザーが話し終えるまで聞き、それから話します。6件のモデル

全二重は会話の流れ方を表す言葉なので、よく作られたカスケードはそれに近づけます。このサイトでは、1つのモデルで聞くことと話すことを同時に行うものだけを「全二重」と表示します。割り込みに対応していても、カスケードは「カスケード」と表示します。

詳しく(英語): From pipeline to integrated

Moshiとは

Moshiは、パリの非営利研究機関Kyutaiが2024年9月に公開した全二重の音声対話モデルです。約70億パラメータで、ユーザーの音声と自分の音声の2つの流れを並行して扱います。Mimiというストリーミング音声コーデックの上で動き、相手が話している間も考え、相づちを打ち、割り込めます。理論上の遅延は160ミリ秒、L4 GPUでは約200ミリ秒です。重みはCC-BY-4.0、コードはApache-2.0で公開されています。

日本語では、名古屋大学のJ-MoshiがMoshiを日本語の会話でファインチューニングしました。2026年2月25日には、国立情報学研究所(NII)が中心のLLM-jpが、日本語の雑談約1,000時間で調整したLLM-jp-Moshi-v1をApache 2.0で公開しました。商用利用できる日本語の全二重モデルとしては、記録に残る最初のものです。

データベース: Moshi。詳しく(英語): Kyutai、NII, Nagoya, and J-Moshi

評価の方法(Full-Duplex-Bench)

Full-Duplex-Bench(Linら、2025年)は、間の扱い、相づち、話者交替、割り込みを採点します。採点の多くは1つのルールに基づきます。モデルが3語より多く話すか、1秒より長く話したら、発話の順番を取ったとみなします。ユーザーが話し終えたときはこのルールが働くべきで、ユーザーが間を置いただけのときは働くべきではありません。後の版では、実際の言いよどみやツールの使用も加わりました。

データベースでは応答時間を2通りで示しています。ベンダーが公表する最初の応答までの時間と、Full-Duplex-Benchで測った値です。測っているものが違うので、同じ種類どうしで比べてください。

日本語の全二重を測る共通のベンチマークは、2026年4月の調査時点でありません。J-Moshiは共通のテストセットではなく、人が聞いて点をつける主観評価(MOS)で性能を示しています。

詳しく(英語): Mapping the benchmark landscape。データベース: 全二重のベンチマーク27件、J-Moshiの主観評価、API比較はAnalytics

必要なデータ(話者別チャンネルの録音)

全二重のモデルを学習するには、話者ごとに別のチャンネルで録音した会話が必要です。チャンネルが分かれていれば、重なり、割り込み、相づちがそのまま残ります。1本に混ざった録音ではこれらが溶け合い、話者分離(ダイアライゼーション)は話者が重なる場面で最も苦戦します。データベースでは、こうしたコーパスを「全二重」と表示しています。ライセンスと同意の条件はコーパスごとに違うので、学習の前に確認してください。

日本語には、英語のFisherにあたる大規模な2チャンネル会話コーパスがありません。J-Moshiのファインチューニングに使った344時間のうち、公開データで再現できるのは143時間です。J-CHATには69,000時間の日本語音声がありますが、モノラルのため全二重の調整には使えません。

詳しく(英語): The data ceiling、Foundation before vertical。カタログ全体は Hugging Face のデータセット(CC BY 4.0)としても公開しています。

日本語に対応したモデルとデータセット

データベースで、対応言語に日本語を含むものの一覧です。対応言語は各提供元の公表に基づきます。

モデル(14件)

モデル作り方重み公開商用利用
Gemini 2.5 LiveGoogle DeepMind全二重なし可
Gemini 3.1 Flash Live PreviewGoogle DeepMind全二重なし可
Gemini 3.8 LiveGoogle DeepMind全二重なし可
GPT-Realtime-TranslateOpenAI全二重なし可
Grok Voice 3.0 (xAI Speech to Speech API)xAI全二重なし可
OpenAI Realtime (gpt-realtime-2.1)OpenAI全二重なし可
Qwen-Audio Realtime (3.0 / 3.1)Alibaba Cloud全二重なし可
Qwen3-OmniAlibaba Cloud全二重あり可
HF speech-to-speechHugging Faceカスケードあり可
VapiVapiカスケードなし可
Qwen2.5-OmniAlibaba Cloud半二重あり可
Cartesia Sonic-3.6Cartesiaその他なし可
CosyVoice 2Alibaba Tongyiその他あり可
Qwen3-TTSAlibaba Cloudその他あり可

データセット(16件)

データセット時間話者別チャンネル商用利用
Japanese Duplex Conversation DatasetMagicData10.35 hあり不可
Basis Conversations 1500Basis1,502 hあり条件付き
CALLHOME (JA / ZH / ES / DE / AR …)LDC~229 hあり条件付き
DAI-ASR-I18NDavid AI42.1 hあり条件付き
otoSpeech Japaneseotoearth-あり条件付き
otoSpeech Role-Playotoearth-あり条件付き
otoSpeech Scriptedotoearth-あり条件付き
DuplexChatNakata, Saito, Saruwatari (U. Tokyo / AIST)415k hあり条件付き
CSS10Kyubyong Park et al.140 hなし可
ReazonSpeechReazon Holdings35k hなし条件付き
Emilia / Emilia-LargeAmphion (CUHK-Shenzhen)215.6k hなし条件付き
J-CHATSarulab (UTokyo) / Keio76k hなし不可
MLC-SLM (Interspeech 2025)Nexdata / Interspeech 2025 challenge1,604 hなし条件付き
Corpus of Spontaneous Japanese (CSJ)NINJAL / NICT / Tokyo Tech661 hなし条件付き
JVS CorpusTakamichi Lab (University of Tokyo)30 hなし条件付き
JSUTShinnosuke Takamichi (U. Tokyo)10 hなし条件付き

よくある質問

全二重と半二重の違いは何ですか?
全二重は聞くことと話すことを同時に行い、半二重は順番に行います。電話とトランシーバーの違いにあたります。
割り込みに対応したカスケードは全二重ですか?
割り込んだときの動きは全二重に似ており、そう説明する製品も多くあります。ただし音声認識、言語モデル、音声合成が順に動くため、このサイトでは「カスケード」と表示しています。
相づちを打てるAIはありますか?
聞きながら話す全二重のモデルは、ユーザーが話している間に相づちを返せます。データベースに載っている70件のモデルのうち、全二重は37件です。モデル一覧で確認できます。
Moshiとは何ですか?
Kyutaiが2024年9月に公開した、約70億パラメータの全二重音声対話モデルです。重みが公開されており、日本語版のJ-MoshiやLLM-jp-Moshi-v1の土台になっています。
日本語に対応した全二重モデルはありますか?
国立情報学研究所(NII)が中心となって2026年2月に公開したLLM-jp-Moshi-v1と、名古屋大学のJ-Moshiがあります。データベースで日本語に対応する全二重モデルは8件です。
日本語の全二重学習データはどこで手に入りますか?
データベースで日本語を含み、話者別チャンネルで録音されたデータセットは8件です。このページの一覧から各データセットのライセンスと出典を確認してください。
データセットは商用利用できますか?
ライセンスによって異なります。データセット一覧の商用利用の欄を見て、使う前に元の利用条件を読んでください。