ターンテイキング(話す番の交代、turn-taking)は、話し手どうしが話す番を受け渡す仕組みです。いつ話し始めるか、いつ待つか、いつ譲るか、いつ「うん」と相づちを打つかが含まれます。全二重のモデルは、この判断を絶えず行っています。最近のベンチマークは、人との違いがどこに残っているかを示しています。このページには、研究に使う数値、ベンチマーク、コーパス、公開モデルを、出典とあわせてまとめました。
人の会話の数値
- 10言語で、はい・いいえで答える質問への応答は、質問が終わってから平均で約200ミリ秒後(208ミリ秒)に始まりました。どの言語でも、最も多い値は0から200ミリ秒の間でした(Stivers ら、2009年)。
- オランダ語、スコットランド英語、スウェーデン語の3つの会話コーパスでは、話し手が交代するときの間は約200ミリ秒が最も多くなります。交代のおよそ40%では、発話が重なっています(Heldner と Edlund、2010年)。
- 1語を話すだけでも、準備から発声までに約600ミリ秒かかります。絵の名前を言う実験から得られた値です。Levinson と Torreira(2015年)は、このため聞き手は話を聞きながら返答を準備し、終わりを予測しているはずだと論じています。
- Switchboard コーパスの電話の会話では、話す番が相手に移るまでの時間の中央値は137ミリ秒です。Coupled but Late(Zhu ら、2026年)が使った判定方法による値です。これは中央値なので、上の「最も多い値」とは別の指標です。
- 日本語の日常会話では、短い受け答えやうなずきといった聞き手の反応が、アメリカ英語よりはるかに多く見られます(Maynard、1990年)。英語で測った相づちの頻度は、そのままでは当てはまりません。
詳しく(英語): The full-duplex threshold、Why STS needs new benchmarks
未解決の課題(2026年11月時点)
- 公開モデルの1つでは、話す番の交代が遅れます。Coupled but Late(Zhu ら、2026年)では、PersonaPlex どうしを会話させると、話す番が移るまでの時間の中央値は400から560ミリ秒でした。Switchboard の人どうしでは、中央値は137ミリ秒です。著者らが片方向の音声を遅らせると、返事も同じだけ遅れました。人は相手の話の終わりを予測しますが、このモデルは終わりを聞いてから反応していると考えられます。調べたモデルは1つです。
- モデルは相づちをほとんど打ちません。DuplexAct(Dong ら、2026年)は、14のモデルを8種類の動作について、行うべき時点ごとに採点しました。相づちでは、専用のトークンを持つ Raon-SpeechChat が31.0%で最も高く、GPT-Realtime-2.1 は0.2%でした。Talking Turns も2025年に、音声モデルが相づちをほとんど打たないと報告しています。
- モデルは、割り込みと、それ以外の重なった発話を区別できていません。MultiPartyTurnBench(Mathur と Manocha、2026年)は、合成した240件の会話を使います。5つの全二重エージェントの正解率(balanced accuracy)は、話し始める時点の判断では86.1から95.8%でした。本当の割り込みのときだけ止まる判断では46.9から54.7%で、当て推量と同じ程度でした。Gemini-3.8-Live は相づちの97.7%で話を止め、MiniCPM-o-4.5 が止まったのは本当の割り込みの1.4%でした。
- モデルは、ユーザーの言い直しへの対応が苦手です。Full-Duplex-Bench v3 の論文(2026年4月)では、ユーザーが依頼を途中で言い直す場面を完了できた割合は、6つのシステムのうち最も良い GPT-Realtime で58.8%でした。カスケード型は17.6%でした。
- 話し手が探している言葉を聞き手が補う動作(co-completion)について、モデルが補う側になる場面を測る公開ベンチマークはまだありません。Duplex Cue(2026年9月)は逆の向きを測ります。聞き手が言葉を補ったり、訂正や確認をしたりしたときに、モデルが話を合わせるかを採点します。66件の場面で、人は68.2%、PersonaPlex は34.8%でした。
ガイド: ターン検出、割り込み(バージイン)、相づち(バックチャネル)
ベンチマーク
データベースには、タグか指標名にターンテイキングの動作が出てくる全二重ベンチマークが24件あります。更新が新しい順に並べています。「測るもの」の列は、そのタグと指標名から作っています。論文が扱っていても、データベースの記載にない動作は表に出ません。測ったシステムと結果は、各ベンチマークのページにあります。
| ベンチマーク | 測るもの | 論文 | 更新 |
|---|---|---|---|
| TurnBench Sesame AI Labs / Mundo AI / CMU / oto | ターンの交代、話し終わり、割り込み | arXiv | 2026-11 |
| Duplex-MPE Ma et al. | 複数人、話しかけられた相手 | arXiv | 2026-11 |
| eot-bench LiveKit | ターンの交代、話し終わり | — | 2026-11 |
| Cekura Turn-Taking Benchmark Cekura | ターンの交代、話し終わり、割り込み、相づち、間 | — | 2026-11 |
| DuplexAct Dong et al. | ターンの交代、割り込み、相づち | arXiv | 2026-10 |
| MultiPartyTurnBench Mathur and Manocha | ターンの交代、話し終わり、割り込み、複数人 | arXiv | 2026-10 |
| M3-DuplexBench NTT (Fukuda et al.) | ターンの交代、割り込み、相づち、間 | arXiv | 2026-10 |
| MP-Bench Shih et al. | ターンの交代、複数人 | arXiv | 2026-10 |
| MultiTalkBench Wang et al. (MultiTalk) | ターンの交代、複数人、話しかけられた相手 | arXiv | 2026-09 |
| ECHO Zhao et al. | ターンの交代、割り込み、相づち | arXiv | 2026-09 |
| DuplexSpeechBench-IFEval Mathur and Manocha | 指示や役割に沿った話す番の管理 | arXiv | 2026-09 |
| DuplexWorld Centific / University of Maryland | ターンの交代 | arXiv | 2026-08 |
| Game-Time Benchmark MIT / NTU / Academia Sinica | ターンの交代、発話の重なり | arXiv | 2026-06 |
| Full-Duplex-Bench v3 NTU (NVIDIA advisory) | ターンの交代、言いよどみ | arXiv | 2026-05 |
| OmniInteract CUHK MMLab / SJTU / NTU / McMaster / CityUHK / JUFE | 割り込み | arXiv | 2026-05 |
| CoDeTT Bairong (BRVoice team) | ターンの交代、割り込み、相づち | arXiv | 2026-04 |
| SID-Bench Xia et al. | 割り込み、相づち | arXiv | 2026-03 |
| Full-Duplex-Bench v2 NTU / UC Berkeley / UW / MIT | 発話の重なり | arXiv | 2026-02 |
| HumDial (ICASSP '26) ICASSP 2026 Spoken Dialogue Challenge | ターンの交代 | arXiv | 2026-01 |
| FLEXI Ge et al. | 割り込み | arXiv | 2025-09 |
| Full-Duplex-Bench v1.5 NTU / UC Berkeley / UW / MIT | ターンの交代、割り込み、相づち、発話の重なり | arXiv | 2025-08 |
| FD-Bench Peng et al. | 割り込み | arXiv | 2025-07 |
| Talking Turns Apple / CMU | ターンの交代、話し終わり、割り込み、相づち | arXiv | 2025-04 |
| Full-Duplex-Bench v1 NTU / UC Berkeley / UW / MIT | ターンの交代、割り込み、相づち、間 | arXiv | 2025-03 |
どのベンチマークがどの動作を扱うかの図は、Full-duplex音声AIの評価方法にあります。ベンチマークの版ごと、測定者ごとの点数は Analytics にあります。
2チャンネルのコーパス
発話の重なりや相づちを正確に測ったり、モデルに学習させたりするには、話者ごとに別のチャンネルで録音されたデータが適しています。データベースには、話者ごとにチャンネルが分かれたデータセットが40件あります。このうち32件が時間数を公表しています。32件のうち2件は合成音声です。DuplexChat は、ポッドキャストの音声を録音後に話者ごとに分けたものです。
研究には18件を無料で使えます。10件は商用利用もできる条件で、8件は非商用の条件です。どちらの一覧も全二重の学習データセットの選び方にあります。無料で使える人の声の録音で大きいのは、Seamless Interaction(4,000時間以上)、SmoothConv / DuplexConv(2,100時間)、Open Yap 1K(1,000時間)、CANDOR(~860時間)、otoSpeech-full-duplex-280h(280時間)です。
40件のうち、ターンの交代、相づち、話し終わりのタグが付いているものは次の8件です。Switchboard-1、CANDOR、CALLHOME、CALLFRIEND、HKUST Mandarin Telephone Speech, Part 1、otoSpeech-full-duplex-turn-104h、Real-TurnTurk、SmoothConv / DuplexConv
ガイド: 全二重モデルの学習データ
モデルとコンポーネント
- 重みが公開されている全二重モデルは27件あり、ターンテイキングの動作を測ったり、変えたりできます。ライセンスとあわせて、自分で動かせる公開モデルに一覧があります。
- ターンテイキングは、カスケード型のエージェント向けに、独立した部品としても作られています。データベースの Components には、ターン検出が24件、音声区間検出(VAD)が9件、割り込み検出が4件、相づちのモデルが2件あります。主な用途で数えた件数です。ほかに、相づちも扱うものが3件、割り込みも扱うものが5件あります。
- Voice Activity Projection は、2人の話者のこの先2秒間の発声を予測し、そこから交代、継続、相づちの判断を導きます。
- こうした部品を同じ条件で比べるテストは2つあります。TurnBench は、スタジオで録音して人手でラベルを付けた2人の会話30時間を使い、話し終わりと割り込みの検出を採点します。LiveKit の eot-bench は、ユーザーが話し終えてから検出器が待つ時間を採点します。どちらの結果もターン検出にあります。
新しい研究の追い方
- 週次レポート(英語)は、全二重の音声に関する新しい論文、モデル、データセットを毎週まとめています。
- データベース全体は、Hugging Face のデータセットとして CC BY 4.0 で公開しています。
よくある質問
- 音声AIのターンテイキングとは何ですか?
- ターンテイキングは、話し手どうしが話す番を受け渡す仕組みです。いつ話し始めるか、いつ止まるか、間を置くか、発話が重なるか、相づちを打つかが含まれます。全二重のモデルは話しながら聞いているので、この判断を絶えず行う必要があります。
- ターンテイキングの評価には、どのベンチマークを使えばよいですか?
- 調べたい動作によって変わります。Full-Duplex-Bench v1 と v1.5 は、録音済みの音声で、2人の間のタイミング、割り込み、相づちを調べます。TurnBench は、話し終わりと割り込みの検出だけを採点します。MultiPartyTurnBench は2人から5人の会話を扱い、DuplexAct はそれぞれの動作を、行うべき時点で採点します。データベースには、タグか指標名にターンテイキングの動作が出てくる全二重ベンチマークが24件あります。
- ターンテイキングの研究に使える2チャンネルのデータセットはどれですか?
- データベースには、話者ごとにチャンネルが分かれたデータセットが40件あります。このうち32件が時間数を公表しています。研究には18件を無料で使えます。10件は商用利用もできる条件で、8件は非商用の条件です。無料で使える人の声の録音で大きいのは、Seamless Interaction(4,000時間以上)、SmoothConv / DuplexConv(2,100時間)、Open Yap 1K(1,000時間)、CANDOR(~860時間)、otoSpeech-full-duplex-280h(280時間)です。
- 日本語のターンテイキングの研究はありますか?
- あります。日本語の日常会話では、聞き手の反応がアメリカ英語よりはるかに多く見られます(Maynard、1990年)。そのため、英語に合わせた評価では、日本語として正しい動作が誤りと数えられることがあります。データベースで日本語のターンの交代を採点する全二重ベンチマークは、M3-DuplexBench の1件です。このベンチマークは、ターンの交代、間、ユーザーの相づち、割り込みへの対応を採点します。掲載されている指標には、モデル自身が打つ相づちは含まれていません。データベースにある2チャンネルのデータセットのうち、日本語を含むものは、CALLHOME、CALLFRIEND、Japanese Duplex Conversation Dataset、DuplexChat、Global Conversational Speech、Basis Conversations 1500、DAI-ASR-I18Nです。試せる日本語の公開モデルには、J-Moshi と LLM-jp-Moshi-v1 があります。
更新日