Subscribe

全二重音声AIのターンテイキング研究

English

ターンテイキング(話す番の交代、turn-taking)は、話し手どうしが話す番を受け渡す仕組みです。いつ話し始めるか、いつ待つか、いつ譲るか、いつ「うん」と相づちを打つかが含まれます。全二重のモデルは、この判断を絶えず行っています。最近のベンチマークは、人との違いがどこに残っているかを示しています。このページには、研究に使う数値、ベンチマーク、コーパス、公開モデルを、出典とあわせてまとめました。

人の会話の数値

  • 10言語で、はい・いいえで答える質問への応答は、質問が終わってから平均で約200ミリ秒後(208ミリ秒)に始まりました。どの言語でも、最も多い値は0から200ミリ秒の間でした(Stivers ら、2009年)。
  • オランダ語、スコットランド英語、スウェーデン語の3つの会話コーパスでは、話し手が交代するときの間は約200ミリ秒が最も多くなります。交代のおよそ40%では、発話が重なっています(Heldner と Edlund、2010年)。
  • 1語を話すだけでも、準備から発声までに約600ミリ秒かかります。絵の名前を言う実験から得られた値です。Levinson と Torreira(2015年)は、このため聞き手は話を聞きながら返答を準備し、終わりを予測しているはずだと論じています。
  • Switchboard コーパスの電話の会話では、話す番が相手に移るまでの時間の中央値は137ミリ秒です。Coupled but Late(Zhu ら、2026年)が使った判定方法による値です。これは中央値なので、上の「最も多い値」とは別の指標です。
  • 日本語の日常会話では、短い受け答えやうなずきといった聞き手の反応が、アメリカ英語よりはるかに多く見られます(Maynard、1990年)。英語で測った相づちの頻度は、そのままでは当てはまりません。

詳しく(英語): The full-duplex threshold、Why STS needs new benchmarks

未解決の課題(2026年11月時点)

  • 公開モデルの1つでは、話す番の交代が遅れます。Coupled but Late(Zhu ら、2026年)では、PersonaPlex どうしを会話させると、話す番が移るまでの時間の中央値は400から560ミリ秒でした。Switchboard の人どうしでは、中央値は137ミリ秒です。著者らが片方向の音声を遅らせると、返事も同じだけ遅れました。人は相手の話の終わりを予測しますが、このモデルは終わりを聞いてから反応していると考えられます。調べたモデルは1つです。
  • モデルは相づちをほとんど打ちません。DuplexAct(Dong ら、2026年)は、14のモデルを8種類の動作について、行うべき時点ごとに採点しました。相づちでは、専用のトークンを持つ Raon-SpeechChat が31.0%で最も高く、GPT-Realtime-2.1 は0.2%でした。Talking Turns も2025年に、音声モデルが相づちをほとんど打たないと報告しています。
  • モデルは、割り込みと、それ以外の重なった発話を区別できていません。MultiPartyTurnBench(Mathur と Manocha、2026年)は、合成した240件の会話を使います。5つの全二重エージェントの正解率(balanced accuracy)は、話し始める時点の判断では86.1から95.8%でした。本当の割り込みのときだけ止まる判断では46.9から54.7%で、当て推量と同じ程度でした。Gemini-3.8-Live は相づちの97.7%で話を止め、MiniCPM-o-4.5 が止まったのは本当の割り込みの1.4%でした。
  • モデルは、ユーザーの言い直しへの対応が苦手です。Full-Duplex-Bench v3 の論文(2026年4月)では、ユーザーが依頼を途中で言い直す場面を完了できた割合は、6つのシステムのうち最も良い GPT-Realtime で58.8%でした。カスケード型は17.6%でした。
  • 話し手が探している言葉を聞き手が補う動作(co-completion)について、モデルが補う側になる場面を測る公開ベンチマークはまだありません。Duplex Cue(2026年9月)は逆の向きを測ります。聞き手が言葉を補ったり、訂正や確認をしたりしたときに、モデルが話を合わせるかを採点します。66件の場面で、人は68.2%、PersonaPlex は34.8%でした。

ガイド: ターン検出、割り込み(バージイン)、相づち(バックチャネル)

ベンチマーク

データベースには、タグか指標名にターンテイキングの動作が出てくる全二重ベンチマークが24件あります。更新が新しい順に並べています。「測るもの」の列は、そのタグと指標名から作っています。論文が扱っていても、データベースの記載にない動作は表に出ません。測ったシステムと結果は、各ベンチマークのページにあります。

ベンチマーク測るもの論文更新
TurnBench
Sesame AI Labs / Mundo AI / CMU / oto
ターンの交代、話し終わり、割り込みarXiv2026-11
Duplex-MPE
Ma et al.
複数人、話しかけられた相手arXiv2026-11
eot-bench
LiveKit
ターンの交代、話し終わり—2026-11
Cekura Turn-Taking Benchmark
Cekura
ターンの交代、話し終わり、割り込み、相づち、間—2026-11
DuplexAct
Dong et al.
ターンの交代、割り込み、相づちarXiv2026-10
MultiPartyTurnBench
Mathur and Manocha
ターンの交代、話し終わり、割り込み、複数人arXiv2026-10
M3-DuplexBench
NTT (Fukuda et al.)
ターンの交代、割り込み、相づち、間arXiv2026-10
MP-Bench
Shih et al.
ターンの交代、複数人arXiv2026-10
MultiTalkBench
Wang et al. (MultiTalk)
ターンの交代、複数人、話しかけられた相手arXiv2026-09
ECHO
Zhao et al.
ターンの交代、割り込み、相づちarXiv2026-09
DuplexSpeechBench-IFEval
Mathur and Manocha
指示や役割に沿った話す番の管理arXiv2026-09
DuplexWorld
Centific / University of Maryland
ターンの交代arXiv2026-08
Game-Time Benchmark
MIT / NTU / Academia Sinica
ターンの交代、発話の重なりarXiv2026-06
Full-Duplex-Bench v3
NTU (NVIDIA advisory)
ターンの交代、言いよどみarXiv2026-05
OmniInteract
CUHK MMLab / SJTU / NTU / McMaster / CityUHK / JUFE
割り込みarXiv2026-05
CoDeTT
Bairong (BRVoice team)
ターンの交代、割り込み、相づちarXiv2026-04
SID-Bench
Xia et al.
割り込み、相づちarXiv2026-03
Full-Duplex-Bench v2
NTU / UC Berkeley / UW / MIT
発話の重なりarXiv2026-02
HumDial (ICASSP '26)
ICASSP 2026 Spoken Dialogue Challenge
ターンの交代arXiv2026-01
FLEXI
Ge et al.
割り込みarXiv2025-09
Full-Duplex-Bench v1.5
NTU / UC Berkeley / UW / MIT
ターンの交代、割り込み、相づち、発話の重なりarXiv2025-08
FD-Bench
Peng et al.
割り込みarXiv2025-07
Talking Turns
Apple / CMU
ターンの交代、話し終わり、割り込み、相づちarXiv2025-04
Full-Duplex-Bench v1
NTU / UC Berkeley / UW / MIT
ターンの交代、割り込み、相づち、間arXiv2025-03

どのベンチマークがどの動作を扱うかの図は、Full-duplex音声AIの評価方法にあります。ベンチマークの版ごと、測定者ごとの点数は Analytics にあります。

2チャンネルのコーパス

発話の重なりや相づちを正確に測ったり、モデルに学習させたりするには、話者ごとに別のチャンネルで録音されたデータが適しています。データベースには、話者ごとにチャンネルが分かれたデータセットが40件あります。このうち32件が時間数を公表しています。32件のうち2件は合成音声です。DuplexChat は、ポッドキャストの音声を録音後に話者ごとに分けたものです。

研究には18件を無料で使えます。10件は商用利用もできる条件で、8件は非商用の条件です。どちらの一覧も全二重の学習データセットの選び方にあります。無料で使える人の声の録音で大きいのは、Seamless Interaction(4,000時間以上)、SmoothConv / DuplexConv(2,100時間)、Open Yap 1K(1,000時間)、CANDOR(~860時間)、otoSpeech-full-duplex-280h(280時間)です。

40件のうち、ターンの交代、相づち、話し終わりのタグが付いているものは次の8件です。Switchboard-1、CANDOR、CALLHOME、CALLFRIEND、HKUST Mandarin Telephone Speech, Part 1、otoSpeech-full-duplex-turn-104h、Real-TurnTurk、SmoothConv / DuplexConv

ガイド: 全二重モデルの学習データ

モデルとコンポーネント

  • 重みが公開されている全二重モデルは27件あり、ターンテイキングの動作を測ったり、変えたりできます。ライセンスとあわせて、自分で動かせる公開モデルに一覧があります。
  • ターンテイキングは、カスケード型のエージェント向けに、独立した部品としても作られています。データベースの Components には、ターン検出が24件、音声区間検出(VAD)が9件、割り込み検出が4件、相づちのモデルが2件あります。主な用途で数えた件数です。ほかに、相づちも扱うものが3件、割り込みも扱うものが5件あります。
  • Voice Activity Projection は、2人の話者のこの先2秒間の発声を予測し、そこから交代、継続、相づちの判断を導きます。
  • こうした部品を同じ条件で比べるテストは2つあります。TurnBench は、スタジオで録音して人手でラベルを付けた2人の会話30時間を使い、話し終わりと割り込みの検出を採点します。LiveKit の eot-bench は、ユーザーが話し終えてから検出器が待つ時間を採点します。どちらの結果もターン検出にあります。

新しい研究の追い方

よくある質問

音声AIのターンテイキングとは何ですか?
ターンテイキングは、話し手どうしが話す番を受け渡す仕組みです。いつ話し始めるか、いつ止まるか、間を置くか、発話が重なるか、相づちを打つかが含まれます。全二重のモデルは話しながら聞いているので、この判断を絶えず行う必要があります。
ターンテイキングの評価には、どのベンチマークを使えばよいですか?
調べたい動作によって変わります。Full-Duplex-Bench v1 と v1.5 は、録音済みの音声で、2人の間のタイミング、割り込み、相づちを調べます。TurnBench は、話し終わりと割り込みの検出だけを採点します。MultiPartyTurnBench は2人から5人の会話を扱い、DuplexAct はそれぞれの動作を、行うべき時点で採点します。データベースには、タグか指標名にターンテイキングの動作が出てくる全二重ベンチマークが24件あります。
ターンテイキングの研究に使える2チャンネルのデータセットはどれですか?
データベースには、話者ごとにチャンネルが分かれたデータセットが40件あります。このうち32件が時間数を公表しています。研究には18件を無料で使えます。10件は商用利用もできる条件で、8件は非商用の条件です。無料で使える人の声の録音で大きいのは、Seamless Interaction(4,000時間以上)、SmoothConv / DuplexConv(2,100時間)、Open Yap 1K(1,000時間)、CANDOR(~860時間)、otoSpeech-full-duplex-280h(280時間)です。
日本語のターンテイキングの研究はありますか?
あります。日本語の日常会話では、聞き手の反応がアメリカ英語よりはるかに多く見られます(Maynard、1990年)。そのため、英語に合わせた評価では、日本語として正しい動作が誤りと数えられることがあります。データベースで日本語のターンの交代を採点する全二重ベンチマークは、M3-DuplexBench の1件です。このベンチマークは、ターンの交代、間、ユーザーの相づち、割り込みへの対応を採点します。掲載されている指標には、モデル自身が打つ相づちは含まれていません。データベースにある2チャンネルのデータセットのうち、日本語を含むものは、CALLHOME、CALLFRIEND、Japanese Duplex Conversation Dataset、DuplexChat、Global Conversational Speech、Basis Conversations 1500、DAI-ASR-I18Nです。試せる日本語の公開モデルには、J-Moshi と LLM-jp-Moshi-v1 があります。

更新日