Full-duplex（全二重）音声AIは、会話の中での振る舞いで評価します。いつ話し始めるか、割り込まれたときに譲るか、間や相づちをどう扱うか、どれだけ速く答えるかを測ります。新しいベンチマークでは、音声エージェントがタスクを達成できるかも確かめます。
測る項目
ターンの交代ユーザーが話し終えたときに話し始めるか、それまでにどれだけかかるか。
間の扱いユーザーが文の途中で間を置いただけのときに、待てるか。
割り込みユーザーが割り込んだときに話を止め、適切に応じるか。
相づちと重なり適切なところで「うん」と相づちを打てるか、両方が同時に話したときにどうなるか。
Full-Duplex-Bench
Full-Duplex-Bench は、NTU、UC Berkeley、UW、MIT の研究者による、最もよく引用されている全二重のベンチマークです。採点の多くは1つのルールに基づきます。システムが3語より多く話すか、1秒より長く話せば、発話権を取ったとみなします。
- v1（2025年）は、録音済みの音声でターンの交代、相づち、割り込み、間の扱いを採点します。
- v1.5 は重なりの評価を加えました。システムが話している間に、ユーザーの割り込み、聞き手の相づち、別の人との会話、周りの話し声が重なる場面を扱います。
- v2 は、評価対象のシステムに音声をリアルタイムで流して採点し、複数ターンの対話を加えました。
- v3（2026年）は、言い直しなどを含む実際の録音音声を使い、複数段階のツール呼び出しを試します。
スコアが変わる理由
同じモデルの同じベンチマークのスコアでも、誰が実行したかで値が変わります。ベンチマークの作者による実行、モデルの開発元が細部を変えて行う再実行、第三者が発話権のルールや採点用のモデルを変えて行う実行があり、実行が違えばスコアは比べられません。
Analytics では、実行ごとにタブを分け、誰が実行したかを示しています。詳しく（英語）: Why STS needs new benchmarks
会話の評価とタスクの評価
Full-Duplex-Bench と TurnBench は会話の振る舞いを採点し、エージェント向けのベンチマークは通話の目的を達成できたかを採点します。τ-Voice（τ-bench の音声版）は、雑音や訛りのある条件で全二重の通話を行います。文字のやり取りで約85%を達成するモデルも、音声とリアルタイム性が加わると26〜38%に下がります。EVA-Bench はボットどうしの通話で評価し、正確さと体験を別々のスコアで示します。
話し終わりの判定だけを詳しく知りたい場合は、ターン検出を読んでください。
全二重のベンチマーク一覧
データベースにある、全二重の振る舞いを試すベンチマーク27件を、更新の新しい順に並べています。「採点されたモデル」は、このデータベースのモデルのうち、そのベンチマークを挙げているものの数です。
| ベンチマーク | 形式 | 主な指標 | 採点されたモデル | 更新 |
|---|---|---|---|---|
| TurnBench Sesame AI Labs / Mundo AI / CMU / oto | Lab | end-of-turn recall, interruption recall, false-positive rate | 3 | 2026-11 |
| Duplex-MPE Ma et al. | Lab | response initiation, answer accuracy, silence preservation | 0 | 2026-11 |
| InteractionBench Avera Labs (He et al.) | Live | conversational timing, spoken-task accuracy, whisper and volume control | 0 | 2026-11 |
| VideoFDB NVIDIA / David AI | Live | perception rubric (0 to 5), generation rubric (0 to 5), TOR-Alignment | 4 | 2026-10 |
| DuplexAct Dong et al. | Lab | immediate execution success, follow-through success | 8 | 2026-10 |
| MultiPartyTurnBench Mathur and Manocha | Lab | end-of-turn recall at fixed FPR, interruption recall at fixed FPR, signed latency | 2 | 2026-10 |
| M3-DuplexBench NTT (Fukuda et al.) | Lab | turn-taking rate and latency, pause handling, backchannel and barge-in response | 0 | 2026-10 |
| DuplexLedger Li et al. | Lab | latest-value accuracy, final-state fact coverage, stale assertions | 0 | 2026-10 |
| MP-Bench Shih et al. | Lab | turn-taking accuracy, response appropriateness, comprehension accuracy | 0 | 2026-10 |
| τ-bench 2.0 (τ-Voice) Sierra Research | Vertical | pass^k, tool-use success, voice task success | 3 | 2026-10 |
| Audio MultiChallenge Scale AI (Scale Labs) | Lab | Inference Memory, Instruction Retention, Self Coherence | 2 | 2026-10 |
| MultiTalkBench Wang et al. (MultiTalk) | Lab | long-range entity tracking, topic coherence, addressee selection | 0 | 2026-09 |
| ECHO Zhao et al. | Lab | pair accuracy, yield accuracy, keep accuracy | 0 | 2026-09 |
| DuplexSpeechBench-IFEval Mathur and Manocha | Lab | Instruction Adherence Score, Persona Adherence Score | 0 | 2026-09 |
| APEX-Voice Mathur and Manocha | Vertical | Pass@1, Reliable@3, artifact field accuracy | 0 | 2026-09 |
| Full-Duplex-Bench v3 NTU (NVIDIA advisory) | Live | Pass@1, tool-call F1, response latency | 2 | 2026-05 |
| MTR-DuplexBench Zhang et al. | Lab | conversational features, dialogue quality, instruction following | 0 | 2026-04 |
| SID-Bench Xia et al. | Lab | Average Penalty Time (APT), false alarms, response delay | 0 | 2026-03 |
| Full-Duplex-Bench v2 NTU / UC Berkeley / UW / MIT | Live | streaming latency, multi-turn coherence, overlap handling | 0 | 2026-02 |
| HumDial (ICASSP '26) ICASSP 2026 Spoken Dialogue Challenge | Lab | turn-taking, paralinguistic grounding, human preference | 0 | 2026-01 |
| FLEXI Ge et al. | Lab | latency, response quality, emergency interruption | 0 | 2025-09 |
| MMedFD Academic (MMedFD authors) | Vertical | duplex WER, medical-term recall, overlap-region WER | 0 | 2025-09 |
| Full-Duplex-Bench v1.5 NTU / UC Berkeley / UW / MIT | Lab | overlap duration, mutual-silence rate, interruption recovery | 3 | 2025-08 |
| FD-Bench Peng et al. | Lab | interruption response, delay, robustness under noise | 0 | 2025-07 |
| J-Moshi (subjective) Ohashi et al. | Lab | naturalness, meaningfulness | 0 | 2025-06 |
| Talking Turns Apple / CMU | Lab | turn-event F1, backchannel rate, interruption rate | 3 | 2025-04 |
| Full-Duplex-Bench v1 NTU / UC Berkeley / UW / MIT | Lab | turn-taking latency, back-channel timing, interruption success | 5 | 2025-03 |
詳しく（英語）: Mapping the benchmark landscape
よくある質問
- どのベンチマークから見ればよいですか？
- 最もよく引用されているのは Full-Duplex-Bench です。v1 と v1.5 は録音済みの音声で採点し、v2 と v3 は動いているシステムに音声を流して採点します。話し終わりの判定だけを見るなら TurnBench、音声エージェントがタスクを達成できるかを見るなら τ-Voice や EVA-Bench が向いています。
- ベンダー自身が出した数値は信用できますか？
- 出発点として扱うのがよいでしょう。ベンダーは自社の実行でテストセットや設定を選べます。ベンチマークの作者や第三者が同じ手順で実行した数値のほうが比べやすくなります。このデータベースでは、各数値を誰が出したかを示しています。
- 日本語の全二重のベンチマークはありますか？
- データベースにある全二重のベンチマーク27件のうち、日本語を扱うものは2件です（M3-DuplexBench、J-Moshi (subjective)）。