全二重のモデルは、話者ごとに別のチャンネルで録音した会話から、ターンの交代を学びます。チャンネルが分かれていれば、重なり、割り込み、相づち（バックチャネル）がそのまま残ります。1本に混ざったトラックでは、これらが溶け合います。データセットで学習する前に、ライセンスが自分の用途を認めているかと、話者が録音に同意しているかの2点を確かめてください。
話者別チャンネルが必要な理由
重なりは1つの音に溶け、相づちは主な話し手の声に埋もれ、ターンの終わりは推測するしかなくなります。
重なりも、相づちも、ターンの終わりも、正確なタイミングのまま残ります。
2人の話者が1本のトラックを共有すると、どちらの声かがはっきり分かる2つの出来事だった200ミリ秒の重なりは、1つの区別できない音になります。相づちは主な話し手の声に埋もれ、ターンの終わりは直接読み取れず、推測するしかなくなります。音源分離のモデルを使えば、混ざったトラックを後から話者ごとに分けられます。ただし、実際に声が重なる会話では、その精度の多くを失います。
話者ごとにチャンネルがあれば、ターンの終わりにも、話し手が入れ替わる瞬間にも、すべて正確なタイムスタンプが付きます。MultiPartyTurnBench のようなベンチマークが、合成した話者をそれぞれ別のチャンネルに置いているのも、同じ理由からです。
2チャンネルの会話がどれだけ必要かは、モデルの設計によって変わります。Moshi のようなデュアルストリームのモデルが、最も多くを必要とします。テキストと音声を1つのストリームに交互に並べる設計は、主に合成した対話で学習されてきました。
詳しく（英語）: The data ceiling
話者別チャンネルのデータセット
データベースにある107件のデータセットのうち、31件は話者ごとに別のチャンネルで録音しています。グラフは、それらの時間数を対数目盛りで示し、商用利用できるかどうかで色分けしています。バーを選ぶと、そのデータセットのページを開きます。
時間数の公開なし：otoSpeech Video、otoSpeech Face-to-Face、otoSpeech 3-Speaker、otoSpeech Korean、otoSpeech Japanese、otoSpeech Role-Play、otoSpeech Scripted、otoSpeech Egocentric。
商用利用できるものが9件、制限があるものが14件、認めていないものが8件です。8件は時間数を公開していません。すべて Datasets で一覧し、絞り込めます。
ライセンスの読み方
データベースでは、各ライセンスを5つの区分のどれかに分類しています。件数は、話者別チャンネルのデータセットについてのものです。
| 区分 | 内容 | 件数 |
|---|---|---|
| パーミッシブ | CC0、CC BY、Apache、MIT のいずれかです。商用利用できます。 | 6 |
| 継承（シェアアライク） | CC BY-SA などです。データを元に作ったものは、同じ条件で共有する必要があります。 | 1 |
| 非商用 | CC BY-NC、または研究用に限る条件です。 | 7 |
| アクセス制限 | LDC のカタログのように、利用に料金、会員資格、申請のいずれかが必要です。 | 7 |
| 独自 | 提供元が独自に定めた条件で、上のどれにも当てはまらないものです。 | 10 |
区分はライセンスの文面を表し、商用利用の欄はそのライセンスが何を認めているかを表します。両者はたいてい一致しますが、一致しないこともあります。各データセットのページで両方を確かめ、学習の前に元の利用条件を読んでください。
同意の読み方
データベースでは、各データセットの音声がどこから来たかを記録しています。話者別チャンネルのデータセットのうち、同意を得た音声を使うものが28件、公開されているメディアの音声を使うものが1件、出どころを明記していないものが2件です。
録音への同意と、学習への同意は同じものではありません。2人の話者による1つの録音にも、別々の規則がいくつも関わることがあります。通話を録音することへの同意、アップロード先のプラットフォームの利用規約、AIの学習データに関する開示の規則、声を個人の識別に使う場合の生体情報の規則、合成した声が話者に似ている場合の肖像に関する権利です。
データセットの説明資料で確かめておきたい点が2つあります。1つは、ファイルをアップロードした人だけでなく、それぞれの話者が同意しているかです。もう1つは、その同意がモデルの学習まで含んでいるかです。プラットフォームの利用規約はふつうアップロードした人に適用されるので、会話に含まれるほかの人の声は対象外のまま残ります。
詳しく（英語）: Consent, licensing, and the opt-in economy for conversational data
実際の会話と合成した会話
合成した対話は大量に作りやすく、主にそれで学習する設計もあります。OmniFlatten は、5億パラメータのモデルで、2,000時間の合成対話から全二重の振る舞いを実現しました。限界は、対話を生成する側に由来します。抑揚は音声合成モデルの癖に寄っていき、相づちはルールで置いた場所にしか現れず、重なりは台本どおりになります。
セルフプレイにも同じ問題があります。2つの全二重モデルが互いに会話を生成すると、両方のターン交代の遅さが、そのままデータに入り込みます。Signals 2026-W42（英語）と、ガイドの相づちも読んでください。
よくある質問
- どんなデータセットが全二重に当たりますか？
- このサイトでは、話者ごとに別のチャンネルで録音されたデータセットを全二重として扱います。データベースにある107件のデータセットのうち、31件が当てはまります。
- これらのデータセットは商用利用できますか？
- 話者別チャンネルのデータセット31件のうち、商用利用できるものは9件です。14件は制限があり、8件は認めていません。グラフの「商用利用可のみ」で絞り込み、学習の前に各データセットの元の利用条件を読んでください。
- 混ざった録音を、後からチャンネルに分けられますか？
- 一部しかできません。スタジオで混ぜた音声ではほぼきれいに分けられる音源分離のモデルも、実際に声が重なる会話ではその精度の多くを失います。話者ダイアライゼーションも、音声の一部を誤った話者に割り当てます。pyannote 3.1 は、AMI の会議音声でダイアライゼーション誤り率が約22%と報告しています。
- 日本語の話者別チャンネルのデータセットはありますか？
- データベースには、日本語を含むものが8件あります（CALLHOME (JA / ZH / ES / DE / AR …)、Japanese Duplex Conversation Dataset、DuplexChat、otoSpeech Japanese、otoSpeech Role-Play、otoSpeech Scripted、Basis Conversations 1500、DAI-ASR-I18N）。
更新日