Subscribe

検索やツール呼び出しとの連携

English

全二重の音声モデルは1秒未満で答えられますが、Web検索やデータベースの照会には数秒かかります。そこでモデルは、時間のかかる処理を別のところに任せ、その間も聞きながら話し、結果が届いたら声で伝えます。方式の違いは、遅い処理を何が担当し、誰がそれを動かすかにあります。

処理を分ける理由

人どうしの会話では、話者が交代するときの間は約200ミリ秒です。検索や、何段階かのツール呼び出しには数秒かかります。その間ずっと黙るモデルは、順番に話す従来のアシスタントと同じ動きになります。処理を分けると、声の反応を保てます。会話を担当する部分と、遅い処理を担当する部分を分け、結果は準備ができた時点で会話に入れます。

結果を待つ

モデルはツールを呼び出し、結果が返るまで何も話しません。

裏で処理する

モデルは「調べます」と伝え、ツールが動いている間もユーザーの発言に答え、結果が届いたら報告します。

あなたの発話AIの発話検索やツールの実行中時間 →模式図です。実測ではありません。

3つの方式

結果を待たないツール呼び出し開発者が関数を「待たずに実行する」と指定します。関数はユーザーが話している間も動きます。結果が届いたとき、モデルにすぐ報告させるか、いま行っていることが終わってから報告させるか、あとで使うために持たせておくかを、クライアント側が選びます。例: Gemini 3.8 Live の Live API。待たずに実行する呼び出しが標準です。
裏で動く別のモデル音声モデルが助けを求める時点を判断し、別のモデルやエージェントに依頼を渡します。推論とツール呼び出しはそちらが行います。例: GPT-Live 1（裏のモデルは OpenAI が動かすか、開発者が自分のものを接続します）、Realtime-Venus、DuplexOmni。
音声セッションの中での推論1つのモデルIDが、裏で計画を立ててツールを呼び出し、「Checking flight options now（フライトの候補を確認しています）」のような短い経過を話します。例: Gemini 3.8 Live Extended Thinking。声の裏で何が動いているかを、Google は説明していません。

OpenAI の GPT-Live の説明では、音声モデルが会話を担当し、任せる時点を判断します。細かい指示、業務ルール、ツールの手順は裏のモデルが持ちます。権限の確認、ユーザーへの確認、自社システムに触れる関数の実行は、開発者のアプリケーションが行います。Shizuku AI は、日本語モデル Shizuku-Duplex で同じ分け方を説明しています。対話を担当するモデルが DELEGATE という特別なトークンを出し、裏のモデルがWebを検索している間も話し続け、届いた結果を自分の言葉で伝えます。

詳しく（英語）: OpenAI、Google DeepMind、Shizuku AI

割り込まれたときの扱い

声を止めることと、裏の処理を取り消すことは別で、システムによって扱いが違います。GPT-Live では、ユーザーが割り込んだあとも裏の処理は続けられ、最後まで行うか取り消すかはアプリケーションが決めます。Gemini の Live API では、割り込みが起きると、生成中の返答と実行待ちの関数呼び出しが破棄され、どの呼び出しを破棄したかをサーバーが知らせます。

モデルが本当の割り込みをどう見分けるかは、割り込み（バージイン）で説明しています。

測り方

  • Full-Duplex-Bench v3 は、人が録音した依頼100件を流します。言いよどみや言い直しを含み、1回から3回の連続したツール呼び出しが必要な依頼です。ツール呼び出しの正確さ、タスクの成否、遅延、ターンの取り方を採点します。論文では、最も良いシステムでも1回目で完了できたタスクは60%で、言い直しへの対応と、難しい場面での複数段階の推論は、どのシステムも失敗しました。このベンチマークの模擬ツールはすぐに結果を返すので、時間のかかるツールを待つ間にモデルが何を話すかは測っていません。
  • τ-Voice は、雑音や訛りのある条件で、エージェントのタスクを全二重の通話として行います。文字のやり取りで約85%を達成するエージェントも、音声とリアルタイム性が加わると26〜38%に下がります。
  • Shizuku AI は自社で日本語のベンチマークを実施し、その中にWebで調べる課題があります。正答率は Shizuku-Duplex が43%、GPT-Live 1 が50%、Gemini 3.8 Live が43%でした。モデルを作った会社自身による測定なので、目安として見てください。

ガイド: Full-duplex音声AIの評価方法

確認する点

  • ツールが動いている間、声は聞き続けるのか、結果を待つのか。
  • 待っている間、ユーザーに何が聞こえるのか。経過を話すのか、無音なのか。
  • 裏のモデルを誰が動かすのか。モデルを選べるか、自分のエージェントを接続できるか。
  • ユーザーが割り込んだとき、進行中の処理がどうなるのか。
  • 課金の方法。OpenAI は、音声セッションの料金と、裏のモデルやツールの料金を別々に請求します。Google は1つのモデルをトークン単位で課金し、推論の分は出力の料金に含まれます。

ツールを呼び出せるモデル

データベースの記載でツールを呼び出せるとされている、現行の全二重モデル14件です。ツールの動かし方ごとに並べています。出典は各モデルのページにあります。

モデルツールの動かし方提供形態公開
Shizuku-DuplexShizuku AI
裏で動く別のモデルに任せる—2026-11
Realtime-VenusAnt Group (inclusionAI)
裏で動く別のモデルに任せる公開された重み2026-09
DuplexOmniXi'an Jiaotong University / Peking University / Meituan
裏で動く別のモデルに任せる公開された重み2026-07
GPT-Live 1OpenAI
裏で動く別のモデルに任せるAPI2026-07
Amazon Nova 2.5 SonicAmazon / AWS
ツールを裏で実行するAPI2026-10
Gemini 3.8 LiveGoogle DeepMind
ツールを裏で実行するAPI2026-09
OpenAI Realtime (gpt-realtime-2.1)OpenAI
ツールを裏で実行するAPI2026-07
Amazon Nova 2 SonicAmazon / AWS
ツールを裏で実行するAPI2025-12
Grok Voice 3.0 (xAI Speech to Speech API)xAI
ツールを呼び出せるAPI2026-10
Phonic-1Phonic
ツールを呼び出せるAPI2026-10
StepAudio 3 RealtimeStepFun
ツールを呼び出せるAPI2026-09
NVIDIA NemotronLabs VoiceChat 11BNVIDIA
ツールを呼び出せる公開された重み2026-08
Qwen-Audio Realtime (3.0 / 3.1)Alibaba Cloud
ツールを呼び出せるAPI2026-08
Step-Audio 2 miniStepFun
ツールを呼び出せる公開された重み2025-08

よくある質問

Full-duplex（全二重）の音声AIは、Web検索やツールをどう使いますか？
時間のかかる処理を別のところに任せ、会話は続けます。音声モデルは検索やツールが必要だと判断すると、裏で動く別のモデルに依頼を渡すか、ツール呼び出しを裏で実行します。その間も聞きながら話し、結果が届いたら声で伝えます。
検索している間、会話は止まりますか？
裏で処理する方式では止まりません。モデルは調べていることを伝え、聞き続け、処理が終わると報告します。Shizuku AI が公開した例では、Web検索に7.1秒かかる間もモデルは話し続けました。結果が返るまで待つ方式のツール呼び出しでは、その間は声が止まります。
音声モデルの裏に、自分のエージェントやモデルを置けますか？
置けるものが多くあります。GPT-Live 1 には、開発者が既存のエージェントを裏のモデルとして接続する方式があります。Gemini の Live API では、待たずに実行する関数から、任意のエージェントやテキストモデルに依頼を転送できます。DuplexOmni は、推論を担当する層を差し替えられます。
全二重のモデルは、カメラなど音声以外の入力も扱えますか？
扱えるモデルもあります。Gemini 3.8 Live は、音声に加えてテキスト、画像、動画のフレームを受け取ります。GPT-Live 1 は画像や動画を受け取らないので、映像に関わる処理は裏のモデルを通します。データベースでは、カメラや動画の入力に対応するモデル15件に video-in のタグを付けています。

更新日