实时音视频 S2S 配置

S2S(Speech-to-Speech,端到端)模式下,用户音频直接送入端到端语音大模型,模型直接返回音频与转写文本,不再经过独立的 ASR / LLM / TTS 三段。

相关产品
实时音视频 产品页,含版本规格、价格与购买入口。

一、功能概述

与三段式(Cascade)模式的对比:

对比项 三段式(Cascade) 端到端(S2S)
链路结构 ASR → LLM → TTS 分段式 音频直入、音频直出的端到端语音大模型
配置要求 需分别配置 STTConfig / LLMConfig / TTSConfig 仅需配置 S2SConfig
延迟特性 三段累加 天然低延迟
视觉理解(截图问答) 支持(需多模态模型) 暂不支持
对话上下文查询 支持(查询接口 DescribeType=1) 暂不支持,返回为空
模型能力定制 各段可独立更换厂商 / 模型 由端到端模型整体决定

两种模式按需选择:追求极低延迟、纯语音交互选 S2S;需要视觉理解、深度定制各段能力、上下文管理选三段式。

二、配置入口

创建任务时将 ConversationMode 设置为 S2S,并通过 S2SConfig 配置端到端模型;此时无需再传 STTConfig / LLMConfig / TTSConfig:

{ "ConversationMode": "S2S", "AgentConfig": { "UserId": "ai-bot-001", "UserSig": "eJyrVgrxCdYr…", "TargetUserId": ["user-123"], "TTSPushRoomParams": { "UserId": "tts-bot-001" } }, "S2SConfig": { "Provider": "volc_doubao_realtime", "Params": "{\\"Model\\":\\"doubao-seed-realtime\\",\\"APIKey\\":\\"volc-ak-xxx\\",\\"SystemPrompt\\":\\"你是一个亲切的语音助手。\\",\\"VoiceId\\":\\"zh_female_qingxin\\",\\"Language\\":\\"zh-CN\\"}" }}

注意:说明:

注意:AgentConfig 的说明(Bot 身份、空闲回收、字幕模式等)与三段式一致,详细参见 快速开始 > 端到端 S2S 接入。

三、支持的接入方式

接入方式 说明
volc_doubao_realtime 火山豆包实时语音(doubao-seed-realtime),国内接入。
OpenAI GPT-Live OpenAI 端到端实时语音模型,海外接入。

四、S2SConfig 字段说明

字段名 必选 类型 描述
Provider 是 String S2S 端到端厂商标识(如 volc_doubao_realtime / custom)。
Params 否 String 厂商专属参数,JSON 字符串,内部字段由各厂商适配器解析。

五、Params 字段约定(Provider = volc_doubao_realtime)

字段名 类型 必选 描述
Model String 是 模型名(如 doubao-seed-realtime)。
APIKey String 否 火山 API Key。
SystemPrompt String 否 系统提示词,长度 ≤ 8000。
VoiceId String 否 输出音色 ID。
Language String 否 主语种(BCP-47 格式,如 zh-CN)。
Timeout Integer 否 建连超时(毫秒),默认 15000。

六、打断策略

S2S 模式下的打断由两层配合:

打断方式 说明
模型侧原生打断(barge-in) 端到端模型自带打断能力,用户开口即可打断当前播报,无需额外配置。
服务端强制打断 业务侧可通过控制任务接口下发 Interrupt 指令,立即停止当前播报并清空待播队列。

服务端强制打断的触发方式详细参见 (客户端)打断指令 。

七、运行时更新

S2SConfig 支持热更新(Provider / Params),运行中可通过更新任务接口切换模型或调整参数;但不允许跨模式切换,Cascade 与 S2S 之间互切需要重建任务。

各配置项的热更新支持情况:

配置 可更新 说明
S2SConfig Provider / Params 运行时切换端到端模型。
STTConfig / TTSConfig / VisionConfig \\ 需重建任务。

八、注意事项

1. 不支持视觉理解:S2S + VLM 组合不可用,截图问答仅在 Cascade 模式下支持,详细参见 视觉理解能力(截图问答)。

2. 不支持查询对话历史:S2S 模式下查询接口的 DescribeType=1 返回为空,如需对话记录请通过三段式回调(ASR / LLM 结果事件)自行落库,详细参见 AI 对话回调事件。

3. 模式互斥:ConversationMode 创建后不可修改,跨模式需销毁旧任务后重新创建。

4. Params 为 JSON 字符串:传入前确保 JSON 合法,TRTC 侧仅做格式校验,内部字段语义由厂商适配器解析。

5. 密钥安全:APIKey 等鉴权信息通过服务端接口传入,不要在客户端保存或下发。

赞 (0)
上一篇 4天前
下一篇 4天前