一、功能概述
与三段式(Cascade)模式的对比:
| 对比项 | 三段式(Cascade) | 端到端(S2S) |
| 链路结构 | ASR → LLM → TTS 分段式 | 音频直入、音频直出的端到端语音大模型 |
| 配置要求 | 需分别配置 STTConfig / LLMConfig / TTSConfig | 仅需配置 S2SConfig |
| 延迟特性 | 三段累加 | 天然低延迟 |
| 视觉理解(截图问答) | 支持(需多模态模型) | 暂不支持 |
| 对话上下文查询 | 支持(查询接口 DescribeType=1) | 暂不支持,返回为空 |
| 模型能力定制 | 各段可独立更换厂商 / 模型 | 由端到端模型整体决定 |
两种模式按需选择:追求极低延迟、纯语音交互选 S2S;需要视觉理解、深度定制各段能力、上下文管理选三段式。
二、配置入口
创建任务时将 ConversationMode 设置为 S2S,并通过 S2SConfig 配置端到端模型;此时无需再传 STTConfig / LLMConfig / TTSConfig:
{ "ConversationMode": "S2S", "AgentConfig": { "UserId": "ai-bot-001", "UserSig": "eJyrVgrxCdYr…", "TargetUserId": ["user-123"], "TTSPushRoomParams": { "UserId": "tts-bot-001" } }, "S2SConfig": { "Provider": "volc_doubao_realtime", "Params": "{\\"Model\\":\\"doubao-seed-realtime\\",\\"APIKey\\":\\"volc-ak-xxx\\",\\"SystemPrompt\\":\\"你是一个亲切的语音助手。\\",\\"VoiceId\\":\\"zh_female_qingxin\\",\\"Language\\":\\"zh-CN\\"}" }}
注意:说明:
注意:AgentConfig 的说明(Bot 身份、空闲回收、字幕模式等)与三段式一致,详细参见 快速开始 > 端到端 S2S 接入。
三、支持的接入方式
| 接入方式 | 说明 |
| volc_doubao_realtime | 火山豆包实时语音(doubao-seed-realtime),国内接入。 |
| OpenAI GPT-Live | OpenAI 端到端实时语音模型,海外接入。 |
四、S2SConfig 字段说明
| 字段名 | 必选 | 类型 | 描述 |
| Provider | 是 | String | S2S 端到端厂商标识(如 volc_doubao_realtime / custom)。 |
| Params | 否 | String | 厂商专属参数,JSON 字符串,内部字段由各厂商适配器解析。 |
五、Params 字段约定(Provider = volc_doubao_realtime)
| 字段名 | 类型 | 必选 | 描述 |
| Model | String | 是 | 模型名(如 doubao-seed-realtime)。 |
| APIKey | String | 否 | 火山 API Key。 |
| SystemPrompt | String | 否 | 系统提示词,长度 ≤ 8000。 |
| VoiceId | String | 否 | 输出音色 ID。 |
| Language | String | 否 | 主语种(BCP-47 格式,如 zh-CN)。 |
| Timeout | Integer | 否 | 建连超时(毫秒),默认 15000。 |
六、打断策略
S2S 模式下的打断由两层配合:
| 打断方式 | 说明 |
| 模型侧原生打断(barge-in) | 端到端模型自带打断能力,用户开口即可打断当前播报,无需额外配置。 |
| 服务端强制打断 | 业务侧可通过控制任务接口下发 Interrupt 指令,立即停止当前播报并清空待播队列。 |
服务端强制打断的触发方式详细参见 (客户端)打断指令 。
七、运行时更新
S2SConfig 支持热更新(Provider / Params),运行中可通过更新任务接口切换模型或调整参数;但不允许跨模式切换,Cascade 与 S2S 之间互切需要重建任务。
各配置项的热更新支持情况:
| 配置 | 可更新 | 说明 |
| S2SConfig | Provider / Params | 运行时切换端到端模型。 |
| STTConfig / TTSConfig / VisionConfig | \\ | 需重建任务。 |
八、注意事项
1. 不支持视觉理解:S2S + VLM 组合不可用,截图问答仅在 Cascade 模式下支持,详细参见 视觉理解能力(截图问答)。
2. 不支持查询对话历史:S2S 模式下查询接口的 DescribeType=1 返回为空,如需对话记录请通过三段式回调(ASR / LLM 结果事件)自行落库,详细参见 AI 对话回调事件。
3. 模式互斥:ConversationMode 创建后不可修改,跨模式需销毁旧任务后重新创建。
4. Params 为 JSON 字符串:传入前确保 JSON 合法,TRTC 侧仅做格式校验,内部字段语义由厂商适配器解析。
5. 密钥安全:APIKey 等鉴权信息通过服务端接口传入,不要在客户端保存或下发。