媒体处理 一站式视频译制接入

二、快速选型

根据你的业务场景，参考以下表格选择接入方式：

三、配音级视频译制接入

一站式进行字幕识别 + 翻译 + 擦除+ AI 配音。

四、前置操作

在接入前，为正常使用 MPS 产品，你需要完成以下前置操作：腾讯云账号注册与登录、开通 MPS 产品、授权服务角色。

具体指引请参考 快速入门。账号授权问题可参考 账号授权 文档。

六、方式1：控制台发起任务

进入控制台 视频译制场景应用，即可发起任务。

七、方式2：API 发起任务

调用 ProcessMedia 接口 ，选择 AiAnalysisTask 任务，将 Definition 设置为 25（预设模板 ID），ExtendedParameter 填扩展参数，通过该参数实现视频译制能力，取值见下文 扩展参数说明。ProcessMedia 的 JSON 示例如下：

{ "InputInfo":{ //输入视频路径，请替换为你的原始视频 "Type":"URL", "UrlInputInfo":{ "Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4" } }, "OutputStorage":{ //输出COS存储桶，请替换 "Type":"COS", "CosOutputStorage":{ "Bucket":"test", "Region":"ap-nanjing" } }, "OutputDir":"/mps_test/output/",//输出文件夹路径，请替换 "AiAnalysisTask":{ "Definition":25, //预设模板ID，填25即可 "ExtendedParameter":"{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\"}}" //扩展参数，用于指定视频译制具体能力 }, "TaskNotifyConfig":{ //事件回调通知配置，可选 "NotifyType":"URL", "NotifyUrl":"http://www.qq.com/callback" }}

建议你通过 API Explorer 实现快速验证。你可以将上述 JSON 复制到 API Explorer 的 JSON 模式中，切换至“表单”模式可以自动解析，调整输入输出路径等必要参数后，再单击发起调用即可。

在 API Explorer 表单和 JSON 两种输入模式下，ExtendedParameter 的位置示意如下：

注意：使用 API Explorer 的表单模式填写 ExtendedParameter 时，需要直接传入 JSON，不用转换成字符串。但使用 API Explorer 的 JSON 模式或直接使用 API 接口，则必须传入转义后的字符串。

注意：

注意：{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\"}}

八、查询任务结果

视频译制任务会输出处理后的视频文件，保存在任务配置的输出路径下。

九、控制台查询结果

1. 你可以在控制台 任务管理 页面查看任务状态，当子任务状态为“成功”时，单击回调 JSON。

2. 可以在输出信息中找到输出文件路径。

如果使用 COS 作为输出路径，你可以在 MPS 控制台的编排管理 > COS Bucket > 输出 Bucket 页面中找到输出文件。文件名类似"delogo-xxx.mp4"的视频即为译制处理后的视频文件。

十、事件通知回调

在使用 ProcessMedia 发起媒体处理任务时，你可以通过 TaskNotifyConfig 参数配置事件回调。当任务处理完成后，会通过配置的回调信息回调任务结果，你可以通过 ParseNotification 解析事件通知结果。

十一、调用接口查询任务结果

在使用 ProcessMedia 发起媒体处理任务后，会返回任务 ID（TaskId），例如：24000022-WorkflowTask-b20a8exxxxxxx1tt110253、24000022-ScheduleTask-774f101xxxxxxx1tt110253。调用 DescribeTaskDetail 接口，输入任务 ID 即可获取任务结果，你需要解析 WorkflowTask ->AiAnalysisResultSet 字段获取任务结果。

十二、ExtendedParameter 扩展参数说明

请根据视频译制使用场景，设置相应的扩展参数，以下为常见场景说明。

十三、场景1：OCR 提取字幕并翻译+擦除原字幕+压制新字幕+AI 克隆配音（最常用）

将视频字幕及配音翻译为指定语言，生成带有翻译语言字幕及配音的新视频。其中，字幕及配音内容来源于 OCR 文本提取（提取视频画面上的源字幕）。对于画面上带有源语言字幕的视频，建议使用该场景处理。

十四、计费说明

使用该场景能力，收取「去字幕」、「OCR 提取字幕并翻译+压制字幕」及 「AI 配音（高情感克隆配音）」三个计费项的费用。

若不开启压制字幕，收取「去字幕」、「OCR 提取字幕并翻译」及 「AI 配音（高情感克隆配音）」三个计费项的费用。

定价可参考 计费说明。

十五、效果示例

中文原视频：英文译制视频：

十六、ExtendedParameter 传参如下

{ "delogo": { "cluster_id": "gpu_pre", "CustomerAppId": "audio_clone_ocr" }}//若直接调用API或使用 API Explorer 的 JSON 模式，请使用转义版本：{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\"}}

十七、指定语言

默认为中转英（源语言为简体中文，目标翻译语言为英语），若需要其他语言，可通过在 ExtendedParameter 中补充传入 translate_src_language 和 translate_dst_language 参数。支持语种及对应 code 请参考下文 视频译制支持语种，示例：

{ "delogo": { "cluster_id": "gpu_pre", "CustomerAppId": "audio_clone_ocr", "subtitle_param": { "translate_src_language": "de", //德语 "translate_dst_language": "id" //印度尼西亚语 } }}/*若直接调用API或使用 API Explorer 的 JSON 模式，请使用转义版本：{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\",\\"subtitle_param\\":{\\"translate_src_language\\":\\"de\\",\\"translate_dst_language\\":\\"id\\"}}}translate_src_language: 用于指定视频源语言，不传则默认为中文translate_dst_language: 用于指定翻译目标语言，不传则默认为英语*/

十八、不开启压制字幕

若你不需要将翻译语言字幕压制到视频画面上，可以补充以下传参 "use_draw": false 。

{ "delogo": { "cluster_id": "gpu_pre", "CustomerAppId": "audio_clone_ocr", "subtitle_param": { "use_draw": false } }}/*use_draw: 不传或传true表示压制字幕，false表示不压制字幕若直接调用API或使用 API Explorer 的 JSON 模式，请使用转义版本：{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\",\\"subtitle_param\\":{\\"use_draw\\":false}}}*/

十九、场景2：ASR 提取字幕并翻译+压制新字幕+AI 克隆配音

与场景1类似，场景2也是将视频字幕及配音翻译为指定语言，生成带有翻译语言字幕及配音的新视频。不过字幕及配音内容来源于 ASR 语音识别（识别视频源语音内容，转写为字幕）。场景2不会自动进行去字幕处理。

20、计费说明

使用该场景能力，收取「 ASR 生成字幕并翻译+压制字幕」及 「AI 配音（高情感克隆配音）」两个计费项的费用。定价可参考 计费说明。

若不开启压制字幕，收取「 ASR 语音翻译」及 「AI 配音（高情感克隆配音）」两个计费项的费用。定价可参考 计费说明。

21、效果示例

俄语原视频：中文译制视频：

22、ExtendedParameter 传参如下

{ "delogo": { "cluster_id": "gpu_pre", "CustomerAppId": "audio_clone_asr" }}//若直接调用API或使用 API Explorer 的 JSON 模式，请使用转义版本：{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_asr\\"}}

23、指定语言

默认为中转英（源语言为简体中文，目标翻译语言为英语），若需要其他语言，可通过在 ExtendedParameter 中补充传入 translate_src_language 和 translate_dst_language 参数。支持语种及对应 code 请参考下文 视频译制支持语种，示例：

{ "delogo": { "cluster_id": "gpu_pre", "CustomerAppId": "audio_clone_asr", "subtitle_param": { "translate_src_language": "de", //德语 "translate_dst_language": "id" //印度尼西亚语 } }}/*若直接调用API或使用 API Explorer 的 JSON 模式，请使用转义版本：{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_asr\\",\\"subtitle_param\\":{\\"translate_src_language\\":\\"de\\",\\"translate_dst_language\\":\\"id\\"}}}translate_src_language: 用于指定视频源语言，不传则默认为中文translate_dst_language: 用于指定翻译目标语言，不传则默认为英语*/

24、不开启压制字幕

若你不需要将翻译语言字幕压制到视频画面上，可以补充以下传参 "subtitle_param": { "use_draw": false } 。

{ "delogo": { "cluster_id": "gpu_pre", "CustomerAppId": "audio_clone_asr", "subtitle_param": { "use_draw": false } }}/*若直接调用API或使用 API Explorer 的 JSON 模式，请使用转义版本：{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_asr\\",\\"subtitle_param\\":{\\"use_draw\\":false}}}*/

25、场景3：切换 AI 配音模式

AI 配音支持以下几种模式：

指定配音模式，需要通过 voice_clone_param 字段实现：

27、口型驱动配置

支持在一站式视频译制同时开启口型驱动，通过传入 delogo.subtitle_param.voice_clone_param.enable_lipsync 为 true 开启，使用一站式视频译制同时进行口型驱动示例如下：

{ "delogo": { "cluster_id": "gpu_pre", "CustomerAppId": "audio_clone_ocr", "subtitle_param": { "translate_src_language": "zh", "translate_dst_language": "en", "voice_clone_param": { "enable_lipsync": true } } }}

注意：当前口型驱动能力仅建议在单人、简单场景开启。

28、视频译制支持语种

视频译制功能，若选用 AI 配音（高情感克隆配音），支持以下语种：

若选用 AI 配音标准音色，支持多种男声、女声、童声选择。当前标准音色能力升级中，暂仅开放内测。如需了解具体音色及语种列表，你可以联系商务或 提交工单 获得支持。

30、场景1：无需擦除，通过语音识别生成字幕并翻译

你可以使用智能字幕功能，基于 ASR 语音识别，生成翻译语言字幕文件，再通过调用转码功能，将字幕压制到视频画面中，参考 智能字幕接入。

31、场景2：需要擦除原字幕，翻译为其他语种，再压制并渲染回视频画面

参考 智能擦除接入-字幕级译制，一站式实现原始字幕擦除、字幕提取、字幕翻译、字幕压制。