一、视频译制功能简介
·字幕级视频译制:擦除+字幕提取+字幕翻译。自动识别视频中的原始字幕,进行精准擦除和大模型翻译,并将翻译后的字幕无缝压制到视频中。
·配音级视频译制:在字幕级视频译制的同时,提供自然流畅的 AI 配音,生成带有 AI 翻译语言字幕配音的新视频。
二、前置操作
在接入一站式译制前,为正常使用此能力,你需要在 云点播控制台 的媒体处理 > 媒体处理模板 > 媒体智能模板页面中开通 MPS 服务。
三、发起任务
你可以进入 云点播控制台 的智能媒资管理 > 音视频管理页面发起任务。
1. 选择需要发起任务的视频,并单击媒体处理。
2. 处理类型选择“媒体智能”的智能分析,选择25号预设模板。开启更多设置的扩展参数,参考下文 扩展参数说明,传入所需参数。
注意:说明:
四、查看任务结果
在 云点播控制台 的任务中心页面,找到对应任务并单击详情查看结果。
五、发起任务
调用 ProcessMediaByMPS,FileId 处填写需要处理的媒资 ID,SubAppId 处填入子应用 ID,MPSProcessMediaParams 参数中填写 AiAnalysisTask 任务,并将 Definition 设置为 25(预置模板)。ExtendedParameter 根据需求填额外的扩展参数,通过该参数实现特定的能力。
视频译制任务 MPSProcessMediaParams 参数示例如下:
{"AiAnalysisTask":{"Definition":25,"ExtendedParameter":"{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\"}}"}}
六、查询任务结果
使用 云点播查询任务详情 或 云点播获取任务列表 查询任务。
可以在输出信息中找到输出文件路径。
七、ExtendedParameter 扩展参数说明
请根据视频译制使用场景,设置相应的扩展参数,以下为常见场景说明。
八、场景1:OCR 提取字幕并翻译+擦除原字幕+压制新字幕+AI 克隆配音(最常用)
将视频字幕及配音翻译为指定语言,生成带有翻译语言字幕及配音的新视频。其中,字幕及配音内容来源于 OCR 文本提取(提取视频画面上的源字幕)。对于画面上带有源语言字幕的视频,建议使用该场景处理。
九、计费说明
·使用该场景能力,收取 MPS「去字幕」、「OCR 提取字幕并翻译+压制字幕」及 「AI 配音(克隆音色)」三个计费项的费用。定价可参考 计费说明。
·若不开启压制字幕,收取 MPS「去字幕」、「OCR 提取字幕并翻译」及 「AI 配音(克隆音色)」三个计费项的费用。定价可参考 计费说明。
ExtendedParameter 传参如下:
{ "delogo": { "cluster_id": "gpu_pre", "CustomerAppId": "audio_clone_ocr" }}//若直接调用API或使用 API Explorer 的 JSON 模式,请使用转义版本:{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\"}}
十、指定语言
默认为中转英(源语言为简体中文,目标翻译语言为英语),若需要其他语言,可通过在 ExtendedParameter 中补充传入 translate_src_language 和 translate_dst_language 参数。支持语种及对应 code 请参考下文视频译制支持语种,示例:
{ "delogo": { "cluster_id": "gpu_pre", "CustomerAppId": "audio_clone_asr", "subtitle_param": { "translate_src_language": "de", //德语 "translate_dst_language": "id" //印度尼西亚语 } }}/*若直接调用API或使用 API Explorer 的 JSON 模式,请使用转义版本:{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_asr\\",\\"subtitle_param\\":{\\"translate_src_language\\":\\"de\\",\\"translate_dst_language\\":\\"id\\"}}}translate_src_language: 用于指定视频源语言,不传则默认为中文translate_dst_language: 用于指定翻译目标语言,不传则默认为英语*/
十一、不开启压制字幕
若你不需要将翻译语言字幕压制到视频画面上,可以在 ExtendedParameter 中补充以下传参 "subtitle_param": { "use_draw": false } 。
{ "delogo": { "cluster_id": "gpu_pre", "CustomerAppId": "audio_clone_ocr", "subtitle_param": { "use_draw": false } }}/*use_draw: 不传或传true表示压制字幕,false表示不压制字幕若直接调用API或使用 API Explorer 的 JSON 模式,请使用转义版本:{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\",\\"subtitle_param\\":{\\"use_draw\\":false}}}*/
十二、场景2:ASR 提取字幕并翻译+压制新字幕+AI 克隆配音
与场景1类似,场景2也是将视频字幕及配音翻译为指定语言,生成带有翻译语言字幕及配音的新视频。不过字幕及配音内容来源于 ASR 语音识别(识别视频源语音内容,转写为字幕)。场景2不会自动进行去字幕处理。
十三、计费说明
·使用该场景能力,收取「 ASR 生成字幕并翻译+压制字幕」及 「AI 配音(克隆音色)」两个计费项的费用。定价可参考 MPS 计费说明。
·若不开启压制字幕,收取「 ASR 语音翻译」及 「AI 配音(克隆音色)」两个计费项的费用。定价可参考 MPS 计费说明。
ExtendedParameter 传参如下:
{ "delogo": { "cluster_id": "gpu_pre", "CustomerAppId": "audio_clone_asr" }}//若直接调用API或使用 API Explorer 的 JSON 模式,请使用转义版本:{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\"}}
十四、指定语言
默认为中转英(源语言为简体中文,目标翻译语言为英语),若需要其他语言,可通过在 ExtendedParameter 中补充传入 translate_src_language 和 translate_dst_language 参数。支持语种及对应 code 请参考 视频译制支持语种。示例:
{ "delogo": { "cluster_id": "gpu_pre", "CustomerAppId": "audio_clone_asr", "subtitle_param": { "translate_src_language": "de", //德语 "translate_dst_language": "id" //印度尼西亚语 } }}/*若直接调用API或使用 API Explorer 的 JSON 模式,请使用转义版本:{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_asr\\",\\"subtitle_param\\":{\\"translate_src_language\\":\\"de\\",\\"translate_dst_language\\":\\"id\\"}}}translate_src_language: 用于指定视频源语言,不传则默认为中文translate_dst_language: 用于指定翻译目标语言,不传则默认为英语*/
十五、不开启压制字幕
若你不需要将翻译语言字幕压制到视频画面上,可以在 ExtendedParameter 中补充以下传参 "subtitle_param": { "use_draw": false } 。
{ "delogo": { "cluster_id": "gpu_pre", "CustomerAppId": "audio_clone_asr", "subtitle_param": { "use_draw": false } }}/*若直接调用API或使用 API Explorer 的 JSON 模式,请使用转义版本:{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_asr\\",\\"subtitle_param\\":{\\"use_draw\\":false}}}*/
十六、场景3:AI 配音指定音色 ID
当前在一站式配音级译制功能中, AI 配音能力默认使用高情感克隆音色模型,一站式自动完成视频角色智能识别、角色声纹克隆、基于翻译语言字幕生成克隆配音、替换原始配音。
还支持指定音色 ID 进行 AI 配音。音色 ID 可以通过参考音频克隆合成,或从 MPS 提供的系统音色库中选择。指定音色 ID 的功能正在开发升级中,敬请期待。
十七、附:视频译制支持语种
视频译制功能,若选用 AI 配音克隆音色,支持以下语种:
| 语种 | Code | 是否可用于源语言(translate_src_language) | 是否可用于翻译目标语言(translate_dst_language) |
| 中文 (Chinese) | zh | ✓ | ✓ |
| 英语 (English) | en | ✓ | ✓ |
| 日语 (Japanese) | ja | ✓ | ✓ |
| 德语 (German) | de | ✓ | ✓ |
| 法语 (French) | fr | ✓ | ✓ |
| 韩语 (Korean) | ko | ✓ | ✓ |
| 俄语 (Russian) | ru | ✓ | ✓ |
| 乌克兰语 (Ukrainian) | uk | ✓ | ✓ |
| 葡萄牙语 (Portuguese) | pt | ✓ | ✓ |
| 意大利语 (Italian) | it | ✓ | ✓ |
| 西班牙语 (Spanish) | es | ✓ | ✓ |
| 印度尼西亚语 (Indonesian) | id | ✓ | ✓ |
| 荷兰语 (Dutch) | nl | ✓ | ✓ |
| 土耳其语 (Turkish) | tr | ✓ | ✓ |
| 菲律宾语 (Filipino) | fil | ✓ | ✓ |
| 马来语 (Malay) | ms | ✓ | ✓ |
| 希腊语 (Greek) | el | ✓ | ✓ |
| 芬兰语 (Finnish) | fi | ✓ | ✓ |
| 克罗地亚语 (Croatian) | hr | ✓ | ✓ |
| 斯洛伐克语 (Slovak) | sk | ✓ | ✓ |
| 波兰语 (Polish) | pl | ✓ | ✓ |
| 瑞典语 (Swedish) | sv | ✓ | ✓ |
| 印地语 (Hindi) | hi | ✓ | ✓ |
| 保加利亚语 (Bulgarian) | bg | ✓ | ✓ |
| 罗马尼亚语 (Romanian) | ro | ✓ | ✓ |
| 阿拉伯语 (Arabic) | ar | ✓ | ✓ |
| 捷克语 (Czech) | cs | ✓ | ✓ |
| 丹麦语 (Danish) | da | ✓ | ✓ |
| 泰米尔语 (Tamil) | ta | ✓ | ✓ |
| 匈牙利语(Hungarian) | hu | ✓ | ✓ |
| 越南语(Vietnamese) | vi | ✓ | ✓ |
若选用 AI 配音标准音色,支持多种男声、女声、童声选择。当前标准音色能力升级中,暂仅开放内测。如需了解具体音色及语种列表,你可以联系商务或 提交工单 获得支持。