云点播 一站式译制接入

视频译制功能整合了多项强大原子能力,包括字幕擦除、提取、翻译、压制以及 AI 配音,一站式完成译制全流程,定价请参考 媒体处理按量计费。支持以下两种方案。

相关产品
云点播 产品页,含版本规格、价格与购买入口。

一、视频译制功能简介

·字幕级视频译制:擦除+字幕提取+字幕翻译。自动识别视频中的原始字幕,进行精准擦除和大模型翻译,并将翻译后的字幕无缝压制到视频中。

·配音级视频译制:在字幕级视频译制的同时,提供自然流畅的 AI 配音,生成带有 AI 翻译语言字幕配音的新视频。

二、前置操作

在接入一站式译制前,为正常使用此能力,你需要在 云点播控制台 的媒体处理 > 媒体处理模板 > 媒体智能模板页面中开通 MPS 服务。

三、发起任务

你可以进入 云点播控制台 的智能媒资管理 > 音视频管理页面发起任务。

1. 选择需要发起任务的视频,并单击媒体处理。

2. 处理类型选择“媒体智能”的智能分析,选择25号预设模板。开启更多设置的扩展参数,参考下文 扩展参数说明,传入所需参数。

注意:说明:

四、查看任务结果

在 云点播控制台 的任务中心页面,找到对应任务并单击详情查看结果。

五、发起任务

调用 ProcessMediaByMPS,FileId 处填写需要处理的媒资 ID,SubAppId 处填入子应用 ID,MPSProcessMediaParams 参数中填写 AiAnalysisTask 任务,并将 Definition 设置为 25(预置模板)。ExtendedParameter 根据需求填额外的扩展参数,通过该参数实现特定的能力。

视频译制任务 MPSProcessMediaParams 参数示例如下:

{"AiAnalysisTask":{"Definition":25,"ExtendedParameter":"{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\"}}"}}

六、查询任务结果

使用 云点播查询任务详情 或 云点播获取任务列表 查询任务。

可以在输出信息中找到输出文件路径。

七、ExtendedParameter 扩展参数说明

请根据视频译制使用场景,设置相应的扩展参数,以下为常见场景说明。

八、场景1:OCR 提取字幕并翻译+擦除原字幕+压制新字幕+AI 克隆配音(最常用)

将视频字幕及配音翻译为指定语言,生成带有翻译语言字幕及配音的新视频。其中,字幕及配音内容来源于 OCR 文本提取(提取视频画面上的源字幕)。对于画面上带有源语言字幕的视频,建议使用该场景处理。

九、计费说明

·使用该场景能力,收取 MPS「去字幕」、「OCR 提取字幕并翻译+压制字幕」及 「AI 配音(克隆音色)」三个计费项的费用。定价可参考 计费说明。

·若不开启压制字幕,收取 MPS「去字幕」、「OCR 提取字幕并翻译」及 「AI 配音(克隆音色)」三个计费项的费用。定价可参考 计费说明。

ExtendedParameter 传参如下:

{ "delogo": { "cluster_id": "gpu_pre", "CustomerAppId": "audio_clone_ocr" }}//若直接调用API或使用 API Explorer 的 JSON 模式,请使用转义版本:{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\"}}

十、指定语言

默认为中转英(源语言为简体中文,目标翻译语言为英语),若需要其他语言,可通过在 ExtendedParameter 中补充传入 translate_src_language 和 translate_dst_language 参数。支持语种及对应 code 请参考下文视频译制支持语种,示例:

{ "delogo": { "cluster_id": "gpu_pre", "CustomerAppId": "audio_clone_asr", "subtitle_param": { "translate_src_language": "de", //德语 "translate_dst_language": "id" //印度尼西亚语 } }}/*若直接调用API或使用 API Explorer 的 JSON 模式,请使用转义版本:{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_asr\\",\\"subtitle_param\\":{\\"translate_src_language\\":\\"de\\",\\"translate_dst_language\\":\\"id\\"}}}translate_src_language: 用于指定视频源语言,不传则默认为中文translate_dst_language: 用于指定翻译目标语言,不传则默认为英语*/

十一、不开启压制字幕

若你不需要将翻译语言字幕压制到视频画面上,可以在 ExtendedParameter 中补充以下传参 "subtitle_param": { "use_draw": false } 。

{ "delogo": { "cluster_id": "gpu_pre", "CustomerAppId": "audio_clone_ocr", "subtitle_param": { "use_draw": false } }}/*use_draw: 不传或传true表示压制字幕,false表示不压制字幕若直接调用API或使用 API Explorer 的 JSON 模式,请使用转义版本:{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\",\\"subtitle_param\\":{\\"use_draw\\":false}}}*/

十二、场景2:ASR 提取字幕并翻译+压制新字幕+AI 克隆配音

与场景1类似,场景2也是将视频字幕及配音翻译为指定语言,生成带有翻译语言字幕及配音的新视频。不过字幕及配音内容来源于 ASR 语音识别(识别视频源语音内容,转写为字幕)。场景2不会自动进行去字幕处理。

十三、计费说明

·使用该场景能力,收取「 ASR 生成字幕并翻译+压制字幕」及 「AI 配音(克隆音色)」两个计费项的费用。定价可参考 MPS 计费说明。

·若不开启压制字幕,收取「 ASR 语音翻译」及 「AI 配音(克隆音色)」两个计费项的费用。定价可参考 MPS 计费说明。

ExtendedParameter 传参如下:

{ "delogo": { "cluster_id": "gpu_pre", "CustomerAppId": "audio_clone_asr" }}//若直接调用API或使用 API Explorer 的 JSON 模式,请使用转义版本:{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\"}}

十四、指定语言

默认为中转英(源语言为简体中文,目标翻译语言为英语),若需要其他语言,可通过在 ExtendedParameter 中补充传入 translate_src_language 和 translate_dst_language 参数。支持语种及对应 code 请参考 视频译制支持语种。示例:

{ "delogo": { "cluster_id": "gpu_pre", "CustomerAppId": "audio_clone_asr", "subtitle_param": { "translate_src_language": "de", //德语 "translate_dst_language": "id" //印度尼西亚语 } }}/*若直接调用API或使用 API Explorer 的 JSON 模式,请使用转义版本:{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_asr\\",\\"subtitle_param\\":{\\"translate_src_language\\":\\"de\\",\\"translate_dst_language\\":\\"id\\"}}}translate_src_language: 用于指定视频源语言,不传则默认为中文translate_dst_language: 用于指定翻译目标语言,不传则默认为英语*/

十五、不开启压制字幕

若你不需要将翻译语言字幕压制到视频画面上,可以在 ExtendedParameter 中补充以下传参 "subtitle_param": { "use_draw": false } 。

{ "delogo": { "cluster_id": "gpu_pre", "CustomerAppId": "audio_clone_asr", "subtitle_param": { "use_draw": false } }}/*若直接调用API或使用 API Explorer 的 JSON 模式,请使用转义版本:{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_asr\\",\\"subtitle_param\\":{\\"use_draw\\":false}}}*/

十六、场景3:AI 配音指定音色 ID

当前在一站式配音级译制功能中, AI 配音能力默认使用高情感克隆音色模型,一站式自动完成视频角色智能识别、角色声纹克隆、基于翻译语言字幕生成克隆配音、替换原始配音。

还支持指定音色 ID 进行 AI 配音。音色 ID 可以通过参考音频克隆合成,或从 MPS 提供的系统音色库中选择。指定音色 ID 的功能正在开发升级中,敬请期待。

十七、附:视频译制支持语种

视频译制功能,若选用 AI 配音克隆音色,支持以下语种:

语种 Code 是否可用于源语言(translate_src_language) 是否可用于翻译目标语言(translate_dst_language)
中文 (Chinese) zh ✓ ✓
英语 (English) en ✓ ✓
日语 (Japanese) ja ✓ ✓
德语 (German) de ✓ ✓
法语 (French) fr ✓ ✓
韩语 (Korean) ko ✓ ✓
俄语 (Russian) ru ✓ ✓
乌克兰语 (Ukrainian) uk ✓ ✓
葡萄牙语 (Portuguese) pt ✓ ✓
意大利语 (Italian) it ✓ ✓
西班牙语 (Spanish) es ✓ ✓
印度尼西亚语 (Indonesian) id ✓ ✓
荷兰语 (Dutch) nl ✓ ✓
土耳其语 (Turkish) tr ✓ ✓
菲律宾语 (Filipino) fil ✓ ✓
马来语 (Malay) ms ✓ ✓
希腊语 (Greek) el ✓ ✓
芬兰语 (Finnish) fi ✓ ✓
克罗地亚语 (Croatian) hr ✓ ✓
斯洛伐克语 (Slovak) sk ✓ ✓
波兰语 (Polish) pl ✓ ✓
瑞典语 (Swedish) sv ✓ ✓
印地语 (Hindi) hi ✓ ✓
保加利亚语 (Bulgarian) bg ✓ ✓
罗马尼亚语 (Romanian) ro ✓ ✓
阿拉伯语 (Arabic) ar ✓ ✓
捷克语 (Czech) cs ✓ ✓
丹麦语 (Danish) da ✓ ✓
泰米尔语 (Tamil) ta ✓ ✓
匈牙利语(Hungarian) hu ✓ ✓
越南语(Vietnamese) vi ✓ ✓

若选用 AI 配音标准音色,支持多种男声、女声、童声选择。当前标准音色能力升级中,暂仅开放内测。如需了解具体音色及语种列表,你可以联系商务或 提交工单 获得支持。

赞 (0)
上一篇 4天前
下一篇 4天前