媒体处理 AI 解说二创接入

二、计费说明

收取“AI 解说二创”和“去字幕”两笔费用，其中详细定价请查看计费说明文档。

注意：说明：

注意：“去字幕”功能用于擦除原始视频上的字幕，避免影响解说字幕的显示。若原始视频无字幕，可关闭此功能。如有需求，请联系我们为你配置。

三、接入前置操作

在使用本功能前，你需完成以下前置操作：

·腾讯云账号注册/登录，登录 MPS 控制台开通 MPS 产品、完成服务角色授权。具体请参考快速入门。

·若你使用腾讯云子账号，还需要保证账号有足够权限使用 MPS 产品。具体请参考账号授权相关。

五、概述

使用 AI 解说二创功能，需要使用媒体处理 “智能分析”下的35号预设模板，并额外传入 ExtendedParameter 扩展参数来实现自定义调参。

六、方式1：控制台发起任务

1. 进入控制台创建任务页面，依次选择输入文件路径、配置编排处理流程、输出路径。

2. 在编排配置中，选择媒体 AI – 智能分析节点。

3. 在右侧弹出页面中，选择35号预设模板。开启“更多设置 – 扩展参数”，根据下文扩展参数说明，传入所需参数。

注意：说明：

七、方式2：API 发起任务

调用 ProcessMedia 接口，选择 AiAnalysisTask 任务，将 Definition 设置为35（预设模板 ID），ExtendedParameter 填写扩展参数，通过该参数实现 AI 解说二创能力，取值见下文扩展参数说明。ProcessMedia 调用 JSON 示例如下：

{ "InputInfo":{ //输入视频路径，请替换为你的原始视频 "Type":"URL", "UrlInputInfo":{ "Url":"https://mycloud.cn/test/drama1/01.mp4" } }, "OutputStorage":{ //输出COS存储桶，请替换 "Type":"COS", "CosOutputStorage":{ "Bucket":"test", "Region":"ap-nanjing" } }, "OutputDir":"/mps_test/output/",//输出文件夹路径，请替换 "AiAnalysisTask":{ "Definition":35, //预设模板ID，填 35 即可 "ExtendedParameter":"{\\"reel\\":{\\"processType\\":\\"narrate\\",\\"narrateParam\\":{\\"onlyNarration\\":1}}}" //扩展参数，必传，用于指定是否拼接高光集锦片段、指定解说字幕样式等 }, "TaskNotifyConfig":{ //事件回调通知配置，可选 "NotifyType":"URL", "NotifyUrl":"http://www.qq.com/callback" }}

建议你通过 API Explorer 实现快速验证。你可以将上述 JSON （需去除备注文案）复制到 API Explorer 的 JSON 模式中，再切换至“表单”模式可以自动解析。调整输入输出路径等必要参数后，单击发起调用即可。

八、ExtendedParameter 扩展参数说明

以下提供常见 ExtendedParameter 传参示例以及详细参数说明。

九、ExtendedParameter 传参示例1：原始视频无字幕，关闭擦除能力

本示例中，eraseOff 传入1，表示关闭擦除能力，系统将不会擦除原始字幕，不收取“去字幕”费用。由于解说字幕默认会压制渲染至视频画面，为保证观看效果，建议只有在原始视频画面上无字幕时才关闭擦除能力。

{"reel":{"processType":"narrate","narrateParam":{"onlyNarration":1},"outputLanguage":"zh","eraseParam":{"eraseOff":1}}}

十、ExtendedParameter 传参示例2：传入多集视频、指定输出数量、增加转场效果、指定配音音色

API 发起任务时，ProcessMedia -> InputInfo 只能传入一个视频。若你希望传入多集视频，可以使用 ExtendedParameter -> narrateParam -> extendData 传入额外视频链接。

注意：视频需要按集数顺序传入，且需要保证分辨率一致。

narrateParam 还支持指定输出视频数量、配置转场效果等，配音音色可以通过 ttsParam 配置，详细说明请参考下文扩展参数说明。

{"reel":{"processType":"narrate","narrateParam":{"onlyNarration":1,"extendData":[{"url":"https://mycloud.cn/test/drama1/02.mp4"},{"url":"https://mycloud.cn/test/drama1/03.mp4"}],"outputVideoCount":5,"concatTransition":"flashwhite","concatTransitionDuration":0.3,"narrationTimeLimit":30},"outputLanguage":"zh","ttsParam":{"voiceId":"s1_DibZHmzqMtxrnVAuV2eyjqx+KYHacmUDggbv0Bd5QSSpFhNzAntoRb4=","engine":"auto"}}}

十一、ExtendedParameter 传参示例3：基于输入的脚本生成解说视频

AI 解说二创任务默认会对输入视频内容进行智能分析，自动生成解说脚本。你也可以通过 scriptUrls 参数指定自定义解说脚本，系统将根据提供的脚本生成最终视频。本示例中上传了两个脚这篇件（txt 格式），系统处理后将会输出两个对应的解说视频。

{"reel":{"processType":"narrate","scriptUrls":["https://mycloud.cn/test/juben1.txt","https://mycloud.cn/test/juben2.txt"],"narrateParam":{"onlyNarration":1,"extendData":[{"url":"https://mycloud.cn/test/drama1/02.mp4"},{"url":"https://mycloud.cn/test/drama1/03.mp4"}],"concatTransition":"flashwhite","concatTransitionDuration":0.3,"narrationTimeLimit":30},"outputLanguage":"zh","eraseParam":{"eraseOff":1},"ttsParam":{"voiceId":"s1_DibZHmzqMtxrnVAuV2eyjqx+KYHacmUDggbv0Bd5QSSpFhNzAntoRb4=","engine":"auto"}}}

十二、ExtendedParameter 扩展参数说明

参数	类型	必填	说明
processType	string	是	传入 "narrate" 即可，固定值，表示指定 AI 解说二创任务类型。
scriptUrls	array	否	解说脚本，可选。示例：["url1","url2"]最大可以输入5个脚本，一个脚本对应一个输出结果。如果输出语种指定为英文，需要使用英文脚本。
narrateParam	object	否	解说相关参数，详细说明参见 narrateParam。
eraseParam	object	否	字幕擦除参数，详细说明参见 eraseParam。
ttsParam	object	否	AI 解说配音参数，详细说明参见 ttsParam。
subtitleParam	object	否	解说字幕压制相关参数，详细说明参见 subtitleParam。
outputLanguage	string	否	支持"zh"、"en"，默认为"zh"。"zh"：简体中文。"en"：英语。

narrateParam

参数	类型	必填	说明
onlyNarration	int	否	0：表示在解说中间拼接高光集锦片段。1：表示生成纯解说视频，不拼接集锦片段。默认为0。
extendData	array	否	扩展数据，若输入原始视频多于 1 个，可使用该字段传入额外输入视频 URL。
extendData[i].url	string	否	额外输入视频 URL。说明：视频分辨率需要保持一致。
concatTransition	string	否	转场模式，用于避免画面跳切问题。none：无转场（默认）flashwhite：短暂白色闪光转场
concatTransitionDuration	float	否	转场时长。示例：0.3
narrationTimeLimit	int	否	期望解说视频时长。如果使用自定义脚本，则该参数无效。单位：秒。示例：30
outputVideoCount	int	否	输出视频数量。如果 scriptUrls 传了脚本，则无效，输出视频数量与所传脚本数量一致。
outputWidth	int	否	输出视频宽度
outputHeight	int	否	输出视频高度
unordered	int	否	0：默认，按剧集顺序剪辑。此时 AI 会生成顺序脚本。1：不强制按剧集顺序剪辑。此时 AI 可生成倒序、插叙或顺序脚本。说明：若 scriptUrls 输入了指定脚本，则默认用 1。
prompt	string	否	生成解说脚本提升词，可以自定义脚本内容、风格等。说明：内容不要包含输出格式

eraseParam

参数	类型	必填	说明
eraseOff	int	否	0：开启擦除（默认）系统会自动擦除原始字幕，额外收取“去字幕”费用。1：关闭擦除，不擦除原始字幕。

ttsParam

参数	类型	必填	说明
voiceId	string	否	音色 ID，支持选择系统音色 ID，也支持克隆音色 ID。不填则使用默认系统音色。示例："s1_DibZHmzqMtxrnVAuV2eyjqx+KYHacmUDggbv0Bd5QSSpFhNzAntoRb4="
engine	string	否	AI 配音引擎。auto：默认引擎。不填默认为 auto
speed	float	否	配音倍速，取值0-10，默认值为1.0。

subtitleParam

参数	类型	必填	说明
style	object	否	字幕样式，参见 SubtitleTemplate。
maxLength	int	否	字幕最大长度。不填或传0，表示不限制。

十四、控制台查询结果

1. 你可以在控制台任务管理页面查看任务状态，当子任务状态为“成功”时，单击回调 JSON，可以在输出信息中找到输出文件路径。

2. 如果使用 COS 作为输出路径，你可以在 MPS 控制台的编排管理 > COS Bucket > 输出 Bucket 页面中找到输出文件。文件名以 reel 开头的即为输出的 AI 解说视频文件。

十五、事件通知回调

在使用 ProcessMedia 发起媒体处理任务时，你可以通过 TaskNotifyConfig 参数配置事件回调。当任务处理完成后，会通过配置的回调信息回调任务结果，你可以通过 ParseNotification 解析事件通知结果。下方列出了相关数据结构以供参考。

十六、调用接口查询任务结果

在使用 ProcessMedia 发起媒体处理任务后，会返回任务 ID（TaskId），例如：24000022-WorkflowTask-b20a8exxxxxxx1tt110253、24000022-ScheduleTask-774f101xxxxxxx1tt110253。

调用 DescribeTaskDetail 接口，输入任务 ID 即可获取任务结果，你需要解析 WorkflowTask/ScheduleTask -> AiAnalysisResultSet > ReelTask > Output 字段获取任务结果。下方列出了相关数据结构以供参考。

十七、相关数据结构

·AiAnalysisResult

·AiAnalysisTaskReelResult

·AiAnalysisTaskReelOutput

十九、是否支持处理多个视频文件？

支持。你可以在 InputInfo 结构中传入第一集视频，其余视频可以通过 ExtendedParameter 传入（将下载 URL 填入 extendData 参数中），注意需要按集数顺序。ProcessMedia 示例：

{ "InputInfo":{ "Type":"URL", "UrlInputInfo":{ "Url":"https://website.com/input/ep1.mp4"//第一集 } }, "OutputStorage":{ "Type":"COS", "CosOutputStorage":{ "Bucket":"test", "Region":"ap-nanjing" } }, "OutputDir":"/mps_test/output/", "AiAnalysisTask":{ "Definition":35, "ExtendedParameter":"{\\"reel\\":{\\"processType\\":\\"narrate\\",\\"narrateParam\\":{\\"onlyNarration\\":1,\\"extendData\\":[{\\"url\\":\\"https://website.com/input/ep2.mp4\\"},{\\"url\\":\\"https://website.com/input/ep3.mp4\\"},{\\"url\\":\\"https://website.com/input/ep4.mp4\\"}]}}}" //更多视频文件按顺序填入ExtendedParameter->extendData中

20、是否支持自动拼接高光集锦片段？

支持，可以通过调整 ExtendedParameter 的 onlyNarration 参数实现，传0表示生成的输出视频包括解说与高光片段，传1表示输出只有解说不拼接高光片段。