一、功能优势
·使用简单:无需复杂设置,仅需通过提示词限定输出格式,即可实现批量内容理解。
·内容质量高:例如在教育场景中,能够对绘画的色彩、笔法、造型和结构进行点评。在音乐演奏场景中,可对节奏、音准、指法等方面,提供专业的演奏点评和改进建议。
·使用场景广泛:可应用于短视频总结,视频脚本拆解,视频/音频评价,分镜理解等场景。
二、前置操作
在接入前,你需要在 云点播控制台 的媒体处理 > 媒体处理模板 > 媒体智能模板页面中开通 MPS 服务。
三、发起任务
你可以进入 云点播控制台 的智能媒资管理 > 音视频管理页面发起任务。
1. 选择需要发起任务的视频,并单击媒体处理。
2. 处理类型选择“媒体智能”的智能分析,你可以选择33号预设模板,根据下文 扩展参数说明,传入所需参数发起任务。
注意:说明:
注意:控制台会自动转义,请直接传入 JSON 数据,不要传入转义后的字符串,否则会导致任务失败。
四、查看任务结果
·在 云点播控制台 的任务中心页面,找到对应任务并单击详情查看结果。
·你也可以调用 DescribeMediaInfos 接口,查询存入媒资的结果。
注意:同一模板任务,媒资中仅保留最新的任务结果。
五、发起任务
调用 ProcessMediaByMPS,FileId 处填写需要处理的媒资 ID,SubAppId 处填入子应用 ID,MPSProcessMediaParams 参数中填写 AiAnalysisTask 任务,并将 Definition 设置为 33(预置模板)。ExtendedParameter 根据需求填额外的扩展参数,通过该参数实现特定的能力。
大模型摘要任务 MPSProcessMediaParams 参数示例如下:
{"AiAnalysisTask":{"Definition":33,"ExtendedParameter":"{\\"mvc\\":{\\"mode\\":\\"video\\",\\"prompt\\":\\"…\\"}}"}}
六、查询任务结果
使用 云点播查询任务详情 或 云点播获取任务列表 查询任务。
可以在输出信息中找到输出结果。
七、扩展参数说明
ExtendedParameter 用于对视频理解任务进行个性设置,ExtendedParameter 全部可选参数及其说明参考下表:
| 参数 | 类型 | 必填 | 描述 |
| mode | String | 是 | 理解模式,video、audio。audio 模式下如果上传的是视频,服务内部会从视频中提取音频。 |
| prompt | String | 是 | 大模型提示词。 |
| extendData | Array | 否 | 扩展数据,多于1个音视频文件可放在此字段,当前最多支持2个。 |
| extendData[i].url | String | 否 | 数据文件 URL。 |
请求参数示例:
{ "mvc": { "mode": "audio", // video|audio, 理解模式, audio模式下如果上传的是视频,服务内部会从视频中提取音频 "prompt": "…", // 大模型提示词 "extendData": [ // 扩展数据,对比数据可放在该字段 { "url": "…" // 数据文件 url }, {} ] }}