媒体处理 大模型视频摘要接入

1. 打开 体验馆,进入大模型摘要体验页,在右侧选择点播文件或直播流,单击开始处理。

相关产品
媒体处理 产品页,含版本规格、价格与购买入口。

一、免费体验

注意:说明:

注意:体验馆功能较简单,仅用于体验基础效果,测试完整效果请使用 API 接入。

2. 等待处理完成后即可查看结果。

二、发起摘要任务

调用 媒体处理接口 ,选择 AiAnalysisTask 任务,将 Definition 设置为22(预设大模型视频摘要模板)。ExtendedParameter 填额外的扩展参数,通过该参数实现特定的能力,取值详情见下文 扩展参数说明。

示例:

{ "InputInfo": { "Type": "URL", "UrlInputInfo": { "Url": "https://facedetectioncos-1251132611.cos.ap-guangzhou.myqcloud.com/video/xxx.mp4" // 替换成需要摘要的视频 URL } }, "AiAnalysisTask": { "Definition": 22, //预设大模型视频摘要模板 ID "ExtendedParameter": "" }, "OutputStorage": { "CosOutputStorage": { "Bucket": "test-mps-123456789", "Region": "ap-guangzhou-2" }, "Type": "COS" }, "OutputDir": "/output/", "TaskNotifyConfig": { "NotifyType": "URL", "NotifyUrl": "http://qq.com/callback/qtatest/?token=xxxxxx" }, "Action": "ProcessMedia", "Version": "2019-06-12"}

三、API Explorer 快速验证

你可以通过 API Explorer 实现快速验证,进入页面填写相关参数信息后即可发起 API 在线调用。

四、扩展参数说明

ExtendedParameter 用于对摘要任务进行个性设置,可先不填,结合默认效果,对需要改进的方向按需使用。

注意:API Explorer 会自动转换,ExtendedParameter 填写对应 json 即可,不用转换成字符串。如果是直接调用 API,那么需要对 json 字符串转义。

ExtendedParameter 格式示例及完整可选参数说明参考下表:

{ "des": { "split": { "extend_prompt": "本视频为医疗场景视频,按照医疗相关知识点对视频进行分段" }, "text_requirement": "摘要在40字以内", "dstlang": "zh" }}

参数 是否必填 类型 说明
split.method No String 视频分段方法,llm 表示大模型分段,nlp 表示传统 nlp 分段,默认为 llm。
split.model No String 分段大模型,可选 hunyuan,deepseek-v3,deepseek-r1,默认为 deepseek-v3。
split.extend_prompt No String 补充大模型分段任务提示词,如“本视频为教学视频,按照相关知识点对视频进行分段”。建议先不填进行测试,效果不达预期时再补充。
only_segment No Integer 是否只分段,不生成摘要,默认为0。1:只分段,不生成摘要。0:分段且生成摘要。
need_mindmap No bool 是否生成思维导图,默认不生成。
text_requirement No String 补充大模型摘要任务提示词。例如限制字数"摘要在40字以内"。
srclang No String 视频原语言,默认可识别中英内容,其他小语种需指定。"zh":中文"en":英文"ja":日语"ko":韩语"ru":俄语"de":德语"fr":法语"es":西班牙语"ar":阿拉伯语
dstlang No String 视频语言,用于输出摘要结果的语言指定,默认自动检测中英文内容随内容语言输出,其他小语种需指定。支持语种和 srclang 一致。

五、查询任务结果

·任务回调:在使用 ProcessMedia 发起媒体处理任务时,可以通过 TaskNotifyConfig 参数设置回调信息。当任务处理完成后,会通过配置的回调信息回调任务结果,你可以通过 ParseNotification 解析事件通知结果。

·使用 ProcessMedia 返回的 TaskId 调用 查询任务详情 接口查询任务处理结果。解析 WorkflowTask > AiAnalysisResultSet > DescriptionTask > Output > DescriptionSet > MediaAiAnalysisDescriptionItem 即可。

Description 对应整个视频摘要,Paragraphs 对应整个视频的智能分段结果以及每个分段的摘要。

六、处理直播流

调用 直播流处理接口,选择 AiAnalysisTask 任务,将 Definition 设置为 22(预设大模型视频摘要模板)。ExtendedParameter 填额外的扩展参数,通过该参数实现特定的能力,取值详情见下文 扩展参数说明。

示例:

{ "Url": "http://mps-pull.test.org/live/test.flv", // 替换成需要摘要的直播流 "AiAnalysisTask": { "Definition": 22, // 预设大模型视频摘要模板 ID "ExtendedParameter": "{\\"des\\":{\\"abstract_mode\\":\\"timing\\",\\"abstract_time\\":300,\\"max_word_num\\":30,\\"srclang\\":\\"zh\\",\\"dstlang\\":\\"en\\"}}" }, "OutputStorage": { "CosOutputStorage": { "Bucket": "test-mps-123456789", "Region": "ap-guangzhou-2" }, "Type": "COS" }, "OutputDir": "/output/", "TaskNotifyConfig": { "NotifyType": "URL", "NotifyUrl": "http://qq.com/callback/qtatest/?token=xxxxxx" // 回调地址 }, "Action": "ProcessLiveStream", "Version": "2019-06-12"}

七、扩展参数说明

ExtendedParameter 用于对直播摘要任务进行个性设置,ExtendedParameter 全部可选参数及其说明参考下表:

字段名 是否必填 类型 说明
abstract_mode No String 摘要模式,可选智能摘要(smart)、定时摘要(timing),默认 smart。
abstract_time No Integer 摘要时间(秒),默认5分钟,定时摘要模式下生效。
max_word_num No Integer 摘要最大字数,默认不限制字数。
srclang No String 视频原语言,默认可识别中英内容,其他语种需指定。zh:中文en:英文ja:日语ko:韩语yue:粤语
dstlang No String 输出语言,可选语言同 srclang,默认与输入语言相同。

扩展参数示例:

{ "des": { "abstract_mode": "timing", "abstract_time": 300, "max_word_num": 30, "srclang": "zh", "dstlang": "en" }}

八、任务结果

任务回调:在使用 ProcessLiveStream 发起媒体处理任务时,可以通过 TaskNotifyConfig 参数设置回调信息。处理直播流过程中,会通过配置的回调信息回调任务结果。你可以参考 解析直播流处理结果 文档解析 AiAnalysisResultInfo 字段获取任务结果。

赞 (0)
上一篇 4天前
下一篇 4天前