一、功能简介
| 能力 | 能力说明 | 处理示例 | 计费说明 |
| 智能横转竖-基础版 | 通过识别感兴趣区域 (ROI,Region of Interest),将现有的横屏视频裁剪成一定比例、适合移动设备播放的竖屏视频。 | 转竖屏时会跟随 ROI 区域(针对赛事视频,一般为球所在的位置)智能裁剪 | 收取“智能横转竖”费用,定价请参考 计费说明文档。 |
| AIGC 横转竖、竖转横 | 基于 AIGC 算法,对原视频进行 AI 生成处理,可将横屏视频补全为竖屏,或将竖屏视频补全为横屏。 | 单击查看示例视频 | 收取“智能横转竖-高级版”费用,定价请参考 计费说明文档。 |
二、免费体验
2. 等待处理完成后即可查看结果。
注意:说明:
注意:体验馆暂仅支持“智能横转竖-基础版”能力,且功能较简单,仅用于体验基础效果,测试完整效果请使用 API 接入。
三、输入及输出格式
输入视频文件支持以下格式:
·编码标准:MPEG 、H.264、H.265。
·封装格式:.mp4、.avi、.mkv、.mov、.mpg。
输出视频文件统一使用 H.264 编码、.mp4 格式。可以使用 Chrome 浏览器预览视频。如果需要转码和转封装格式,可以在本地处理或使用 MPS 提供的音视频转码功能。
四、1. 调用 API
你可以直接向腾讯云发起 POST 请求,接口请求域名:mps.tencentcloudapi.com。调用 媒体处理接口 ,选择 AiAnalysisTask 任务,将 Definition 设置为 28(预设智能横转竖模板)。ExtendedParameter 为扩展参数,其值为转义后的 JSON 字符串,具体参数含义见下文 扩展参数说明 部分。
五、请求示例
注意:说明:
注意:目前智能横转竖功能支持两种输入来源:腾讯云对象存储(COS)、URL 下载地址。暂不支持 AWS S3。
{ "Action": "ProcessMedia", "Version": "2019-06-12", "InputInfo": { "Type": "URL", "UrlInputInfo": { "Url": "https://…" // 替换成需要横转竖的 URL,或者参考“发起媒体处理”接口文档 } }, "OutputStorage": { "CosOutputStorage": { "Bucket": "BucketName", "Region": "BucketRegion" }, "Type": "COS" }, "OutputDir": "/mycos/htv_test/result/", "AiAnalysisTask": { "Definition": 28, // 预设横转竖模版 ID "ExtendedParameter": "{\\"htv\\": {\\"AlgorithmType\\": 2}}" }, "TaskNotifyConfig": { "NotifyType": "URL", "NotifyUrl": "http://callback_url" }}
六、2. API Explorer 快速验证
你也可以通过 API Explorer 实现快速验证,进入页面填写相关参数信息后即可发起 API 在线调用。
注意:说明:
注意:单击参数输入方式下方的 JSON,将上方的 JSON 代码复制后,粘贴到输入框中。然后再次单击参数输入方式下面的表单,JSON 会自动填充到表单中的对应参数。之后只需要修改少量的参数就可以直接调用,或者点击代码实例,即可生成各种语言与 SDK 下的代码。
注意:API Explorer 会自动转换,ExtendedParameter 填写对应 JSON 即可,不用转换成字符串。如果是直接调用 API,那么需要对 json 字符串转义。
七、3. 扩展参数说明
扩展参数可以实现特定的能力。由于媒体处理接口无法解析扩展参数,因此 ExtendedParameter 的值为序列化的 JSON 字符串。以下是一个序列化前的 json 示例,使用 API 时请注意传入转义后的参数:
{ "htv": { "AlgorithmType": 2, "SmoothWeight": 0.75, "Ratio": "9:16" }}// 直接调用API时需传入转义后参数: {\\"htv\\": {\\"AlgorithmType\\": 2, \\"SmoothWeight\\": 0.75, \\"Ratio\\": \\"9:16\\" }}
| 名称 | 类型 | 描述 |
| AlgorithmType | Integer | 指定算法类别:2:支持多种模型的算法和定制优化。3:使用精确的人脸检测算法,两个人脸出现时,上下分割显示人脸,尽可能将人脸居中显示。5:直接缩放视频,居中放在竖屏。使用毛玻璃模糊处理后的图片作为背景。6:AIGC 模式,基于原有的横屏视频补全到 9:16 的竖屏7:AIGC 模式,基于原有的竖屏视频补全到 16:9 的横屏 |
| Ratio | String | 视频横竖比,字符串类型,内部进行解析。如果解析失败会取默认值 9:16 的比例进行裁剪。(例如:"9:16",转换成横比竖 9:16 视频,高度取原视频高度) |
| FaceDetectConfig | Object | 人脸检测相关配置。 |
| OutputPattern | String | 用于自定义文件名, timestamp, sessionId 为可用替换参数。例如:"htv-{sessionId}-{timestamp}",则输出文件命名为 htv-xxxx-202412250000,其中 xxxx 是任务的真实 sessionId。如不指定,默认输出文件名为 "htv-{sessionId}"。 |
| BlurWeight | Integer | 模糊参数,数值越大模糊效果越重。参数数值过大会影响处理速度。 |
| SmoothWeight | Float | 0-1 之间的浮点数,控制平滑速度参数。数值越小镜头移动越快。 |
FaceDetectConfig
| 名称 | 类型 | 描述 |
| FaceScoreThd | Integer | 人脸检测算法的识别阈值,仅当人脸识别评分超过该阈值时,才将其视为有效的人脸。 |
| FaceAccuracy | String | 可选,人脸检测算法执行次数,默认使用 Balance,其他可选项 Efficiency,Precision。 |
| FallbackConfig | Object | 人脸检测的兜底策略,包括无人脸,两个人脸的兜底策略。 |
FallbackConfig
| 名称 | 类型 | 描述 |
| NoFaceDetect | String | 可选值:Scale,ScaleWithoutBlur。默认值 ScaleWithoutBlur。 |
| DoubleFace | String | 可选值:Scale,ScaleWithoutBlur,SplitScreenVertical。默认值 SplitScreenVertical。 |
·Scale:缩放居中该帧,背景使用毛玻璃效果处理后的图片替换。
·ScaleWithoutBlur:缩放居中该帧,背景使用纯黑替换。
·SplitScreenVertical:双人脸默认处理逻辑,上下分屏,两个人脸居中放在上下两个区域。
八、调用 DescribeTaskDetail 接口查询任务结果
在使用 ProcessMedia 发起媒体处理任务后,会返回任务 ID(TaskId),例如:24000022-WorkflowTask-b20a8exxxxxxx1tt110253、24000022-ScheduleTask-774f101xxxxxxx1tt110253。
调用 DescribeTaskDetail 接口,输入任务 ID 即可获取任务结果,你需要解析 WorkflowTask/ScheduleTask -> AiAnalysisResultSet > HorizontalToVerticalTask > Output 字段获取任务结果。
相关数据结构
AiAnalysisTaskHorizontalToVerticalResult
AiAnalysisTaskHorizontalToVerticalInput
AiAnalysisTaskHorizontalToVerticalOutput
九、控制台查询任务
进入控制台 离线任务管理,任务列表中会展示刚发起的任务。
当子任务状态为“成功”时,你可以进入 COS Bucket > 输出 Bucket 中,找到你的输出目录,目录下 htv- 开头的文件即为智能横转竖处理后的输出视频。
十、事件通知回调
在使用 ProcessMedia 发起媒体处理任务时,你可以通过 TaskNotifyConfig 参数配置事件回调。当任务处理完成后,会通过配置的回调信息回调任务结果,你可以通过 ParseNotification 解析事件通知结果。
十一、1. 创建任务
1. 进入 媒体处理控制台,依次单击创建任务 > 创建离线文件处理任务。
2. 首先指定输入视频文件。
3. 然后,在步骤“处理输入文件”处,加入智能分析节点。
在弹出的智能分析设置抽屉中,选择预设智能横转竖模板(模板 ID:28)。
开启“扩展参数”功能,按照上文 扩展参数说明 填写 JSON(控制台会自动转义,因此请直接填写 JSON 字符串)。
4. 最后,指定输出视频保存路径后,即可单击创建发起任务。
十二、2. 查询任务结果
参考上文 查询任务结果。
十三、3. 自动触发任务(可选能力)
若你希望实现:在 COS 桶中上传了视频文件,自动按照预设参数进行智能横转竖处理。你可以:
3.1 在创建任务时单击保存此编排,在弹出的窗口中配置触发 Bucket、触发目录等参数。
3.2 然后进入离线编排列表,找到刚创建好的编排,在启动处开启按钮即可。后续在触发目录下新增的视频文件,将自动按照该编排预设的流程和参数发起任务,并将处理后的视频文件保存到编排配置的输出路径中。
注意:启用编排成功后,需要3-5分钟才会生效。