一、前提条件
已开通腾讯云直播服务,并添加 推流域名。
二、服务侧
当用户在控制台完成兴趣区域识别配置并拉取智能弹幕流时,后台将触发 MPS(媒体处理服务)的检测能力。在转码过程中,系统会实时获取目标检测结果,根据协议生成 SEI (Supplemental Enhancement Information)数据并将其写入到码流中(目前仅支持 H.264 和 H.265 格式的 SEI 输出。)
三、用户侧
当用户的播放器端获取到直播流后,它会首先解析出 SEI(Supplemental Enhancement Information)数据。接着,播放器会根据协议解析 SEI 信息,并提取其中的 SVG 数据。最后,通过使用 SVG 图像和蒙版技术,播放器能够实现兴趣区域识别(ROI)后的业务处理。这个过程使得播放器能够准确地定位和处理视频中的特定区域。
四、SEI 解析相关资料
腾讯云 SEI 格式
下图为我们采用的标准 SEI 格式。
注意:说明:
注意:在处理 SEI 数据时,需要注意以下转换规则:
五、SVG 提取说明
1. 根据协议解析 SEI 数据并提取 SVG 信息时,你将能够获取类似于以下格式的 Base64 字符串:
2. 将提取到的 Base64 编码的 SVG 图像数据 data:image/svg+xml;base64,svg 放置在浏览器地址栏并按回车键,可以直接查看相关的图像信息。