云直播 智能弹幕

ROI 智能识别技术可以实时识别视频中的人脸、游戏人物、主播等关键元素的坐标信息,并将感兴趣区域信息(ROI)随着视频编码传输到播放端。通过播放器结合 ROI 信息,可以实现智能弹幕防遮挡、背景模糊等功能。

相关产品
云直播 产品页,含版本规格、价格与购买入口。

一、前提条件

已开通腾讯云直播服务,并添加 推流域名。

二、服务侧

当用户在控制台完成兴趣区域识别配置并拉取智能弹幕流时,后台将触发 MPS(媒体处理服务)的检测能力。在转码过程中,系统会实时获取目标检测结果,根据协议生成 SEI (Supplemental Enhancement Information)数据并将其写入到码流中(目前仅支持 H.264 和 H.265 格式的 SEI 输出。)

三、用户侧

当用户的播放器端获取到直播流后,它会首先解析出 SEI(Supplemental Enhancement Information)数据。接着,播放器会根据协议解析 SEI 信息,并提取其中的 SVG 数据。最后,通过使用 SVG 图像和蒙版技术,播放器能够实现兴趣区域识别(ROI)后的业务处理。这个过程使得播放器能够准确地定位和处理视频中的特定区域。

四、SEI 解析相关资料

腾讯云 SEI 格式

下图为我们采用的标准 SEI 格式。

注意:说明:

注意:在处理 SEI 数据时,需要注意以下转换规则:

五、SVG 提取说明

1. 根据协议解析 SEI 数据并提取 SVG 信息时,你将能够获取类似于以下格式的 Base64 字符串:

2. 将提取到的 Base64 编码的 SVG 图像数据 data:image/svg+xml;base64,svg 放置在浏览器地址栏并按回车键,可以直接查看相关的图像信息。

赞 (0)
上一篇 4天前
下一篇 4天前