应用云渲染 鼠标、键盘、触摸交互处理

这篇说说云渲染交互中鼠标、键盘、触摸消息的转换流程,说明各平台(Android/iOS/Web)需将本地消息转换为Windows消息以操作应用,并给出SDK适配文档链接。 鼠标:各平台将系统触摸或鼠标消息转换为云渲染鼠标消息,单指点击转为鼠标点击。 键盘:各平台将触摸、软键盘或键盘消息转换为云渲染键盘消息,触摸方向盘转为WASD。 触摸:仅建议应用支持Windows触摸时使用,避免用UE/Unity鼠标转触摸测试。

相关产品
应用云渲染 产品页,含版本规格、价格与购买入口。

本节主要介绍鼠标、键盘、触摸的交互操作处理方法。

一、鼠标

从上图可以看出,云渲染交互中鼠标消息的转换流程。其中,应用软件是业务侧在控制台自助上传的应用,它运行在 Windows 系统上,响应 Windows 的鼠标窗口消息。业务侧接入 SDK 发送鼠标消息时,需要将 SDK 运行所在平台的消息转换为鼠标消息来操作应用。

一般来说,各个平台处理情况如下:

·在 Android 和 iOS 平台是将系统的触摸消息转换成云渲染鼠标消息。

·在 Web 页面中则根据页面运行的系统来决定,当 Web 页面运行在 Windows/macOS 的浏览器中时将鼠标消息转换为云渲染鼠标消息,当 Web 页面运行在 Android/iOS 的浏览器中时将触摸消息转换为云渲染鼠标消息。

其中,触摸消息转换为云渲染鼠标消息中,通常是将单指点击转换为云渲染鼠标点击,单指滑动转换为云渲染鼠标移动等。

因此,业务侧需要根据使用的 SDK 及运行的平台做相应的适配,具体请参见:

·Web 页面(小程序)参见文档:onTouchEvent,mouseMove,sendMouseEvent。

·Android App 参见文档:Android 外设交互处理。

·iOS App 参见文档: iOS 外设交互处理。

二、键盘

从上图可以看出,云渲染交互中键盘消息的转换流程。其中,应用软件是业务侧在控制台自助上传的应用,它运行在 Windows 系统上,响应 Windows 的键盘窗口消息。业务侧接入 SDK 发送键盘消息时,需要将 SDK 运行所在平台的消息转换为键盘消息来操作应用。

一般来说,各个平台处理情况如下:

·在 Android 和 iOS 平台是将系统的触摸消息或者软键盘消息转换为云渲染键盘消息。

·在 Web 页面中则根据页面运行的系统来决定,当 Web 页面运行在 Windows/macOS 的浏览器中时将键盘消息转换为云渲染键盘消息,当 Web 页面运行在 Android/iOS 的浏览器中时将触摸消息或者软键盘消息转换为云渲染键盘消息。

其中,触摸消息或软键盘消息转换为云渲染键盘消息中,通常是将触摸方向盘操作转换为云渲染键盘的 WASD 消息,将软键盘消息直接转换为云渲染键盘按键消息等。

因此,业务侧需要根据使用的 SDK 及运行的平台做相应的适配,具体请参见:

·Web 页面(小程序)参见文档:sendKeyboardEvent,Joystick。

·Android App 参见文档:Android 外设交互处理。

·iOS App 参见文档: iOS 外设交互处理。

三、触摸

从上图可以看出,云渲染交互中触摸消息的转换流程。其中,应用软件是业务侧在控制台自助上传的应用,它运行在 Windows 系统上,响应 Windows 的触摸窗口消息。业务侧接入 SDK 发送触摸消息时,需要将 SDK 运行所在平台的消息转换为触摸消息来操作应用。

一般来说,各个平台处理情况如下:

·在 Android 和 iOS 平台将系统的触摸消息转换为云渲染触摸消息。

·在 Web 页面仅运行在 Android/iOS 的浏览器中时将触摸消息转换为云渲染触摸消息。

只有当应用软件支持 Windows 的触摸窗口消息处理,并且应用软件在物理的 Windows 触摸屏设备上测试正常时,才建议业务侧可以使用 SDK 将所在平台的触摸消息转换为云渲染触摸消息。

注意:不建议使用 UE、Unity 引擎的鼠标转触摸来测试应用软件对触摸消息的处理是否正常,因为触摸行为会在触摸屏设备上表现异常。

因此,业务侧需要根据使用的 SDK 及运行的平台做相应的适配,具体请参见:

·Web 页面(小程序)参见文档:init.clientInteractMode,setClientInteractMode。

·Android App 参见文档:Android 外设交互处理。

·iOS App 参见文档:iOS 外设交互处理。

赞 (0)
上一篇 4天前
下一篇 4天前