一、前置工作
部署前需开通云手机服务并购买资源,详细可参考 快速入门。
二、使用开源 agent 及模型部署
下面以开源模型 Open-AutoGLM 为例,快速部署环境验证。
三、1.1 安装adbkeyboard
1. 登录腾讯云控制台,进入云手机产品页面,进入 应用管理。
2. 单击创建应用,上传 adbkeyboard.apk 文件。
3. 应用创建成功后,在 实例管理 界面选择目标实例并安装该应用。
四、1.2 启动 adbkeyboard
1. 在 实例列表 界面,通过 WebShell 登录目标实例。
2. 执行以下命令启用 adbkeyboard 输入法:
ime enable com.android.adbkeyboard/.AdbIME
五、1.3 环境镜像保存
1. 完成上述配置后,可将当前实例环境打包为自定义镜像。
注意:打包为自定义镜像会导致实例关机。
2. 后续创建新实例时,可选择该镜像快速部署相同环境。
六、2. x86服务器配置
云手机实例不开放公网 IP,如需部署内网x86或使用公网 ADB 连接云手机实例可联系商务/架构师,下述以腾讯云提供内网x86为例。
七、2.1 ADB 环境配置
2.1.1 安装 ADB 工具
1. 从 Android 平台下载 ADB 工具包。
2. 解压到自定义目录路径。
2.1.2 配置环境变量
macOS 系统:
export PATH=${PATH}:~/Downloads/platform-tools
注意:说明:
注意:请根据实际解压路径调整命令。
Windows 系统:参考 Windows 平台 ADB 安装指南进行配置。
八、2.2 Python 环境配置
1. 建议安装 Python 3.10 或更高版本。
2. 确保 pip 包管理工具可用。
九、2.3 部署 Open-AutoGLM
1. 克隆项目仓库:
git clone git@github.com:zai-org/Open-AutoGLM.git
2. 安装项目依赖:
pip install -r requirements.txtpip install -e .
十、2.4 连接云手机实例
1. 使用 ADB 连接云手机:
adb connect <实例IP>:<端口>
2. 验证连接状态:
adb devices
十一、2.5 智谱 AI API 配置
1. 访问 智谱AI开放平台 申请 API Key。
2. 妥善保存获得的 API Key。
十二、3.1 创建测试脚本
1. 在 phone-agent 目录下创建 test.py 文件。
2. 添加以下代码内容:
from phone_agent import PhoneAgentfrom phone_agent.model import ModelConfig# 配置模型参数model_config = ModelConfig( base_url="http://localhost:8000/v1", model_name="autoglm-phone-9b", api_key="<你的API Key>", # 替换为实际申请的Key)# 创建Agent实例agent = PhoneAgent(model_config=model_config)# 执行任务result = agent.run("打开淘宝搜索无线耳机")print(result)
3.2 执行测试程序
1. 通过控制台连接云手机实例,保证串流画面正常。
2. 在命令行执行:
python test.py
3. 观察程序输出和云手机操作响应。
十三、自有 Agent 及模型部署
腾讯云提供一系列平台能力支持自有 Agent 及模型部署,具体可咨询腾讯云商务/架构师。
十四、云手机原生 API 操控
除了使用传统 ADB 工具进行单机调试外,腾讯云手机还提供了一套原生云端 API 与低延迟控制网关来操控云手机的方案。该方案适合大规模云手机集群部署场景,具有以下优势:
·极简的网络架构:无需为每台云手机开放公网 ADB 端口或搭建复杂的内网反向代理,规避了大量 ADB 维持长连接的稳定性隐患。
·低延迟高并发响应:通过统一的 HTTP 控制接口,实现毫秒级的单机/批量动作响应,为 AI Agent 的高频多模态交互提供高吞吐支撑。
·一站式批量控制:内置标准化的分布式任务下发机制,支持单个 API 批量调度数十台实例。
十五、批量指令发起及截图流程
1. 获取实例列表:调用 DescribeAndroidInstances 接口获取目标云手机实例的底层状态。
2. 生成访问令牌:调用 CreateAndroidInstancesAccessToken 接口获取实例的临时操作凭证及操作网关地址。
3. 多模态闭环执行:通过请求网关服务执行以下两大高频接口完成 Agent 的核心循环:
·画面截取 (/CAIScreenshot):使用 GET 请求实时拉取自定义画质和长宽的云手机实时画面,作为 Agent 视觉模型的输入。
·操作编排 (/CAIInputSchedule):使用 POST 请求向下游网关发送经过 AI 规划的按键(Key)、触摸(Touch)及休眠(Sleep)等原子动作序列。
网关除了截图和操作编排外,网关还支持修改分辨率、修改实例属性、粘贴文本等操作,具体实现方式可咨询腾讯云商务/架构师。