应用云渲染 MCP 连接云应用

这篇将介绍如何通过应用云渲染提供的 MCP Server,让你的 AI Agent 直接操作运行在云渲染并发实例上的应用:既可以调用应用自身暴露的 MCP 工具,也可以通过截图、鼠标、键盘等通用交互工具像真人一样操作应用画面。

相关产品
应用云渲染 产品页,含版本规格、价格与购买入口。

一、前提条件

1. 已开通 应用云渲染服务,并完成 快速入门 中的应用上传、项目创建与并发购买。

2. 已在 API 密钥管理 获取 SecretId 和 SecretKey。

3. 你的 Agent 框架支持 MCP 远程服务(Streamable HTTP 传输)并能自定义请求头,例如 WorkBuddy、CodeBuddy、Cursor,或基于 MCP SDK 自研的 Agent。

二、适用场景

场景 说明
Agent 自动化操作 将应用与运行环境部署在云端,全端设备均可由 Agent 调用,理解自然语言和设备画面后,自动拆解任务并自动操作软件,覆盖开源软件创作、工业级软件等多场景,完成场景编辑等任务。

三、整体架构

架构可参考下图:

四、基本概念

概念 说明
MCP Model Context Protocol,AI Agent 调用外部工具的开放协议。Agent 作为 MCP Client,通过 tools/list 发现工具、通过 tools/call 调用工具。
云渲染 MCP Server 应用云渲染提供的公网 MCP 服务,Agent 直接连接。它将请求路由到对应的并发实例,对外统一暴露两类工具:应用 MCP 工具 与 通用交互工具。
应用 MCP 应用在并发实例内部启动的 MCP Server,暴露业务语义化的工具。云渲染 MCP Server 负责将其代理给 Agent。
通用交互工具 平台内置、对所有应用可用的工具:截图、鼠标移动/点击/拖拽/滚轮、键盘按键/文本输入等,无需应用做任何改造。
MCP Token Agent 访问云渲染 MCP Server 的鉴权凭证,由业务后台调用云 API CreateMCPToken 创建,可与具体的用户会话(UserId)绑定。

注意:Agent 只持有 MCP Token,绝不持有腾讯云 API 密钥(SecretId / SecretKey)。并发申请、会话创建、Token 签发都应在业务后台完成。

五、步骤1:调用 CreateMCPToken 创建访问凭证

通过云 API 调用 CreateMCPToken 为本次会话签发 Token。

输入参数(示例):

参数名称 必选 类型 描述
ExpireSeconds 是 Integer Token 过期时间。
UserId 否 String 用户 ID,固定使用这个 UserId 来操作云渲染并发资源。
TokenName 否 String Token 名称(注释)。

输出参数(示例):

参数名称 类型 描述
Token String MCP 访问凭证。
TokenId String TokenId。
RequestId String 唯一请求 ID,定位问题时提供。

六、步骤2:Agent 接入云渲染 MCP Server

云渲染 MCP Server 采用 Streamable HTTP 传输,鉴权方式为请求头 Authorization: Bearer <Token>。

{ "mcpServers": { "tencent-car": { "type": "streamableHttp", "url": "https://car-mcp-server.crtrcloud.com/mcp", "headers": { "Authorization": "Bearer <CreateMCPToken 返回的 Token>" } } }}

注意:说明:

注意:该方式适合调试。生产环境中 Token 有有效期且与会话绑定,建议由业务后台动态下发,而非写死在配置文件中。

七、实践:应用 MCP 优先,键鼠兜底

维度 应用 MCP 截图 + 键鼠
确定性 高,直接调用业务逻辑。 中,依赖视觉识别与坐标。
速度 / 成本 单次调用即可完成。 多轮"截图-推理-操作",Token 消耗大。
适用 高频、核心、需断言结果的操作。 长尾操作、存量应用、视觉验证。

八、调用工具返回鉴权失败?

检查请求头格式为 Authorization: Bearer <Token>;确认 Token 未过期。

九、鼠标点击位置与预期不符?

确认坐标基于最近一次截图;检查应用是否全屏、是否开启了 DPI 缩放;在截图后、点击前画面是否发生了变化。

十、应用 MCP 和数据通道有什么区别?

数据通道 用于终端 SDK 与云端应用之间的自定义消息透传,需要终端接入 SDK;应用 MCP 面向 AI Agent,使用标准 MCP 协议,Agent 无需接入 SDK 即可调用。两者可同时使用。

十一、Agent 使用 MCP 是否额外计费?

并发按 计费说明 正常计费,会话存续期间即占用并发。

赞 (0)
上一篇 4天前
下一篇 4天前