腾讯云产品

context.tools 是面向 LLM 的工具清单视角，已经按 framework 做了适配，业务代码不需要再做格式转换。

EdgeOne Makers 为一系列热门前端框架提供优质支持，旨在优化你的网站构建和运行体验。在多数情况下，无需进行任何额外配置即可完成部署。

边缘推理 提供了基于 EdgeOne 边缘节点的 GPU 推理服务，支持用户将自定义模型镜像或使用平台预置模型部署到边缘节点进行推理。边缘推理仅在企业版套餐中支持，采用按实例使用时长后付费的计费方式，以单个推理实例为最小计费单元，在实例运行时长维度上产生后付费账单。

当项目加速区域为“中国大陆可用区”或“全球可用区（含中国大陆）”时添加的域名需先在工信部完成备案。要的项目添加自定义域名，请按照以下步骤操作。

web_search 是平台提供的公网搜索工具示例，底层调用腾讯云联网搜索（WSA）API，适合 LLM 在需要发现信息、查询资料或获取最新内容时使用。开发者也可以根据业务场景接入第三方搜索服务或自定义搜索工具。

在请求经 EdgeOne 边缘节点回源时，如果回源使用的是 HTTPS 协议请求，默认情况下，EdgeOne 不会对源站证书的有效性进行合法性校验。如果你当前对该环节的握手具有更高安全性的要求，EdgeOne 可支持配置源站证书校验，通过自定义校验方式来验证源站证书的合法性，以防止例如回源流量劫持等恶意攻击。

中间件允许你在页面加载之前拦截用户请求，并在 EdgeOne 的边缘节点上执行自定义逻辑，对请求进行实时处理后再继续转发或直接返回结果。借助边缘计算能力，中间件可以在离用户更近的位置完成判断与处理，从而降低回源与计算开销，提升访问性能与稳定性。

context.sandbox.* 是开发者直接调用的视角，可以基于沙箱原子 API 自己封装工具。

EdgeOne Makers 为主流的后端框架提供了优质支持，旨在优化你的后端开发和运行体验。在多数情况下，你无需进行任何额外配置即可完成部署。

这篇档旨在引导你完成在边缘安全加速平台 EO 的边缘推理中部署开源或者自有模型及调用 API 的完整过程。你将了解如何创建推理服务、管理服务凭证、发起推理请求以及进行基础的故障排查，从而帮助你将边缘推理的 AI 模型能力集成到你的应用中。我们将以部署 Llama-3.2-3B-Instruct 大语言模型为示例，演示从环境准备到模型上线调用的全流程。