腾讯云数据库 AI 服务 快速入门

如何创建 ContextTurbo 接入点,将其配置到现有模型调用链路,并查看上下面压缩效果。

相关产品
腾讯云数据库 AI 服务 产品页,含版本规格、价格与购买入口。

一、前提条件

·已注册腾讯云账号并完成实名认证。

·已具备 ContextTurbo 控制台 访问权限。

·已确定使用平台提供、第三方接入或透传模式。

·使用第三方接入或透传模式时,已获取有效的模型 Base URL、模型 API Key 和 Model ID。

·调用环境能够访问接入点;使用内网地址时,已具备相应网络连通条件。

二、步骤一:创建接入点

1. 登录 ContextTurbo 控制台。

2. 在左侧导航栏选择接入点管理,切换至所需地域。

3. 单击创建接入点。

4. 填写接入点名称,并选择 API 来源。

5. 根据所选来源完成配置后,单击创建接入点。

API 来源 配置内容
平台提供 无需填写模型 Base URL 和模型 API Key。
第三方接入 选择接入平台,填写模型 Base URL 和模型 API Key,可执行连通性验证。
透传模式 创建时无需配置模型 Base URL 和模型 API Key,调用时通过 Header 传入。

创建后,上下文压缩默认开启。详细操作请参见 创建接入点。

下图为控制台产品概览页面,展示了接入点管理入口和创建接入点按钮。

三、步骤二:获取连接信息

1. 在接入点列表中找到目标接入点,单击查看详情。

2. 获取该接入点的访问 URL 和 API Key。

3. 根据调用环境选择公网或内网地址。

4. 确认模型服务支持的接口和 Model ID。平台提供模式下,可在快速接入中查看支持的模型。

下图为接入点详情页面,展示了公网 URL、内网 URL、API Key 及快速接入指引。

四、步骤三:配置调用方

根据实际使用方式完成配置。

调用方式 配置方法
模型网关 将接入点作为网关中的模型服务连接,填写接入点 URL 和 API Key,并配置目标模型。
业务应用 按接入点快速接入指引,配置模型请求地址、接入点鉴权与 model 参数。
AI 工具 按控制台中对应工具的接入指引,配置服务地址、接入点凭证和模型。

透传模式还需由调用方在每次请求中添加携带模型 Base URL 和模型 API Key 的 Header,字段以接入点快速接入指引为准。

注意:说明:

注意:接入点 API Key 用于访问 ContextTurbo,模型 API Key 用于访问模型服务,两者不能混用。

五、步骤四:验证模型调用

1. 使用接入点快速接入中的请求示例,发送一条简单测试请求。

2. 确认请求可以返回所选模型的响应。

3. 再发起一段具有代表性的多轮任务,覆盖实际使用的工具调用和上下文内容。

以下为平台提供模式下的 cURL 请求示例:

curl –include –max-time 60 'https://memory.ap-guangzhou.tencentdai.com/contextturbo/{接入点ID}/chat/completions' \\ -H 'Authorization: Bearer {接入点API Key}' \\ -H 'Content-Type: application/json' \\ -d '{ "model": "{Model ID}", "messages": [ { "role": "user", "content": "请只回复 OK" } ]}'

注意:说明:

注意:将 {接入点 ID}、{接入点 API Key}、{Model ID} 替换为实际值。URL 已自动填入,单击控制台快速接入中的复制请求时会自动获取 API Key 并补全 Authorization。返回 HTTP 200 表示调用成功。

简单测试用于确认调用链路;压缩收益应使用实际业务任务验证。

六、步骤五:查看效果

1. 在接入点列表中,单击目标接入点的查看用量;也可从左侧导航选择上下文压缩 > 用量统计。

2. 选择对应接入点和统计时间范围。

3. 查看输入 Token、费用及净收益等数据,结合任务完成情况评估效果。

详细说明请参见 查看用量与节省效果。

七、相关文档

·ContextTurbo 介绍

·创建接入点

·通过 API 或模型网关接入

·通过 AI 工具接入

赞 (0)
上一篇 4天前
下一篇 4天前