腾讯云数据库 AI 服务 通过 API 或模型网关接入

ContextTurbo 可接入业务应用,也可作为现有模型网关中的一个模型服务连接。这里说明连接信息、鉴权凭证和三种 API 来源的配置方法。

相关产品
腾讯云数据库 AI 服务 产品页,含版本规格、价格与购买入口。

一、前提条件

·已创建可用接入点。

·已获取接入点访问地址和 API Key。

·已确认目标模型的 Model ID,以及调用方和模型服务共同支持的接口协议。

·调用环境可访问所选接入点地址。

二、连接信息

信息 用途 获取方式
接入点 URL 将请求发送到指定 ContextTurbo 接入点 在接入点列表或详情中获取。
接入点 API Key 调用方访问接入点的鉴权凭证 在接入点详情中获取。
Model ID 指定本次请求使用的模型 平台提供模式查看快速接入;其他模式查看模型服务的模型列表。
模型 Base URL ContextTurbo 转发请求的目标模型服务地址 由模型服务提供。
模型 API Key ContextTurbo 调用模型服务的鉴权凭证 由模型服务提供。

注意:说明:

注意:接入点 URL 是接入地址。完整请求路径、协议版本和鉴权 Header 请使用该接入点快速接入中提供的示例,避免重复拼接接口路径。

三、步骤一:获取请求示例

1. 登录 ContextTurbo 控制台。

2. 在左侧导航栏中选择接入点管理。

3. 选择目标地域。

4. 单击目标接入点的查看详情。

5. 在快速接入区域选择 API 接入。

6. 选择适用的网络地址、模型和接口,获取请求示例。

四、步骤二:配置请求

按所选 API 来源配置以下内容。

API 来源 请求配置
平台提供 使用接入点 URL 和 API Key,在 model 中填写平台支持的模型标识。
第三方接入 使用接入点 URL 和 API Key,在 model 中填写已配置模型服务支持的模型标识。
透传模式 使用接入点 URL 和 API Key,同时在 Header 中传入本次调用的模型 Base URL 和模型 API Key。

ContextTurbo 将请求中的 model 原样传给模型服务。一个接入点可以通过不同 model 调用模型服务允许访问的模型,无需按每个模型分别创建接入点。

五、步骤三:验证调用

先按控制台提供的完整示例发送简单请求,确认返回正常,再将连接信息应用到业务代码。业务调用仍需遵循目标模型的参数、消息格式与工具调用约定。

Python SDK 示例:

from openai import OpenAIclient = OpenAI( api_key="{接入点API Key}", base_url="https://memory.ap-guangzhou.tencentdai.com/contextturbo/{接入点ID}")response = client.chat.completions.create( model="{Model ID}", messages=[ {"role": "user", "content": "请只回复 OK"} ])print(response.choices[0].message.content)

注意:说明:

注意:将 {接入点 API Key}、{接入点 ID}、{Model ID} 替换为实际值。ContextTurbo 兼容 OpenAI SDK,可直接使用 openai 库进行调用。

六、步骤一:确定 API 来源

·使用平台提供或第三方接入模式时,接入点使用预设模型服务,适合在模型网关中建立对应的模型服务连接。

·使用透传模式时,模型服务由每次请求指定,适合由网关继续管理模型 Base URL 和模型 API Key。

七、步骤二:配置网关连接

1. 在模型网关中创建或调整模型服务连接。

2. 将调用地址配置为 ContextTurbo 接入点 URL。

3. 将访问凭证配置为接入点 API Key。

4. 保留目标模型的 Model ID,并确认网关发送的协议与模型服务兼容。

5. 透传模式下,按接入点指引配置模型连接 Header,并确认网关不会将其过滤或覆盖。

模型选择、用户权限和业务路由继续由调用方网关配置决定。

八、步骤三:验证完整链路

业务应用 → 模型网关 → ContextTurbo 接入点 → 模型 API业务应用 ← 模型网关 ← ContextTurbo 接入点 ← 模型响应

通过网关发送测试请求,确认接入点鉴权、模型服务访问与响应返回均正常后,再切换业务流量。

九、凭证使用说明

凭证 使用方向 配置位置
接入点 API Key 调用方 → ContextTurbo 应用、模型网关或 AI 工具。
模型 API Key ContextTurbo → 模型 API 第三方模式保存在模型连接配置中;透传模式由每次请求提供。

注意:说明:

注意:透传模式需要同时满足这两层鉴权。仅提供模型 API Key,不能替代接入点访问凭证。

十、接入后检查

·核对调用方使用的接入点 URL 与 API Key 是否对应同一资源。

·检查 model 是否在模型服务可用范围内。

·验证实际业务中的流式响应、工具调用和错误返回。

·在用量统计中确认调用归属于预期接入点。

常见异常请参见 常见问题。

赞 (0)
上一篇 4天前
下一篇 4天前