云原生智能网关 模型管理

接口请求域名: cngw.tencentcloudapi.com 。推荐使用 API Explorer
点击调试
API Explorer 提供了在线调用、签名验证、SDK 代码生成和快速检索接口等能力。可以查看每次调用的请求内容和返回结果以及自动生成 SDK 调用示例。

相关产品
云原生智能网关 产品页,含版本规格、价格与购买入口。

一、1. 接口描述

创建 LLM 模型 API。

默认接口请求频率限制:20次/秒。

二、2. 输入参数

以下请求参数列表仅列出了接口请求参数和部分公共参数,完整公共参数列表见 公共请求参数。

参数名称 必选 类型 描述
Action 是 String 公共参数,本接口取值:CreateCloudNativeAPIGatewayLLMModelAPI。
Version 是 String 公共参数,本接口取值:2023-04-18。
Region 是 String 公共参数,详见产品支持的 地域列表。
GatewayId 是 String 网关 id。示例值:gateway-bb346e76
Name 是 String 模型 API 名称,最长 60 字符。同一网关下唯一。示例值:modelapi
SceneType 是 String 业务场景。枚举值:Chat:聊天Image:图像(需要网关版本 ≥ 3.9.3)示例值:Chat
RequestProtocol 是 String 请求协议(小写)。当前仅支持:openai示例值:openai
ListModelServiceId.N 是 Array of String 关联的模型服务 ID 列表,长度 1-10。注:字段名建议改为 ModelServiceIds,当前保留用于兼容。示例值:["c6549138344a463a87ae091127471bbe"]
RouteList.N 是 Array of DefaultKongRoute 路由列表,至少 1 条。每条包含 Methods/Paths/Hosts 等 Kong 路由属性。
BasePath 否 String 统一前缀路径(可选)。例如 /v1/openai。示例值:/basepath
Description 否 String 模型 API 描述。最长 200 字符。示例值:大模型统一聊天 API
ModelServiceRoute 否 CloudNativeAPIGatewayLLMModelServiceRoute 多模型服务路由策略。ListModelServiceId 多于 1 项时必填。
MatchHeaders.N 否 Array of AIGWKVMatch Header 路由匹配规则。当前仅支持 Operator=exact。
EnableCrossServiceFallback 否 Boolean 是否启用跨服务 Fallback。开启后需提供 CrossServiceFallbackConfig。示例值:false
CrossServiceFallbackConfig 否 AIGWCrossServiceFallbackConfig 跨服务 Fallback 配置。EnableCrossServiceFallback=true 时必填。
TagFilter 否 AIGWTagFilter 标签过滤策略。需要网关版本 ≥ 3.9.4。
LogConfig 否 AIGWLogConfig 日志输出配置(请求/响应 payload 落 LLM Log)。需要网关版本 ≥ 3.9.4。
MaxDocumentsConfig 否 AIGWRerankMaxDocumentsConfig Rerank场景最大文档数高级配置
SensitiveWordRoute 否 AIGWSensitiveWordRoute 敏感词路由配置
PriorityScheduleConfig 否 AIGWPriorityScheduleConfig 请求优先级调度配置
ModelNameRoute 否 AIGWModelNameRoute 按请求体顶层 model 字段选择模型 API 的入口路由配置。传入对象即启用,ModelNames 须为非空列表;不传表示不启用。仅用于 Chat 场景下受支持的 POST 路由:openai 协议的 /v1/chat/completions、/v1/responses,或 anthropic 协议的 /v1/messages。公有云要求网关版本不低于 3.9.8,TCS 要求不低于 3.9.6。
StandardModelName 否 String 单模型 API 的顶层标准模型名称。仅当 ListModelServiceId 包含一个模型服务且未配置 ModelServiceRoute 时可设置;多模型场景应在对应路由或降级条目中配置。仅对应 TIONE 模型服务时可配置。非空值最长 256 字节,支持中文、英文、数字、下划线和短横线,须以中文、英文或数字开头。同一网关内不同模型 API 不得使用相同的标准模型名称;同一模型 API 内同一模型服务在多处配置时须保持一致。示例值:claude-haiku-4-5

三、3. 输出参数

参数名称 类型 描述
Result Boolean 是否成功。示例值:true
ModelAPIId String 模型 API ID,全局唯一标识。示例值:cae62c8faa894a93b48c4dcfe4a8c80e
RequestId String 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。

四、输入示例

POST / HTTP/1.1
Host: cngw.tencentcloudapi.com
Content-Type: application/json
X-TC-Action: CreateCloudNativeAPIGatewayLLMModelAPI
<公共请求参数>
{
"GatewayId": "gateway-bb346e76",
"Name": "modelapi",
"SceneType": "Chat",
"RequestProtocol": "openai",
"ListModelServiceId": [
"c6549138344a463a87ae091127471bbe"
],
"RouteList": [
{
"Name": "base",
"Methods": [
"POST"
],
"Paths": [
"/v1/chat/completions"
]
}
],
"BasePath": "/basepath",
"ModelServiceRoute": {
"SelectedTypes": [
"ModelName"
],
"ModelNameConfig": [
{
"ModelServiceId": "c6549138344a463a87ae091127471bbe",
"MatchModelName": "*"
}
]
},
"MatchHeaders": [],
"EnableCrossServiceFallback": false,
"LogConfig": {
"EnableRequestLogPayloads": false,
"EnableResponseLogPayloads": false
}
}

五、输出示例

{
"Response": {
"ModelAPIId": "cae62c8faa894a93b48c4dcfe4a8c80e",
"Result": true,
"RequestId": "19c52064-af4e-477e-8353-9fc2cc6a0df7"
}
}

六、腾讯云 API 平台

腾讯云 API 平台 是综合 API 文档、错误码、API Explorer 及 SDK 等资源的统一查询平台,方便你从同一入口查询及使用腾讯云提供的所有 API 服务。

七、API Inspector

用户可通过 API Inspector 查看控制台每一步操作关联的 API 调用情况,并自动生成各语言版本的 API 代码,也可前往 API Explorer 进行在线调试。

八、SDK

云 API 3.0 提供了配套的开发工具集(SDK),支持多种编程语言,能更方便的调用 API。

·Tencent Cloud SDK 3.0 for Python: CNB, GitHub, Gitee

·Tencent Cloud SDK 3.0 for Java: CNB, GitHub, Gitee

·Tencent Cloud SDK 3.0 for PHP: CNB, GitHub, Gitee

·Tencent Cloud SDK 3.0 for Go: CNB, GitHub, Gitee

·Tencent Cloud SDK 3.0 for Node.js: CNB, GitHub, Gitee

·Tencent Cloud SDK 3.0 for .NET: CNB, GitHub, Gitee

·Tencent Cloud SDK 3.0 for C++: CNB, GitHub, Gitee

·Tencent Cloud SDK 3.0 for Ruby: CNB, GitHub, Gitee

九、命令行工具

·Tencent Cloud CLI 3.0

十、6. 错误码

以下仅列出了接口业务逻辑相关的错误码,其他错误码详见 公共错误码。

错误码 描述
FailedOperation 操作失败。
FailedOperation.FailedOperation FailedOperation.FailedOperation
FailedOperation.InternalError FailedOperation.InternalError
InternalError.UnknownError InternalError.UnknownError
InvalidParameterValue.BadRequestFormat InvalidParameterValue.BadRequestFormat
InvalidParameterValue.CreateError InvalidParameterValue.CreateError
InvalidParameterValue.InvalidParameterValue InvalidParameterValue.InvalidParameterValue
LimitExceeded.LimitExceeded LimitExceeded.LimitExceeded
MissingParameter.MissParameter MissingParameter.MissParameter
OperationDenied.OperationDenied OperationDenied.OperationDenied
ResourceNotFound 资源不存在。
ResourceNotFound.InstanceNotFound ResourceNotFound.InstanceNotFound
ResourceNotFound.ResourceNotFound ResourceNotFound.ResourceNotFound
UnauthorizedOperation 未授权操作。
UnauthorizedOperation.UnauthorizedOperation UnauthorizedOperation.UnauthorizedOperation
赞 (0)
上一篇 4天前
下一篇 4天前