一、操作场景
当你在公有云上使用大模型处理私有数据,可以在业务侧部署 AICC-Proxy。部署后,业务系统向安全代理发送标准的 OpenAI 或 Anthropic 协议请求,由安全代理完成端到端加密后转发至 AICC 服务端,推理结果加密返回并解密后交回业务系统。
二、前提条件
·已提交 AICC 试用申请并经审核通过,服务已开通。
·已获取调用地址与调用凭据。调用地址可在高性能应用服务(Hyper Application Inventor,HAI)控制台获取。
·已准备一台可运行容器引擎(Docker)的机器,用于部署安全代理,建议部署在企业信任域,网络可达高性能应用服务 HAI 可信集群。建议规格 4C8G(4 核 CPU、8 GB 内存),最低规格 2C4G(2 核 CPU、4 GB 内存),Linux 操作系统。
三、1. 拉取镜像
在部署机上执行以下命令,拉取安全代理镜像(公开镜像仓库)。
docker pull ccr.ccs.tencentyun.com/aicc/aicc-proxy-hybrid:v1.2.0
四、2. 启动容器
执行以下命令,以容器方式启动安全代理。请将命令中的 <调用地址> 替换为 HAI 控制台提供的实际地址。
docker run -d \\ –name aicc-proxy-hybrid \\ –restart unless-stopped \\ -p 8083:8083 \\ -e AICC_INFER_OPENAI_BASE_URL=<调用地址> \\ -e AICC_INFER_ANTHROPIC_BASE_URL=<调用地址> \\ -e AICC_INFER_RESPONSES_BASE_URL=<调用地址> \\ -e AICC_SECURITY_ENDPOINT=<调用地址>/aicc \\ -e AICC_POOL_MODE=exclusive \\ ccr.ccs.tencentyun.com/aicc/aicc-proxy-hybrid:v1.2.0
各参数说明如下。
| 参数 | 说明 |
| –name aicc-proxy-hybrid | 容器名称。 |
| –restart unless-stopped | 容器退出时自动重启(手动停止除外)。 |
| -p 8083:8083 | 端口映射。将容器内的 8083 端口映射到部署机的 8083 端口。 |
| -e AICC_INFER_OPENAI_BASE_URL | OpenAI 协议推理请求的调用地址。 |
| -e AICC_INFER_ANTHROPIC_BASE_URL | Anthropic 协议推理请求的调用地址。 |
| -e AICC_INFER_RESPONSES_BASE_URL | Responses 协议推理请求的调用地址。 |
| -e AICC_SECURITY_ENDPOINT | 安全能力接口地址,格式为 <调用地址>/aicc。 |
| -e AICC_POOL_MODE | 资源池模式,示例值为 exclusive。 |
五、步骤2:确认容器运行状态
执行以下命令,查看容器是否已正常运行。
docker ps –filter "name=aicc-proxy-hybrid"
输出结果中出现 aicc-proxy-hybrid 容器,且状态为 Up,表示安全代理已启动。
如需查看启动日志以排查异常,可执行以下命令。
docker logs aicc-proxy-hybrid
六、步骤3:发起推理调用
安全代理启动后,在部署机的 8083 端口提供推理服务。业务系统向 http://<部署机 IP>:8083 发送标准的 OpenAI 或 Anthropic 协议请求即可调用机密模型。以下命令中的<调用凭据>、<模型名称> 和 <协议版本> 均为示例占位符,请根据实际部署环境及控制台提供的调用信息替换后再执行。
以下为 OpenAI 协议的调用示例。
curl http://<部署机 IP>:8083/v1/chat/completions \\ -H "Content-Type: application/json" \\ -H "Authorization: Bearer <调用凭据>" \\ -d '{ "model": "<模型名称>", "messages": [{"role": "user", "content": "你好"}] }'
以下为 Anthropic 协议的调用示例。
curl http://<部署机 IP>:8083/v1/messages \\ -H "Content-Type: application/json" \\ -H "x-api-key: <调用凭据>" \\ -H "anthropic-version: <协议版本>" \\ -d '{ "model": "<模型名称>", "max_tokens": 256, "messages": [{"role": "user", "content": "你好"}] }'
注意:说明:
注意:上述示例中的请求路径、请求头与模型名称以控制台提供的调用信息和对应的协议规范为准。业务系统原有的 OpenAI 或 Anthropic 协议调用只需将请求地址改为安全代理地址,其余调用方式保持不变。
七、安全风险提示
·访问控制:8083 端口只对内网业务网段开放,禁止暴露到公网;跨网络访问请走 VPN 或专线。
·凭据管理:API Key 由调用方保管,安全代理不保存。
八、调用模式说明
| 模式 | 说明 | 适用场景 |
| 直连模式 | 不经过安全代理 Proxy,直接访问调用地址。该模式不启用端到端加密,安全等级较低。 | 仅建议在测试阶段使用。 |
| 加密模式 | 请求经安全代理 Proxy 或 AICC-SDK 完成端到端加密后调用。 | 生产环境建议使用该模式。 |