一、操作场景
这篇说说如何通过 SDK/API 方式将大模型业务接入 WAF 大模型安全模块。适用于以下场景:
·大模型业务不希望将域名全部迁移到 WAF,但需要使用 WAF 的内容安全检测能力。
·希望以较小的业务改动成本,快速集成大模型内容安全审核功能。
·业务架构不适合通过域名接入方式串接 WAF 流量。
·需要使用 SDK/API 接入方式特有能力。
注意:说明:
注意:如果希望通过域名接入方式使用大模型安全功能,请参见 流量接入。
二、前提条件
·已购买腾讯云 WAF 大模型安全增值服务。可前往 大模型安全页面 单击立即开通查看详情及订购流程。详细价格请参见 购买指南。
·已获取腾讯云 API 访问密钥(SecretId 和 SecretKey)。如未获取,请前往 API 密钥管理 页面创建。
注意:密钥对应的用户需要拥有 QcloudWAFFullAccess 权限。请妥善保管安全凭证,避免泄露,否则将危及财产安全。如已泄露,请立刻禁用该安全凭证。
三、步骤一:添加 SDK 接入应用
1. 登录 WAF 控制台,在左侧导航栏中,单击大模型安全。
2. 在大模型安全页面,单击 SDK 接入。
3. 在 SDK 接入页面①添加应用中,填写应用名称等信息,单击添加应用。
4. 添加成功后,系统将返回该应用的 Service ID。
注意:说明:
注意:Service ID 为系统自动生成的唯一标识,用于 API 调用时指定防护策略。请妥善记录,后续调用 API 时需要使用。
四、步骤二:配置防护策略
添加应用后,需要为该应用配置大模型安全防护策略,包括算力消耗防护和内容安全防护。
1. 在 SDK 接入列表页,找到目标应用,单击防护配置。
2. 根据业务需求,配置算力消耗防护规则和内容安全防护规则。
注意:说明:
注意:SDK/API 接入方式的防护策略配置与域名接入方式基本一致,但不包含会话标识设置和匹配方式设置(这两项仅适用于域名接入方式)。防护策略的详细配置说明请参见 防护策略。
五、步骤三:安装并接入 SDK
完成控制台配置后,需要在业务代码中集成 WAF SDK,调用内容安全检测接口。
六、选择接入地域
当前支持以下地域接入,推荐使用就近地域接入域名以降低时延:
| 接入地域 | 域名 |
| 就近地域接入(推荐,仅支持非金融区) | waf.tencentcloudapi.com |
| 华南地区(广州) | waf.ap-guangzhou.tencentcloudapi.com |
| 华东地区(上海) | waf.ap-shanghai.tencentcloudapi.com |
| 华东地区(南京) | waf.ap-nanjing.tencentcloudapi.com |
| 华北地区(北京) | waf.ap-beijing.tencentcloudapi.com |
| 西南地区(成都) | waf.ap-chengdu.tencentcloudapi.com |
| 西南地区(重庆) | waf.ap-chongqing.tencentcloudapi.com |
注意:说明:
七、安装 SDK
腾讯云提供多种编程语言的 SDK,根据业务需要选择对应的 SDK 进行安装。SDK 下载及安装指引请参见 SDK 中心。
八、调用接口
大模型安全 SDK/API 接入共提供 2 个核心接口:
| 接口名 | 接口描述 | 典型用途 |
| DescribeLLMContentSecCheck | 大模型内容审核接口 | 对用户输入或模型输出的文本/图片内容进行内容安全风险检测基于已配置的防护规则,检测提示词注入、内容安全、敏感数据等风险,返回检测结果及风险分类标签 |
| GenerateLLMSecAnswer | 大模型安全代答生成接口 | 当内容审核接口检测到风险时,调用本接口由大模型实时生成替代回答支持流式 SSE 返回,基于风险分类和对话上下文实时生成 |
| UploadSkillSecScan | Skill 安全检测上传接口 | 上传 Skill zip 文件,触发异步安全检测 |
| DescribeSkillSecScanResult | Skill 安全检测结果查询接口 | 根据文件 Hash 查询 Skill 安全检测结果 |
·你可以调用 DescribeLLMContentSecCheck 接口创建内容检测任务,对用户输入或模型输出进行内容安全审核。详情请参见 内容检查。
·如果你需要获取模型代答内容以响应用户,需要先获取内容检测接口返回的检测消息 ID(MsgID),再调用 GenerateLLMSecAnswer 接口获取代答结果。接口将以流式方式返回响应内容,基于风险分类和对话上下文实时生成替代回答。详情请参见 安全代答。
·Skill 安全检测为异步检测。你可以调用 UploadSkillSecScan 接口上传 Skill 包触发检测,上传成功后接口会返回该文件的 ContentHash;随后使用 ContentHash 调用 DescribeSkillSecScanResult 接口轮询查询检测结果,返回内容包含风险等级(malicious / suspicious / benign)、命中规则详情及处置建议。详情请参见 Skill 安全检测。
·可前往 API Explorer 对接口进行在线调试,详情请参见 使用 API Explorer。
九、步骤四:结果验证
1. 使用测试用例(含正常内容与预期命中风险的内容)调用 SDK/API 接口。
2. 登录 WAF 控制台,在大模型安全页面查看是否有对应的检测记录和日志。
3. 验证通过后,即表示 SDK/API 接入成功,WAF 将按照配置的防护策略对大模型内容进行安全检测。