TC-AICC可信计算 接入与使用

这篇说明接入腾讯云AICC机密推理服务通常无需改造业务系统,提供SDK集成与安全代理两种接入方式;对前端应用无特殊要求,性能影响一般不超过5%,且不改变模型输出效果。 接入方式:SDK适用于可改造场景,安全代理适用于闭源系统,需2核4GB起容器服务器。 性能影响:TTFT与TPOT延迟增加一般不超过5%,建议POC阶段实测对比。 输出效果:AICC不改变模型与推理逻辑,输出结果与普通环境一致。

相关产品
TC-AICC可信计算 产品页,含版本规格、价格与购买入口。

一、接入 AICC 需要改造现有业务系统吗?

多数情况下不需要。AICC 提供两种接入方式,你可以根据自身架构选择。

·SDK 方式:适用于业务侧已有 AI 网关、转发代理或可改造的 Agent 的场景。将 AICC SDK 集成到网关、代理或 Agent 中,实现端到端加密。

·安全代理方式:适用于业务使用闭源第三方系统、无法集成 SDK 的场景。在你的可信域内部署一台机器运行安全代理,配置网络转发策略即可,业务端无需改造。

安全代理的运行环境要求为可运行容器引擎(Docker)的服务器,最低规格为 2核4GB,推荐规格为 4核8GB。

二、接入 AICC 对前端应用或客户端有什么要求?

没有特殊要求。AICC 提供的是机密推理服务,调用方式与普通推理服务一致。差异仅在于需要建立加密通道,通过集成 AICC SDK 或部署安全代理完成,两种方式任选其一。

三、开启 AICC 机密推理后,性能会下降多少?

AICC 对首字延迟(Time To First Token,TTFT)与每字延迟(Time Per Output Token,TPOT)的影响一般不超过 5%(基于内测数据及部分客户实测数据验证)。实际数值会随输入输出长度、并发量与业务类型浮动。

建议在概念验证(Proof of Concept,POC)阶段以你的真实业务流量实测,腾讯云可提供开启前后的对比数据。

四、开启 AICC 后,会影响大模型的输出效果吗?

不会。AICC 保护的是运行环境,不改变模型本身与推理逻辑,也不对数据做脱敏或截断处理。同一个模型在 AICC 环境与普通环境下的输出结果一致。

赞 (0)
上一篇 5天前
下一篇 5天前