yun
-
模型路由 GPU 私有化部署负载均衡
企业在自建 GPU 集群上私有化部署大模型时,完成模型部署仅为第一步,决定生产可用性的是模型前置的流量治理层。单张 GPU 的吞吐存在上限,单个推理节点存在故障风险,集群规模亦会随业务增长而变化。若各业务直连固定节点,将出现节点间负载不均,以及单节点故障导致业务整体不可用的问题。传统做法是自建负载均衡并监控以应对上述问题,但通用负载均衡器无法感知大模型推理的负载特征:其仅能识别连接数,无法识别单个请求消耗的 Toke。
-
模型路由 配置参数转换
如何在模型路由 CMR 实例中,配置参数转换文件。参数转换用于在网关入口处改写客户端请求参数,将进入标准协议链路的参数整理为统一形态,使你能够通过统一的网关调用不同协议的大模型,简化多模型接入的开发工作。
-
模型路由 向量嵌入模型
CMR 是 AI 网关。CMR Embedding API 通过统一的接口和鉴权方式,为不同上游 Embedding 模型提供模型访问、请求转发、协议适配、路由与限流等网关能力。CMR 本身不生成向量。向量由实际调用的上游模型生成;输入限制、向量维度、输出形式、向量质量和模型效果均以所选模型的能力为准。文本和多模态请求使用同一个入口。
-
模型路由 重排序模型
CMR Rerank API 根据查询内容,对一组候选内容进行相关性排序,适用于搜索结果优化、知识库检索等场景。使用统一的接口和 CMR API Key,即可调用不同厂商的 Rerank 模型。排序结果和分数由所选模型提供。文本、图片、视频使用同一个接口。
-
模型路由 分类决策模型
CMR 是 AI 网关。CMR Decisions API 通过统一的接口和鉴权方式,为决策模型提供模型访问、请求转发、协议适配与路由等网关能力。业务方提交待评估的状态(state)以及问题集合(questions),由上游模型返回分类、评分或命题成立程度等结构化结果。CMR 本身不执行模型推理。具体判断结果、概率含义、输入限制与效果以所选上游模型为准。这篇按当前仓库 LiteLLM/CMR 实现整理,内置决策协议基。
-
模型路由 视频生成模型
CMR Video API 根据文本提示词和可选的图片、视频素材,异步生成视频,适用于营销内容制作、短视频创作、视频编辑等场景。你只需使用统一的接口和 CMR API Key,即可调用不同厂商的视频生成模型。视频生成为异步任务:先调用创建接口提交任务并获得任务 ID,再通过查询接口轮询任务状态,任务完成后从响应中获取视频下载地址。相关操作使用以下接口。
-
模型路由 图片生成模型
CMR Image API 根据文本提示词和可选的参考图、蒙版生成图片,适用于海报与素材制作、图片编辑等场景。你只需使用统一的接口和 CMR API Key,即可调用不同厂商的图片生成模型。提交后在实例配置的等待窗口内等待:窗口内到达终态则响应直接带结果,否则返回任务 ID,再通过查询接口轮询。文生图与编辑使用同一个创建接口。相关操作使用以下接口。
-
负载均衡配置监控告警最佳实践
为完善负载均衡 CLB 业务监控体系,结合腾讯云可观测平台的数据收集与告警能力,打造一体化预警机制。可以以通过使用腾讯云可观测平台全面了解负载均衡 CLB 的资源使用、性能和运行状况,可以以关注的实例配置监控告警,设置监控指标和事件的告警触发规则。当该实例的监控指标异常时,可以以第一时间接收到异常告警通知,及时响应处理故障。更多内容。
-
负载均衡 默认域名阻断提示
根据国家相关法律法规要求,腾讯云平台将不允许用户直接使用平台侧提供的默认域名进行访问,以广州为例,如果检测到 xxxxxxx-gz-tencentclb.com 将拒绝访问。平台侧推荐你在 DNS 平台将自定义域名通过 CNAME 的方式解析到平台侧提供的默认域名上,操作详情可参见 配置负载均衡的转发域名。 配置自定义域名的优势增强品牌形象:将自定义域名配置到你的服务中,自定义域名是你的个性化域名,增强品牌形象和专业。
-
负载均衡 配置实例修改保护
这篇说说腾讯云负载均衡CLB的配置保护功能:开启后,通过控制台和API均无法修改CLB配置(如安全组、监听器等),但支持删除实例,有效防止误操作。 开启条件:在实例基本信息页面开启,需输入原因备注。 限制说明:开启后配置不可修改,但可删除实例。