腾讯云大模型训推平台TI-ONE 故障诊断与恢复

一、故障诊断机制

平台提供自动与手动两种诊断方式，全面覆盖各类运维场景：

1. 自动诊断

·CVM 自动诊断：云服务器支持自动探测 CVM 实例异常，并主动下发维修任务。

·TI-ONE 自动检测：TI-ONE 平台支持在后台定时检测节点是否处于可用状态，预防潜在故障。

2. 手动诊断

·TI-ONE 健康检测：TI-ONE 平台资源组内提供手动创建健康检测任务的功能，支持主动排查节点网络连通性及环境一致性等。

二、CVM 自动诊断

CVM 自动诊断是由 云服务器 提供的标准化故障处理服务，当云服务器检测到实例突发异常时（例如底层宿主机突发异常宕机，或主动预测底层宿主机的软硬件故障隐患以提前规避宕机风险），云服务器将自动创建相应的维修任务并发送通知。你可在 CVM 控制台 的维修任务列表中，查看并关注实例恢复情况。触发维修任务的异常类型、具体含义以及处理策略详见 维修任务类型与处理策略。

注意：说明：

注意：若你添加至 TI-ONE 平台 资源组 的 CVM 机器上存在云服务器下发的维修任务，平台会将节点状态变更为“待维修”，引导你前往 CVM 控制台完成授权操作。处理方式详见 节点上存在 CVM 维修任务 。

三、TI-ONE 自动诊断

TI-ONE 自动诊断是由 TI-ONE 资源组 提供的故障诊断能力，支持在添加/管理/释放节点的过程中，持续检测节点状态及关联组件是否正常可用。当检测到 GPU 掉卡、XID 异常、VPC 网络不通等问题时，能够通过诊断工具定位具体原因，并按下图中的逻辑自动分为三类处理方式。

四、TI-ONE 健康检测

TI-ONE 健康检测是由 TI-ONE 资源组 提供的一项主动式故障诊断能力，支持在添加节点后主动发起健康检测任务，对节点的网络通信性能、环境一致性等关键参数进行校验，确保其符合运行要求。

通过预先检测节点可用性，可有效规避因节点故障导致的各类运行问题，举例如下：

·避免 GPU 资源浪费：当任务或服务因节点故障（如驱动异常）而陷入持续重试循环时，即便已完成模型加载等耗时初始化操作，也无法正常执行。这不仅占用宝贵的 GPU 资源，还需投入额外时间进行故障排查与任务重新提交。健康检测可在此类任务启动前识别并排除故障节点，从而保障资源高效利用。

·防止任务/服务性能受损：在任务或服务运行过程中，可能因节点网络通信缓慢等问题，导致训练效率低下或在线服务响应延迟。由于此类性能瓶颈在任务启动前难以预知，往往在造成实质性影响后才被发现。健康检测能够提前暴露此类潜在性能缺陷，防止任务在非健康节点上启动，从源头保障业务性能。

下面将详细介绍如何在资源组内创建一个健康检测任务。

1. 创建健康检测任务

进入资源组详情页的“节点管理” tab 中，选择需要检测的节点范围，并单击右上角 健康检测 按钮。在弹窗内选择检测项后，即可完成创建。

2. 查看任务记录及结果

切换至“健康检测记录” tab，可查看任务运行历史，以及检测结果日志。

五、由 TI-ONE 闭环处理

下表中列举了由 TI-ONE 自动完成诊断与修复的十余种异常场景。当平台检测到此类异常时，将自动触发处理流程并协调相关资源进行修复，期间无需你手动介入，请你耐心等待。若持续未解决，可 提交工单 联系我们获取进一步支持。

对于上述场景，TI-ONE 控制台将显示必要的提示信息，包括失败原因及具体的异常信息。举例如下：

“部署失败”状态下的提示信息“异常”状态下的提示信息

六、由 TI-ONE & 用户共同处理

下表中列举了由 TI-ONE 与用户共同处理的4种异常场景。当检测到此类异常时，平台将明确提示异常原因，并引导你前往指定界面完成必要的故障排查或修复操作。

各种异常的处理方案——

VPC 网络限制导致部署失败或连接异常节点上存在 CVM 维修任务节点存在历史残留的 LVM 卷控制台提示信息如下：处理方案：1. 单击提示信息中的 云联网 按钮，前往 云联网 控制台。2. 创建实例：单击 新建 按钮，创建云联网实例。详见文档 新建云联网实例。3. 关联 VPC：进入云联网实例详情页，在 “关联实例” tab 中，单击列表左上方 新增实例 按钮，在弹窗内选择需要关联的网络实例类型、所属地域和具体 VPC 实例。详见文档 关联网络实例。（备注：需要添加的 VPC 实例分别为控制台显示的“平台 VPC”与“节点 VPC”）4. 检查路由表：在路由表 tab 页内查看云联网关联的 VPC 下各子网的路由策略是否生效。若所关联的网络实例网段有冲突，则会产生失效路由。处理方案：1. 单击提示信息中的 授权 按钮，前往 CVM 控制台的 维修任务 列表，找出对应 CVM 实例上的任务信息。2. 单击列表右侧 授权/预约 按钮，在弹窗内选择具体的授权维护方式及预约维护时间。单击 确定 即可完成授权操作。处理方案：1. 单击提示信息中的 CVM 控制台 按钮，前往 CVM 控制台，在实例列表中找出对应机器。2. 进入实例详情页，在实例已挂载的数据盘清单中，手动点击 卸载 按钮完成清理。

七、由用户自助处理

下表中列举了支持用户完全自助处理的4种常见场景。平台在检测到这些异常后，将提供清晰的异常说明与处理指引，你可参照提示在指定页面内独立完成修复操作，快速恢复业务运行。

各种异常的处理方案——

节点未处于“Running”状态节点即将到期磁盘空间不足

控制台提示信息如下：处理方案：1. 单击提示信息中的 CVM 控制台 按钮，前往 CVM 控制台，在实例列表中找出对应机器。2. 确认该实例状态是否处于“重启中/已关机/待回收”。2.1 若处于上述状态且确认不再使用该机器，可前往 实例回收站 直接单击 释放 按钮。2.2 若仍需继续使用，可单击 续费 或 恢复 按钮确保实例正常可用。

控制台提示信息如下：

·处理方案1：CVM 算力费用即将到期

1. 单击提示信息中的 CVM 控制台 按钮，前往 CVM 控制台，在实例列表中找出对应机器。

2. 单击右侧 续费 按钮，选择续费时长后单击 确定 即可。详见文档 续费实例。

·处理方案2：TI-ONE 软件订阅费用即将到期

单击列表右侧 续费 按钮，选择续费时长后单击 确定 即可。

控制台提示信息如下：（当“系统盘利用率”或“数据盘利用率”大于等于80%时，显示以下内容）

1. 单击提示信息中的 CVM 控制台 按钮，前往 CVM 控制台，在实例列表中找出对应机器。

2. 单击右侧 更多>资源调整>云硬盘扩容 按钮，依次选择需要扩容的系统盘/数据盘、目标容量后，单击 确定 即可。详见文档 扩容云硬盘。

3. 完成上述操作后，返回 TI-ONE 控制台即可，平台将自动为你完成扩容分区的操作，确保扩容生效。

注意：说明：

资源组内已添加节点存在安全风险且该节点存在正在运行的服务，需在保障业务连续的前提下完成节点替换时，可参考以下步骤——

1. 隔离旧节点：企业管理 > 资源组管理 > 节点管理 > 操作 > 更多 > 节点运维 > 隔离

2. （可选）在新节点执行文件预加载和模型缓存操作，可参考文档：文件预加载

3. 对旧节点的存量服务：逐个新建版本，配置和存量服务相同。待新版本服务运行后，小比例灰度流量，确认正常后，再全量迁移至新版本。可参考产品文档： 服务灰度发布实践

4. 停止旧节点的存量服务：确认业务流量已全部迁移至新版本、业务运行稳定后，停止部署在旧节点上的原有服务。

5. 释放旧节点：TI-ONE 控制台 > 资源组，节点释放具体操作可参考文档：资源组简介

八、告警配置

在资源组的运维过程中，平台已将对节点状态变化的监控接入 腾讯云可观测平台 的告警规则。当节点进入“异常”、“维修中”、“已隔离”等关键生命周期状态时，系统会主动向你推送告警，协助你及时掌握资源动态，保障运维效率。

·目前已覆盖的告警触发状态包括：异常、购买状态、维修中、待维修、运行中、已销毁、已隔离等。

配置告警规则的步骤如下：

1. 进入 可观测平台 > 告警管理 > 告警配置 ，单击 新建策略 并选择 自定义告警策略。

2. 在 新建告警策略 页面填写策略名称及描述，按以下参数配置告警规则：

2.1 监控类型：选择“云产品监控”；

2.2 策略类型：选择“腾讯云大模型训推平台 TI-ONE / 资源 / 资源状态”；

2.3 告警对象：按需选择“指定实例”（资源组节点），或“全部对象”；

2.4 触发条件：手动配置，在“指标”字段中选择需要告警的节点状态，如“实例异常”。

3. 单击 下一步：配置告警通知 ，选择通知模板后单击 完成 。