腾讯云产品

高性能计算集群实例搭载了 A100/A800/H800 GPU 并支持 NVLink & NVSwitch，需额外安装与驱动版本对应的 nvidia-fabricmanager 服务使 GPU 卡间能够互联。如果你使用该实例，请参考这篇安装 nvidia-fabricmanager 服务，否则可能无法正常使用 GPU 实例。

大模型的自回归解码的特性导致其不能充分利用 GPU 的并行计算进行加速。基于此，学术界提出了投机采样，其可以利用更高效的 Draft Model 快速生成多个 Token，然后一次性地交给 Target Model 进行验证。在接受率高的情况下，可以显著减少推理时间。

端口规则是保障算力实例网络安全的重要手段，可以以通过配置端口规则，允许或禁止公网或私网对算力实例的访问。

Go 语言（Golang）是谷歌推出的一种编译型、静态类型、并发级别高、垃圾回收的开源编程语言。其简洁、性能高效、并发支持强大，广泛应用于云计算、Web 开发和网络编程。

高性能计算集群的自助检测（即集群一致性检测）功能提供集群维度的实例检测，可以以检测集群中所有实例的硬件和软件状态。可以通过该功能及时发现并解决集群实例的相关问题。

可以以通过使用访问管理（Cloud Access Management，CAM）策略让用户拥有在云服务器（Cloud Virtual Machine，CVM）控制台中查看和使用特定资源的权限。这篇档提供了查看和使用特定资源的权限示例，指导用户如何使用控制台的特定部分的策略。

默认情况下，THPC 基于公共镜像进行扩容计算节点所需时间大概在3分钟到5分钟。如果你运行的任务对于扩容时间比较敏感，可以在扩容时选择预装 THPC 所需依赖包的自定义镜像，来加快 THPC 计算节点的扩容。

TCCL（Tencent Collective Communication Library）是一款针对腾讯云星脉网络架构的高性能定制加速通信库。主要功能是依托星脉网络硬件架构，为 AI 大模型训练提供更高效的网络通信性能，同时具备网络故障快速感知与自愈的智能运维能力。TCCL 基于开源的 NCCL 代码做了扩展优化，完全兼容 NCCL 的功能与使用方法。TCCL 目前支持主要特性包括。

在 LLM 大模型推理中，长序列场景应用越来越广泛，目前业界对长序列的优化主要是 kv cache 量化、稀疏化等方法，这些都对模型精度有一定的影响。TACO LLM 自研长序列并行方案，可以在长序列场景进行精度无损的加速。长序列推理场景首字延迟会比较慢，针对该问题，序列并行在 prefill 阶段采用了 Ring Attention 类的方案，可以通过扩展机器，降低首字延迟。而对于推理阶段，TACO LLM 可以使。

为保障高性能应用服务 HAI 的即开即用体验，腾讯云将根据你所选应用类型智能配置必要的默认安全端口，请你知晓默认端口对服务可用性和安全性的影响。调整或关闭默认端口，可能导致部分服务异常，如不可访问、远程连接中断、数据传输失败等，请合理评估后谨慎操作。