高性能计算集群 HyperAcc 训练加速套件常见优化实践

完成 HyperAcc wheel 包安装后，你可以参考这篇进行常见训练任务的接入与性能调优。

二、前提条件

·已安装 HyperAcc wheel 包。

·原训练脚本可在当前环境中正常运行。

三、注意事项

·如果训练入口必须包含 from __future__ import … ，请保留这些语句在最前面，再导入 hyperacc.auto。

·如果先导入了 torch、训练框架、模型或 DataLoader 相关模块，部分透明替换能力可能无法覆盖已加载的目标组件。

·首次接入生产任务时，建议先按单项能力启用，确认训练结果后再启用全部能力。

四、操作步骤

1. 设置需要启用的功能：

export HA_USE_ALL=1# HA_USE_ALL启动的是无风险项， 有风险的都是默认关闭， 需要手动配置才打开

如需按需启用能力，可只设置单项开关：

export HA_USE_COMPILE=1export HA_USE_GC=1export HA_USE_DATALOADER=1

环境变量优先级从高到低依次为：HA_USE_<FEATURE> > HA_USE_ALL_HOOKS > HA_USE_ALL > 默认关闭。其中，单项功能开关 HA_USE_<FEATURE> 的优先级最高。显式设置为 0 时，可覆盖上层总开关的启用状态。

2. 在 Python 训练入口脚本开头导入 import hyperacc.auto。除 from __future__ import … 等必须置于文件开头的语句外，建议将导入语句放置在 torch、训练框架、模型及 DataLoader 等相关模块导入之前：

import hyperacc.auto# 原有训练入口# main()

3. 启动训练：

python train.py

五、GC 优化实践

Python GC 在长时间训练和频繁创建临时对象的任务中可能带来停顿。HyperAcc 支持通过环境变量调整 GC 策略。

六、注意事项

·disable 模式会关闭 GC，建议仅在充分验证后使用。

·对内存敏感的任务，应监控内存使用情况，避免长期禁用 GC 导致内存占用升高。

七、操作步骤

export HA_USE_GC=1export HA_GC_MODE=reduce_frequencypython train.py

八、参数说明

九、DataLoader 调优实践

HyperAcc 可通过环境变量调整 DataLoader 参数，有助于减少数据加载瓶颈。

十、操作步骤

export HA_USE_DATALOADER=1export HA_DATALOADER_WORKERS=16export HA_DATALOADER_PREFETCH=2python train.py

十一、参数说明

十二、注意事项

·num_workers 过大可能增加 CPU 和内存压力。

·共享内存较小或容器环境异常时，可尝试设置 HA_DATALOADER_NO_PIN_MEMORY=1。

十三、torch.compile 自动编译实践

HyperAcc 可通过 HA_USE_COMPILE=1 启用基于 torch.compile 的自动编译能力。

十四、操作步骤

export HA_USE_COMPILE=1export HA_COMPILE_BACKEND=inductorexport HA_COMPILE_MODE=defaultpython train.py

十五、参数说明

十六、调试建议

如遇到编译失败或训练启动变慢，可先使用默认模式并打开诊断：

export HA_USE_COMPILE=1export HA_COMPILE_MODE=defaultexport HA_COMPILE_EXPLAIN=1export HA_LOG_LEVEL=INFOpython train.py

十七、CPU/NUMA 绑核实践

CPU/NUMA 绑核用于将训练进程绑定到 GPU 所在 NUMA 节点的 CPU，有助于降低跨 NUMA 访存开销。

十八、操作步骤

export HA_USE_NUMABIND=1python train.py

分布式训练中，HyperAcc 会读取 LOCAL_RANK、LOCAL_WORLD_SIZE、CUDA_VISIBLE_DEVICES 或 HIP_VISIBLE_DEVICES 等环境变量进行映射。

十九、透明大页实践

透明大页配置可减少页表开销，有助于提升大内存训练任务的性能。

20、操作步骤

export HA_USE_THP=1python train.py

21、注意事项

·透明大页配置依赖 Linux 系统接口，通常需要写入 /sys/kernel/mm/transparent_hugepage/ 下的系统配置。

·权限不足时，对应配置可能无法生效，但不会中断训练。

23、透明替换系统参数

24、日志参数

25、支持的日志级别

如需输出详细调试信息：

export HA_LOG_LEVEL=DEBUGexport HA_HOOKS_SILENT=0python train.py

如需减少日志输出：

export HA_HOOKS_SILENT=1export HA_LOG_LEVEL=WARNINGpython train.py

26、透明替换能力

透明替换能力用于在不改造训练框架的情况下，将部分训练组件替换为 HyperAcc 优化实现。

27、适用场景

·自动编译。

·channels_last 内存格式转换。

·Lightning Trainer 相关优化。

·DataLoader 参数调优。

·NVIDIA 或海光 DCU 的部分算子替换。

28、使用建议

·先启用单项能力验证训练正确性，再逐步扩大到组合能力。

·如果训练任务依赖的第三方库版本较特殊，建议在验证环境中先完成回归测试。

·通过 HA_LOG_LEVEL=INFO 或 DEBUG 查看初始化信息。

29、透明替换功能开关