高性能应用服务 HAI 套餐类型

高性能应用服务 HAI 算力方案提供丰富的算力方案套餐选择,致力于提供更易用的 GPU 智算服务。创建高性能应用服务 HAI 时,选择的套餐决定了算力、显存、CPU 和内存配置。这些配置参照套餐配置标准,由符合要求的 CPU、内存和 GPU 硬件构成,不支持指定硬件型号。

相关产品
高性能应用服务 HAI 产品页,含版本规格、价格与购买入口。

注意:说明:

注意:邀测套餐处于白名单邀测状态,请联系你的售前经理开通实例购买权限。

售卖情况 算力方案 每实例显存 每实例算力 每实例其他配置 性能参考(以 INT4 量化为基准)
在售 GPU 基础型 16GB+ 8+TFlops SP(FP32) CPU:8 核内存:32GiB 对标 T4 GPU 及以上,推荐运行 8B 及以下参数模型
 GPU 进阶型 24GB+ 30+TFlops SP(FP32) CPU:28 核内存:116GiB 对标 A10 GPU 及以上,推荐运行 32B 及以下参数模型
  32GB+ 15+TFlops SP(FP32) CPU:8~10 核内存:40GiB 对标 V100 GPU 及以上,推荐运行 32B 及以下参数模型
 CPU 算力 – – CPU:8/16/32/64 核内存:16/32/64/256GiB 8 核 16GiB:推荐运行 1.5B 及以下参数模型,适合进行轻量任务测试体验16 核 32GiB:推荐运行 8B 及以下参数模型,可进行中等难度任务,如文本生成等32 核 64GiB:推荐运行 14B 及以下参数模型,可进行文本摘要等任务64 核 256GiB:推荐运行 32B 及以下参数模型,可进行复杂任务,如知识库问答等
邀测 GPU 高阶型 48GB+ 59+TFlops SP(FP32) CPU:48 核内存:192GiB 推荐运行 70B 及以下参数模型
  96GB+ 44+TFlops SP(FP32) CPU:16 核内存:160GiB 推荐运行 70B 及以下模型
  768GB+ 352+TFlops SP(FP32) CPU:384 核内存:2304GiB 推荐运行 671B 及以下模型
 紫霄基础型 16GB+ 30+TFlops FP16 CPU:28 核内存:116GiB 对标 T4 GPU 及以上
赞 (0)
上一篇 4天前
下一篇 4天前