注意:说明:
注意:邀测套餐处于白名单邀测状态,请联系你的售前经理开通实例购买权限。
| 售卖情况 | 算力方案 | 每实例显存 | 每实例算力 | 每实例其他配置 | 性能参考(以 INT4 量化为基准) |
| 在售 | GPU 基础型 | 16GB+ | 8+TFlops SP(FP32) | CPU:8 核内存:32GiB | 对标 T4 GPU 及以上,推荐运行 8B 及以下参数模型 |
| | GPU 进阶型 | 24GB+ | 30+TFlops SP(FP32) | CPU:28 核内存:116GiB | 对标 A10 GPU 及以上,推荐运行 32B 及以下参数模型 |
| | | 32GB+ | 15+TFlops SP(FP32) | CPU:8~10 核内存:40GiB | 对标 V100 GPU 及以上,推荐运行 32B 及以下参数模型 |
| | CPU 算力 | – | – | CPU:8/16/32/64 核内存:16/32/64/256GiB | 8 核 16GiB:推荐运行 1.5B 及以下参数模型,适合进行轻量任务测试体验16 核 32GiB:推荐运行 8B 及以下参数模型,可进行中等难度任务,如文本生成等32 核 64GiB:推荐运行 14B 及以下参数模型,可进行文本摘要等任务64 核 256GiB:推荐运行 32B 及以下参数模型,可进行复杂任务,如知识库问答等 |
| 邀测 | GPU 高阶型 | 48GB+ | 59+TFlops SP(FP32) | CPU:48 核内存:192GiB | 推荐运行 70B 及以下参数模型 |
| | | 96GB+ | 44+TFlops SP(FP32) | CPU:16 核内存:160GiB | 推荐运行 70B 及以下模型 |
| | | 768GB+ | 352+TFlops SP(FP32) | CPU:384 核内存:2304GiB | 推荐运行 671B 及以下模型 |
| | 紫霄基础型 | 16GB+ | 30+TFlops FP16 | CPU:28 核内存:116GiB | 对标 T4 GPU 及以上 |