弹性 MapReduce 模型与定价

一、模型与定价

·Type：模型类型

·Base（基础模型）：未经对齐、指令微调或 Chat 调优的原始预训练模型。最适合用于训练后（Post-training）研究，或者由你自己运行完整的训练后流程。

·Reasoning（推理模型）：在给出最终答案之前，始终会先生成思考链（Chain-of-thought）。具有最高水平的智能度，但延迟和 Token 成本也相对更高。

·Hybrid（混合模型）：可以在“思考”和“非思考”两种模式下运行。默认开启推理，但可以通过渲染器（Renderer）或参数禁用思考链，从而获得更快、更便宜的直接回答。

·Architecture：模型架构

在 AI 和大语言模型（LLM）中，MoE 和 Dense 指的是两种不同的模型架构设计，核心区别在于每次处理数据时，模型中有多少参数在参与计算：

·Dense（密集架构）

·工作原理：处理每一个 Token（字符/词）时，模型中的所有参数都会被全部激活并参与计算。

·特点：

i. 结构简单直接：传统的经典模型（如早期 GPT 系列、LLaMA 等）大多是 Dense 架构。

ii. 计算成本高：模型越大，每次推理/训练所需的算力（GPU 显存和计算资源）就成线性增加。

iii. 输出稳定：全量参数参与，推理逻辑非常统一。

·MoE（Mixture-of-Experts，混合专家架构）

·工作原理：把一个大模型拆分成许多个小模型（称为“专家 / Experts”），并配有一个“路由网络（Router）”。处理每一个 Token 时，路由网络会自动判断这个词最适合哪个专家，仅激活一小部分专家的参数（例如总参数 100B，但每次只调用 10B）。

·特点：

i. 计算高效：拥有极大的总参数量（知识库广），但每次计算激活的参数量（Active Params）很少，因此计算速度更快、算力开销更低。

ii. 计算成本低：在提供与大型 Dense 模型相当的性能/效果的同时，大大降低了推理和训练成本。

注意：说明：

注意：MoE 模型按活跃参数计费，相比同等质量的稠密模型更具性价比。

·Size：模型规模的总参数量，由模型发布方声明；

·Active：激活参数量，每个 Token 调用的参数量 — 密集模型（Dense）与 Size 相同，混合专家模型（MoE）则为 Size 的一部分。

·Context：上下文长度（最大序列长度）；

·Prefill：处理输入/prompt token（仅前向传播）

·Sample：生成输出 token（前向传播 + 采样）

·Train：前向和反向传播，计算梯度