云服务器特惠 99/年起
  1. 腾讯云优惠网首页
  2. 腾讯云产品

弹性 MapReduce Supervised Learning（监督学习）

• 腾讯云产品

Cookbook 提供了一个流水线式的 Supervised Learning（SFT，监督学习）训练循环，数据集、评测和检查点保存都可配置。

相关产品
弹性 MapReduce 产品页，含版本规格、价格与购买入口。

一、架构

train.Config├── model_name which model to fine-tune├── dataset_builder SupervisedDatasetBuilder → SupervisedDataset├── learning_rate optimizer config (+ lr_schedule, adam_*)├── evaluator_builders what to measure during training├── save_every / eval_every checkpoint and eval cadence└── lora_rank LoRA adapter sizeSupervisedDatasetBuilder└── __call__() → (train_dataset, eval_dataset) │ ▼SupervisedDataset├── get_batch(index) → list[tinker.Datum]├── __len__() → number of batches└── set_epoch(seed) → shuffle for next epoch

二、tinker_cookbook.supervised.train.Config

核心配置。定义模型、数据、超参数和评测。

from tinker_cookbook.supervised import trainconfig = train.Config( log_path="~/logs/my-sft-run", model_name="Qwen/Qwen3-8B", dataset_builder=my_dataset_builder, learning_rate=1e-4, lora_rank=32, num_epochs=1, save_every=20, eval_every=10,)asyncio.run(train.main(config))

三、SupervisedDataset / SupervisedDatasetBuilder

SupervisedDatasetBuilder 是一个用于构造 SupervisedDataset 的配置。数据集返回成批的 tinker.Datum 对象。

from tinker_cookbook.supervised.types import SupervisedDatasetBuilder, SupervisedDatasetclass MyDatasetBuilder(SupervisedDatasetBuilder): def __call__(self) -> tuple[SupervisedDataset, SupervisedDataset | None]: return train_data, eval_data # eval_data is optional

内置构建器：

构建器 用途
SupervisedDatasetFromHFDataset 用 map_fn 或 flatmap_fn 包装一个 HuggingFace 数据集
StreamingSupervisedDatasetFromHFDataset 从 HuggingFace 流式加载（内存占用更低）
FromConversationFileBuilder 从聊天对话的 JSONL 文件加载
ChatDatasetBuilder 聊天数据的基类——额外提供 tokenizer + renderer

四、ChatDatasetBuilder

用于聊天格式的数据。通过 ChatDatasetBuilderCommonConfig 提供 tokenizer 和 renderer 属性：

from tinker_cookbook.supervised.types import ChatDatasetBuilder, ChatDatasetBuilderCommonConfigclass MyChats(ChatDatasetBuilder): common_config = ChatDatasetBuilderCommonConfig( model_name_for_tokenizer="Qwen/Qwen3-8B", renderer_name="qwen3", batch_size=8, max_length=4096, )

五、训练循环

train.main(config) 负责整个流水线：

1. 创建 ServiceClient → TrainingClient

2. 从 config.dataset_builder 构建数据集

3. 对每个 epoch 和每个批次：

·用该批次执行 forward_backward

·执行 optim_step

·每隔 eval_every 运行一次评测器

·每隔 save_every 保存一次检查点

4. 保存最终检查点

这个循环会对请求做流水线处理以提升吞吐，详情请参见 时钟周期与流水线。

六、下一步

·sl_loop.py：不带抽象层的最小训练循环

·SL 超参数： 如何选择学习率、rank 和批大小

·教程：你的第一个 SFT：交互式演练

相关内容：

  1. 弹性 MapReduce 快速开始（COOKBOOK） Cookbook 在 TCRL SDK 之上提供了更高层的抽象——SDK 提供原始操作（forward_backward、optim_step、sample），Cookbook 提供可配置的训练管线，自动处理流水线、checkpoint、评测和日志。...
  2. 弹性 MapReduce Benchmarks Guide（基准测试指南） BenchmarkConfig 控制基准测试的运行方式from tinker_cookbook.eval.benchmarks import run_benchmark, BenchmarkConfigconfig = BenchmarkConfig( max_examples=200, # Cap number of examples (None = all) concurrency=64, # Parallel。...
  3. 弹性 MapReduce Storage（存储） 训练与评测数据（指标、检查点、rollout、轨迹）都通过统一的存储层保存。默认情况下，数据写入本地磁盘。要使用云存储（GCS、S3、Azure），只需把路径改成 URI 即可。...
  4. 弹性 MapReduce Customizing Benchmarks（自定义基准测试） 基准测试复用与 RL 训练相同的 Env 协议。两者的联系是直接的——BenchmarkBuilder.make_envs() 返回的 Env 实例与 RLDataset 中使用的完全一致。...
  5. 弹性 MapReduce 模型与定价 当前 TCRL 以积分收费。1 元 = 1000（1K）积分，Token 单位为百万（M）。Prefill、Sample、Train 定价单位为：K 积分/M Token，即每百万 Token 消费多少 K 积分。以 Qwen3-8B Prefill 为例，每消耗 1M Token，需消费 6.58K 积分，花费6.58元。...
  6. 弹性 MapReduce TCRL 概述 腾讯云模型微调服务（Tencent Cloud Reinforcement Learning，以下简称 TCRL）是面向大模型的云原生 Serverless 模型微调服务，提供监督微调、强化学习、任务追踪和用量监控的一站式能力，让用户更聚焦于数据、算法与训练逻辑本身。用户可以从本地或云端等任意开发环境通过 SDK 提交训练任务，由 TCRL 在云端执行，并在控制台查看任务进度、详情与资源用量。...
  7. 弹性 MapReduce Ray 基础开发指南 Ray 是一个高性能的通用分布式计算框架，旨在帮助用户高效构建和运行大规模的并行程序。它通过简洁的编程接口，将底层复杂的资源调度与任务分发进行了高度封装，使开发者可以像编写普通 Python 脚本一样构建分布式应用。Ray 具备良好的可扩展性和灵活性，支持任务并行、Actor 并发、资源自动调度等特性，适用于 AI 模型训练、推理服务部署、超参数调优、强化学习、多 Agent 系统等多种计算密集型场景。详细的使用文档。...
  8. 弹性 MapReduce DPO（直接偏好优化） DPO（Direct Preference Optimization，直接偏好优化）是 2023 年 NeurIPS 的一篇论文（Rafailov et al.）提出的方法，核心主张是：RLHF 里那个"先训奖励模型、再用 PPO 做强化学习"的两步流程，其实可以压成一步普通的监督学习。它现在是几乎所有开源对齐模型（Zephyr、Llama-3、Qwen 系列）的默认后训练算子。DPO 用分类损失训练模型，使其更偏好。...
赞 (0)
上一篇 4天前
下一篇 4天前