yun

  • 弹性 MapReduce 使用说明

    EMR 资源是在创建 EMR on TKE 实例流程中,选择 EMR 资源时使用的资源形态。用户可以选择新创建一个 EMR 资源池,也可以选择以前创建好的 EMR 资源池。因此暂不支持直接创建 EMR 资源,只能在 EMR on TKE 的创建流程中附带创建,这是因为 EMR 资源无法单独提供服务,都是伴随 EMR on TKE 实例使用的。

    6天前
  • 弹性 MapReduce 驱动及镜像

    在 EMR on TKE 场景下购买 EMR 资源节点(新建或扩容)时,支持为 GPU 节点选择操作系统镜像及驱动版本。此前 GPU 节点仅支持使用默认镜像及驱动规则,现在支持按需选择镜像版本、GPU 驱动版本、CUDA 版本及 cuDNN 版本,满足不同业务对 GPU 驱动环境的定制要求。

    6天前
  • 弹性 MapReduce 实例访问公网

    TCBase 实例默认部署在私有网络(VPC)中,与公网隔离,不具备直接访问公网的能力。如果实例需要访问公网,例如数据库 UDF 调用第三方 API 时,可以通过创建 NAT 网关,使实例的公网访问流量经由 NAT 网关转发,从而实现安全访问公网。

    6天前
  • 弹性 MapReduce 节点组

    节点组是 EMR 资源下的资源分组单位,用于把一个 EMR 资源内的节点按规格、计费类型和弹性伸缩策略划分为多个相互隔离的资源池。这里说明节点组的概念、管理入口以及创建、扩缩容、弹性伸缩等操作说明。

    6天前
  • 弹性 MapReduce Supervised Learning(监督学习)

    Cookbook 提供了一个流水线式的 Supervised Learning(SFT,监督学习)训练循环,数据集、评测和检查点保存都可配置。

    6天前
  • 弹性 MapReduce Storage(存储)

    训练与评测数据(指标、检查点、rollout、轨迹)都通过统一的存储层保存。默认情况下,数据写入本地磁盘。要使用云存储(GCS、S3、Azure),只需把路径改成 URI 即可。

    6天前
  • 弹性 MapReduce RLHF(基于人类反馈的强化学习)

    RLHF(Reinforcement Learning from Human Feedback,基于人类反馈的强化学习)的核心思路是:让模型不只学”像人一样说话”,而是学”说人喜欢的话”。它把难以写进损失函数的”偏好”,例如“有用、无害、礼貌、简洁”学成一个可计算的奖励信号,再用强化学习去优化。

    6天前
  • 弹性 MapReduce DPO(直接偏好优化)

    DPO(Direct Preference Optimization,直接偏好优化)是 2023 年 NeurIPS 的一篇论文(Rafailov et al.)提出的方法,核心主张是:RLHF 里那个”先训奖励模型、再用 PPO 做强化学习”的两步流程,其实可以压成一步普通的监督学习。它现在是几乎所有开源对齐模型(Zephyr、Llama-3、Qwen 系列)的默认后训练算子。DPO 用分类损失训练模型,使其更偏好。

    6天前
  • 弹性 MapReduce Evaluation(评测)

    在自动扩缩容场景下,缩容规则触发时,即将被销毁的 Task 节点若正在运行着 ApplicationMaster(AM),那么节点在销毁的同时,运行的 AM 也会随之销毁,会导致当前 Job 整体失败。
    在自动扩缩容场景下,通过扩容添加的 Task 节点默认不分配 ApplicationMaster,保证缩容Task节点时,运行的 ApplicationMaster不被销毁,Job 可以正常进行。

    6天前
  • 弹性 MapReduce Benchmarks Guide(基准测试指南)

    BenchmarkConfig 控制基准测试的运行方式from tinker_cookbook.eval.benchmarks import run_benchmark, BenchmarkConfigconfig = BenchmarkConfig( max_examples=200, # Cap number of examples (None = all) concurrency=64, # Parallel。

    6天前