yun
-
弹性 MapReduce Customizing Benchmarks(自定义基准测试)
基准测试复用与 RL 训练相同的 Env 协议。两者的联系是直接的——BenchmarkBuilder.make_envs() 返回的 Env 实例与 RLDataset 中使用的完全一致。
-
弹性 MapReduce RL Training Outputs(强化学习训练输出)
每次 RL 训练运行都会把文件写入 log_path。所有文件 I/O 都经过 Storage 协议,因此 log_path 可以是本地路径,也可以是云端 URI(例如 gs://bucket/run)。
-
弹性 MapReduce Airflow 开发指南
弹性 MapReduce(EMR)支持 EMR on TKE 与 EMR on CVM 两种形态部署 Airflow 集群,推荐优先选择 EMR on TKE:该形态支持 KubernetesExecutor,Scheduler 可为每个任务实例创建独立 Pod,实现任务级资源隔离与按需弹性,且不依赖 Redis 作为任务队列;同时兼容 CeleryExecutor,可按任务隔离与吞吐需求选择执行方式。
-
弹性 MapReduce Airflow 简介
Apache Airflow 是开源的工作流编排(Workflow Orchestration)平台,通过将有向无环图(DAG)定义为 Python 代码,实现对复杂批处理管道的定义、调度、重试、补数与监控,是大数据与数据仓库场景中的事实标准调度系统。
-
弹性 MapReduce 集群类型
EMR 支持多种集群类型及相应的应用场景,并定义了5种节点类型,不同集群类型及应用场景支持的节点类型及部署节点数、部署服务不同;可根据业务选择不同的集群类型及应用场景创建集群。
-
弹性 MapReduce 集群扩容
当 EMR 集群计算资源、存储资源不足时,可以通过控制台对 Core 节点和 Task 节点进行扩容;当集群主节点(master 节点)负载较高或不够使用时,可以通过控制台对 Router 节点(路由节点)扩容。Router 节点可以分担 Master 节点的负载,或作为集群的任务提交机,并支持随时扩容和缩容。
-
弹性 MapReduce 操作日志
操作日志是记录用户在弹性 MapReduce 控制台对集群执行的操作,操作日志信息常用于集群运行异常时的问题定位,帮助用户快速定位问题原因,以便及时解决问题。
-
弹性 MapReduce 使用 API 分析 HDFS/COS 上的数据
学习 MapReduce 会接触的第一个程序通常都是 WordCount,统计给定文件的单词的词频。本节将会介绍如何自己建立一个工程并编写程序,并且使用编译打包好的程序去统计 HDFS 和腾讯云对象存储 COS 上面的数据,使用的程序基本和 Hadoop 社区的示例程序相同。
-
弹性 MapReduce Hive 连接方式
这里说明在弹性 MapReduce 中使用 Hive 客户端、Beeline、Java 三种方式连接 Hive。
-
弹性 MapReduce Hive 存储格式和关系型数据库之间进行导入导出
了使用腾讯云 Sqoop 服务将数据在 MySQL 和 Hive 之间相互导入导出的方法。