yun
-
弹性 MapReduce StarRocks 通过 COS 对象存储迁移实践
StarRocks 离线迁移数据场景,通过备份以及恢复 StarRocks 中的数据,或将数据迁移至新的 StarRocks 集群。Backup 是 StarRocks 目前提供的一种可将数据与元数据统一导出的方式。Backup 操作也需要 Broker 组件,通过 Broker 将数据备份到远端存储系统中,例如HDFS、OSS、COS 或 S3等。
-
弹性 MapReduce Kudu 数据迁移
如果需要将自建 Kudu 集群 的原始数据迁移至腾讯云 EMR,支持以下两种方式,第一种是通过 Kudu 的 table copy 命令迁移,第二种是通过 Kudu 的备份恢复工具进行数据迁移。其中 table copy 方式适用于数据量小一些的表(建议不超过500GB)超过500GB 甚至 TB 级别的表建议使用 Kudu 备份恢复工具进行迁移。两种方法可以搭配使用,对于大表初始全量迁移使用 Kudu 备份恢复工具。
-
弹性 MapReduce Data+AI 场景实践教程
本实践详细介绍了在 EMR 科学计算集群中使用 RayDP、Spark、PyTorch 和 MLflow 构建分布式深度学习训练流程的实践教程,并对原有实践进行了优化和补充。我们以 MNIST 手写数字识别任务为例,通过 Spark 完成数据预处理,再利用 Ray 进行分布式训练,并通过 MLflow 记录模型及训练过程。
-
弹性 MapReduce Hadoop 实践教程
Hadoop 部分包含了分布式文件系统 HDFS、资源调度框架 YARN 以及迭代式计算框架 MR,腾讯的 Hadoop 版本集成了腾讯云对象存储,让你以 hadoop fs 命令行的方式使用对象存储,从而实现计算存储分离,这里的最佳实践包含如下内容。
-
弹性 MapReduce 如何映射 HBase 表
使用 Hive 来映射 Hbase 表,可以使用 Hive 来读取 Hbase 上的数据,使用 Hive-SQL 语句在 Hbase 表上进行查询、插入等操作。
-
弹性 MapReduce Phoenix 实践教程
HBase 的 Row Key 假如没有经过精心设计,如果它又是自增长的,那么顺序写很可能会导致热点问题。Phoenix 提供了一种透明的方法,关联 salt 和 RowKey 到一张指定表的方案。只需要在创建表的时候添加 SALT_BUCKETS 关键字,这个值的范围是1到256。例如。
-
弹性 MapReduce 数据迁移实践
如果需要将自有 HDFS 的原始数据迁移至腾讯云 EMR,可以通过两种方式进行数据迁移,第一种是通过腾讯云对象存储(COS)进行数据中转迁移,第二种是通过 Hadoop 自带文件迁移工具 DistCp 进行数据迁移。这里说明通过腾讯云对象存储(COS)进行数据中转迁移。
-
弹性 MapReduce 本地自建 HDFS 文件迁移到 EMR
如果需要将自有 HDFS 的原始数据迁移至腾讯云 EMR,可以通过两种方式进行数据迁移,第一种是通过腾讯云对象存储(COS)进行数据中转迁移,第二种是通过 Hadoop 自带文件迁移工具 DistCp 进行数据迁移。这里说明通过 DistCp 进行数据迁移。
-
弹性 MapReduce 调整性能
集群中云数据盘性能达到基准性能的最大值时,可以通过配置额外性能来突破基准性能限制,获取更高的性能;这里说明通过 EMR 控制台对云数据盘进行调整额外性能的相关操作。
-
弹性 MapReduce UNIFFLE 监控指标
这篇简要介绍了腾讯云UNIFFLE的两个核心组件:UNIFFLE-Coordinator和UNIFFLE-ShuffleServer。文档未提供详细内容,仅列出了这两个组件的名称。