腾讯云产品
-
弹性 MapReduce SparkStreaming 对接 Ckafka 服务
基于腾讯云的 EMR 服务可以以轻松结合腾讯云的 Ckafka 服务实现以下流式应用。
-
弹性 MapReduce Evaluation(评测)
在自动扩缩容场景下,缩容规则触发时,即将被销毁的 Task 节点若正在运行着 ApplicationMaster(AM),那么节点在销毁的同时,运行的 AM 也会随之销毁,会导致当前 Job 整体失败。
在自动扩缩容场景下,通过扩容添加的 Task 节点默认不分配 ApplicationMaster,保证缩容Task节点时,运行的 ApplicationMaster不被销毁,Job 可以正常进行。 -
弹性 MapReduce JupyterLab 开发指南
JupyterLab 是 Jupyter 项目下的一个高度可扩展、功能丰富的交互式的开发环境,可用于笔记本、代码和数据的编写。其灵活的界面允许用户配置和安排数据科学、科学计算、计算新闻和机器学习中的工作流程;模块化设计允许扩展以扩展和丰富功能。这篇通过示例简单介绍如何在 EMR 上使用 JupyterLab,详细的使用文档。
-
弹性 MapReduce 计算组
腾讯云 EMR 在 StarRocks 存算分离场景下,通过计算组(Multi-Warehouse) 实现计算资源的精细化管理与业务负载隔离;以满足多业务并发和多样化场景需求,确保服务的高稳定性和数据查询的高速度。这里说明如何管理计算组,包括同步计算组、新增计算组、扩缩容计算组、重启计算组等操作。
-
弹性 MapReduce Hive 存储格式和关系型数据库之间进行导入导出
了使用腾讯云 Sqoop 服务将数据在 MySQL 和 Hive 之间相互导入导出的方法。
-
弹性 MapReduce 主备双活实例开发指南
使用 Java 通过高可用客户端( hbase-ha-client )访问 EMR Serverless HBase 主备双活实例并进行建表和查询等操作。
-
弹性 MapReduce CosRanger 使用注意事项
CosRanger(COS Ranger Service)是腾讯云基于存算分离架构提供的大数据权限管控方案,兼容 Apache Ranger,可对存储在 COS 上的数据进行细粒度的访问权限控制。当 EMR 集群通过 HDFS 协议访问 COS(尤其是已开启元数据加速能力的存储桶)时,默认采用原生 POSIX ACL 方式鉴权。若需要基于 Ranger 对 COS 数据进行统一的细粒度权限管控,可参考这篇完成 Cos。
-
弹性 MapReduce 通过 Thrift 使用 HBase
Apache Thrift 是一个跨平台、跨语言的开发框架,提供多语言的编译功能,并提供多种服务器工作模式。用户通过 Thrift 的 IDL(接口描述语言)来描述接口函数及数据类型,然后通过 Thrift 的编译环境生成各种语言类型的接口文件,用来进行可扩展且跨语言的服务的开发。
-
弹性 MapReduce Benchmarks Guide(基准测试指南)
BenchmarkConfig 控制基准测试的运行方式from tinker_cookbook.eval.benchmarks import run_benchmark, BenchmarkConfigconfig = BenchmarkConfig( max_examples=200, # Cap number of examples (None = all) concurrency=64, # Parallel。
-
弹性 MapReduce MLflow 开发指南
MLflow 是一个开源平台,专门用于帮助机器学习从业者和团队处理机器学习过程的复杂性。 MLflow 专注于机器学习项目的整个生命周期,确保每个阶段都是可管理、可追溯和可再现的。这篇通过示例简单介绍如何在 EMR 上使用 MLflow,详细的使用文档。