yun
-
数据湖计算 DLC 跨源分析 EMR Hive 数据
这篇说说数据湖计算 DLC 配置 EMR Hive 数据源进行跨源联合分析的步骤,包括前提准备、创建数据目录及查询数据,并说明引擎限制与网络配置注意事项。 创建数据源:在控制台选择连接类型为EMR Hive,配置实例与网络后完成创建。 查询数据:切换数据目录,使用SQL语句并通过绑定的引擎运行查询。 引擎限制:标准Presto不支持,需使用SuperSQL或Spark引擎。
-
数据湖计算 DLC 网络连接配置
数据湖计算 DLC 支持对数据引擎配置网络(VPC),方便管理数据引擎访问不同的数据源网络。
-
数据湖计算 DLC 监控告警
方法一:支持对特定的指标配置监控告警,可登录腾讯云可观测平台,点击左侧导航栏告警管理下的告警配置页面,点击新建策略按钮,即可前往新建告警策略配置告警内容。
-
数据湖计算 DLC 数据引擎监控
数据湖计算 DLC 提供了基于腾讯云可观测平台服务的数据引擎的监控服务,保障你能实时了解数据引擎的运行情况,配置数据告警。告警配置方式。
-
数据湖计算 DLC 数据作业监控
数据湖计算 DLC 提供了基于腾讯云可观测平台服务的数据作业的监控服务,保障你能实时了解数据作业的运行情况,配置数据告警。
-
数据湖计算 DLC DLC 数据导入指引
数据湖计算 DLC 支持在不迁移数据的情况下,直接对对象存储 COS 上的数据进行查询分析,所以你只需将数据导入对象存储 COS 即可开始使用数据湖计算 DLC 进行无缝数据分析,实现数据存储与计算完全解耦。目前支持上传 orc、parquet、avro、json、csv 和文这篇件等多种格式。
-
数据湖计算 DLC 查询性能优化指南
为了提升任务执行效率,可以以首先对现有任务或引擎进行洞察分析(仅 Spark)查看是否有可调优空间,其次 DLC 在计算过程中有许多优化措施,例如数据治理、Iceberg 索引、缓存等,可以以结合这些优化措施对任务做更全面的优化。正确使用不仅可以减少不必要的扫描费用,甚至可以提升几倍甚至几十倍的效率。
-
数据湖计算 DLC 开启数据优化
大数据场景下,频繁地碎片写入会产生大量的小文件,大量的小文件会严重拖慢性能。数据湖计算 DLC 根据大量的生产实践经验,提供高效、简单、灵活的数据优化能力,可应对大数据量下的近实时场景。
-
数据湖计算 DLC 托管存储配置
托管存储是指用户在数据湖产品上托管的存储空间,存储底层为对象存储。托管存储上存放着原生表、用户程序包、查询结果等数据,因此如果需要使用原生表及其数据优化等能力,需要先开启托管存储。托管存储上的原生表默认为 Iceberg 格式表,你无须管理底层的文件内容。托管存储计费。
-
数据湖计算 DLC 新用户开通全流程
使用数据湖计算 DLC,需要通过腾讯云主账号或 DLC 管理员提前配置好使用地域下的初始化配置及权限配置后,才能正式使用。为避免出现不必要的报错,我们建议 DLC 普通用户可在管理员配置完成后,再进行使用。