yun
-
数据湖计算 DLC 使用 Apache Airflow 调度 DLC 引擎提交任务
DLC 对 Apache Airflow 调度工具的支持,并提供示例来演示如何使用 Apache Airflow 运行 DLC 不同种类的引擎任务。
-
数据湖计算 DLC 使用 Apache DolphinScheduler 调度 DLC 引擎提交任务
DLC 对 Apache DolphinScheduler 调度工具的支持,并提供示例来演示如何使用 Apache DolphinScheduler 运行 DLC 引擎提交任务。
-
数据湖计算 DLC 原生表(TC-Iceberg)格式说明
DLC 原生表(TC-Iceberg)是腾讯云基于 Iceberg 拓展的批流一体表格式,兼容并包含 Apache Iceberg 所有优势特性,并提供性能增强及近实时湖仓构建能力。与 Apache Iceberg 相比,TC-Iceberg 具备以下特点。
-
数据湖计算 DLC DLC 原生表概述
DLC 原生表是基于 Iceberg 湖格式打造的性能强、易用性高、操作使用简单的表格式,用户可在该基础上完成数据探索,建设 Lakehouse 等应用。用户首次在使用 DLC 原生表时需要按照如下5个主要步骤进行。
-
数据湖计算 DLC 原生表(TC-Iceberg)操作配置
用户在使用 DLC 原生表(TC-Iceberg)时,配置和使用的流程和 Iceberg 原生表一致,如下所示步骤托管存储配置。
-
数据湖计算 DLC 建表实践
DLC 数据湖计算支持创建原生表(Iceberg)、外表多种场景。具体可参考以下实践案例进行建表。
-
数据湖计算 DLC 原生表(TC-Iceberg)构建近实时湖仓
基于原生表(TC-Iceberg)可以构建完整的近实时湖仓场景,包括 CDC 数据近实时入湖与近实时 Pipeline 构建。
-
数据湖计算 DLC DLC + Wedata 实现机器学习实践教程
数据湖计算 DLC 支持通过 spark 引擎创建机器学习资源组的方式,协助用户进行模型训练等机器学习场景。通过本篇文档,可以根据我们提供的 demo 数据集与代码示例,体验在 Scikit-learn 的框架下进行模型训练的实践体验。
-
数据湖计算 DLC 使用 DLC 分析 CLS 日志
当需要将日志服务 CLS 中的日志投递到 DLC 进行 OLAP 计算时,可以参见这篇进行实践。可以以通过腾讯云数据湖计算 DLC(Data Lake Compute,DLC)提供的数据分析与计算服务,完成对日志的离线计算和分析。示意图如下所示。
-
数据湖计算 DLC 机器学习资源组内置镜像信息
数据湖计算 DLC 基于标准引擎 Spark 的机器学习资源组类型,提供机器学习相关的内置镜像,方便用户可以根据业务需求直接选择使用,也可以基于这些镜像进行二次开发为用户的自定义镜像使用。