这篇是腾讯云数据湖计算DLC的产品动态更新日志，按时间倒序汇总2022年3月至2026年11月的功能发布与优化，涵盖AI DLC（Ray Lab、数据实验室、MCP接入）、标准引擎、Spark/Presto引擎、托管存储、数据治理、权限与计费等方面，反映产品在AI编程、湖仓一体、资源弹性与运维可观测性上的持续演进。 AI DLC：支持本地IDE远程连接Ray Lab、AI编程工具开发Ray任务、MCP接入AI Age。
相关产品
数据湖计算 DLC 产品页，含版本规格、价格与购买入口。
一、2026年11月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| AI DLC 使用本地 IDE 连接 Ray Lab |
支持通过 VS Code、Cursor、CodeBuddy 等本地 IDE 远程连接 Ray Lab，直接在本地编辑云端工作目录中的代码，代码执行、调试与算力均运行在云端 |
2026-11 |
AI DLC 使用本地 IDE 连接 Ray Lab |
| AI DLC 使用 AI 编程工具开发 Ray 任务 |
支持结合 Cursor、CodeBuddy、Codex 等 AI 编程工具，在云端 Ray 环境中获得本地化的 AI 编程体验 |
2026-11 |
使用 AI 编程工具开发 Ray 任务 |
| AI DLC 使用 MCP 接入 AI Agent |
支持通过 MCP 协议接入 WorkBuddy、Codex 等 AI Agent，以自然语言完成 Xpark 能力发现、Ray 作业提交、集群运维与数据实验室管理。 |
2026-11 |
AI DLC MCP 配置实践 |
二、2026年10月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| AI DLC 网络连接配置 |
支持创建网络连接，将 Ray Lab 接入指定的私有网络 VPC，访问 VPC 内的数据源与服务，并可按需配置公网访问 |
2026-10 |
网络连接配置 |
| Spark 作业程序包生命周期自动管理 |
支持作业程序包随作业自动回收，编辑更新时自动整理，避免产生冗余文件 |
2026-10 |
管理数据作业 |
| TDLC 提交批作业 Driver 默认规格调整 |
TDLC 提交批作业的 Driver 默认规格调整为 2CU，避免因默认规格过小导致任务反复失败 |
2026-10 |
TDLC 命令行工具访问 |
| 托管存储桶无数据超时冻结 |
托管存储桶新增无数据桶超时冻结能力，长期无数据的桶将自动冻结 |
2026-10 |
托管存储配置 |
三、2026年09月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 新山地域开服 |
DLC 支持在新山地域开通使用，进一步扩展海外可用地域 |
2026-09 |
计费概述 |
| AI DLC 按量付费 |
AI DLC 新增按量付费计费模式，按计算实例实际使用的秒数计费，每小时整点生成计费订单 |
2026-09 |
计费概述 |
| AI DLC 资源监控 |
AI DLC 支持资源监控，可实时查看计算资源的使用情况 |
2026-09 |
– |
| 托管存储支持多 AZ 存储 |
创建托管存储桶时可选多 AZ 模式，提供同城容灾能力，支持北京、上海、广州、中国香港、新加坡地域 |
2026-09 |
托管存储配置 |
| SQL 兼容性与体验优化 |
支持 ST_GeomFromText 等空间函数及 geometry 类型 |
2026-09 |
– |
| 查询标签（query_tag） |
支持在 Session 级别为 SQL 任务打标签，便于按业务维度统计 |
2026-09 |
– |
| dbt-dlc 支持 |
提供 dbt-dlc 连接方案，支持通过 dbt 对 DLC 进行数据写入与建模，多次 SQL 提交共享 Session 上下文 |
2026-09 |
– |
四、2026年07月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 引擎/资源组参数批量导入 |
引擎和资源组参数支持转换成 JSON 格式，可批量复制导入，快速创建配置一致的引擎和资源组 |
2026-07 |
– |
| Spark 引擎联邦查询 TCHouse-P |
标准 Spark 引擎新增支持联邦查询 TCHouse-P，可直接在 DLC 中跨源查询 TCHouse-P 数据 |
2026-07 |
– |
| JDBC 支持 STS 临时密钥 |
JDBC 支持 STS 临时密钥的方式完成 DLC 认证 |
2026-07 |
DLC JDBC 访问Hive JDBC 访问 |
| TDLC 命令行工具升级 |
支持指定任务名称 |
2026-07 |
TDLC 命令行工具访问 |
| 新增引擎监控维度 |
标准 Spark 引擎在按集群维度查看监控的基础上，新增按节点查看引擎监控的能力 |
2026-07 |
数据引擎监控 |
五、2026年06月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| AI DLC 案例广场（邀测） |
1. 支持浏览预置的 Ray 分布式应用案例，覆盖模型训练、批量推理等场景2. 支持按技术标签筛选与关键词搜索案例3. 支持基于案例一键创建数据实验室，并可在启动前自定义资源配置 |
2026-06 |
AI DLC 案例广场 |
| AI DLC 数据实验室（邀测） |
1. 支持创建交互式开发环境，内置 JupyterLab 与 VS Code Web2. 支持代码持久化、存储挂载与空闲自动休眠3. 支持在环境内直接提交 Ray 分布式作业 |
2026-06 |
AI DLC 数据实验室 |
| TCRay 作业（邀测） |
1. 作业新增支持提交到指定集群的运行模式，可复用常驻集群资源2. 作业新增支持提交到集群组的运行模式，由系统按调度策略选择集群3. 支持通过集群组实现跨资源组错峰、异构 GPU 统一入口与主备容灾 |
2026-06 |
AI DLC 作业配置AI DLC 计算集群 |
| 支持网关重启功能 |
新增网关重启能力，速度更快且规避资源重新调度拉起的失败风险 |
2026-06 |
网关介绍 |
| Spark 引擎集成 |
标准 Spark 引擎环境集成 GeoPandas |
2026-06 |
– |
六、2026年05月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 历史任务实例新增多维度时间指标 |
历史任务实例新增任务排队总耗时和执行总耗时指标，便于快速定位性能瓶颈与优化调度策略。 |
2026-05 |
历史任务实例 |
| 计算资源支持自定义 deny 策略 |
自定义 deny 策略控制子用户访问指定标准引擎，提升多租户场景下的资源使用安全性。 |
2026-05 |
– |
| SQL 编辑器视觉焕新 |
数据探索 SQL 编辑器视觉焕新，新增 AI 辅助写 SQL、报错修复等能力。 |
2026-05 |
– |
七、2026年04月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| AI DLC 资源管理（邀测） |
1. 支持包年包月购买资源包，覆盖标准型、高内存型与 AI 增强型资源2. 支持创建共享型与独占型资源组，实现资源隔离与配额管理3. 支持创建计算环境模板，复用节点规格与镜像配置 |
2026-04 |
AI DLC 资源管理AI DLC 计算环境 |
| TCRay 作业（邀测） |
1. 支持以 Ray Job 模式提交分布式作业2. 支持按需拉起集群运行作业，作业结束后自动释放计算资源3. 支持作业运行实例的全生命周期观测与运维 |
2026-04 |
AI DLC 作业配置AI DLC 作业运行实例 |
| 会话管理模块优化 |
支持 spark 会话维度查看信息，补充启动和结束时间便于明确 spark 会话生命周期 |
2026-04 |
会话管理 |
| 历史任务实例新增 Shuffle 监控指标 |
新增数据 ShuffleWrite 大小指标，历史任务实例详情洞察页面支持查看 |
2026-04 |
历史任务实例 |
| 支持身份中心同步账号 |
支持添加通过身份中心同步的账号信息 |
2026-04 |
– |
| 函数模糊搜索 |
元数据管理中的函数列支持模糊搜索，方便快速定位所需函数 |
2026-04 |
– |
| 标准引擎 CSV 导出参数 |
标准引擎查询结果写入 CSV 时支持指定 CSV 的 Option 参数 |
2026-04 |
– |
八、2026年03月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| dlcutils 工具库及魔法指令 |
扩展支持 dlcutils 工具库及魔法命令。 |
2026-03 |
dlcutils 工具库及魔法指令使用指南 |
九、2026年02月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 标准引擎版本升级与回滚 |
开放客户自主升级或回滚标准引擎的镜像版本。 |
2026-02 |
引擎内核管理 |
| 原生表自动过期管理 |
新增原生表数据的自动化生命周期管理功能，可配置表过期时间，到期后系统会自动删除整表数据，减少存储占用并降低人工运维压力。 |
2026-02 |
数据优化配置 |
| 托管存储桶标签功能 |
托管存储桶新增标签功能，支持基于标签对存储资源消耗进行分账。将帮助多业务和多部门实现更清晰的存储成本分摊统计。 |
2026-02 |
托管存储配置 |
十、2025年12月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 数据探索 AI SQL 纠错 |
数据探索现支持 SQL 自动纠错，提供一键修复建议，大幅提升开发效率。 |
2025-12 |
– |
| 多语言国际化（日文） |
国际站控制台及产品文档正式上线日文版本，支持全球化办公需求。 |
2025-12 |
– |
| 分时弹性配置 |
标准引擎（Spark 包年包月）支持按时段设置多条弹性策略，优化业务高峰性能并降低低峰成本。 |
2025-12 |
– |
| 机器学习资源组监控 |
新增机器学习专用资源组监控，支持 CU 等核心指标实时看板，资源使用更透明。 |
2025-12 |
– |
| Spark 提交日志展示 |
引擎日志模块新增提交阶段日志展示，帮助开发者精准定位作业启动问题。 |
2025-12 |
– |
| 原生表支持 Excel 导入 |
支持 Excel 格式直接入湖，简化办公非结构化数据的入湖流程。 |
2025-12 |
– |
| 计算资源启动速度优化 |
底层镜像升级优化，提升计算资源启动速度，缩短作业等待时间。 |
2025-12 |
– |
| 工具链 dlcutils 升级 |
dlcutils 支持内置工具函数扩展，进一步提升开发灵活性。 |
2025-12 |
– |
| 私有域解析支持 |
新增私有域解析支持，优化私有网络环境下的资源访问能力。 |
2025-12 |
私有域解析 |
| 依赖包管理优化 |
依赖包管理支持批量安装，提升库文件管理效率。 |
2025-12 |
依赖包管理 |
| Spark Streaming 监控 |
新增流式计算指标监控，实时掌握 Spark Streaming 作业运行状态。 |
2025-12 |
DLC 监控指标 |
| 新增流程中心模块 |
上线流程中心模块，提供任务流编排与管理能力。 |
2025-12 |
– |
十一、2025年09月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| Iceberg 原生分区表支持归档存储与深度归档存储 |
Iceberg 原生分区表支持归档存储与深度归档存储模式，通过不同的计费模式与存储类型，帮助用户降低存储成本。 |
2025-09 |
归档存储与深度归档存储介绍 |
| DLC 接口接入 Terraform 平台 |
DLC 接口接入 Terraform 平台，支持通过 Terraform 进行统一管理。 |
2025-09 |
Terraform 平台 |
| 标准引擎新增对 GPU 异构资源的支持 |
标准引擎新增对 GPU 异构资源的支持（白名单功能，需购买请提前联系售后）。 |
2025-09 |
计费概述DLC + Wedata 使用 GPU 资源教程 |
| 标准引擎增加作业类型资源组 |
标准引擎增加作业类型资源组，实现资源精细化管理。 |
2025-09 |
资源组介绍 |
十二、2025年07月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| SuperSQL SparkSQL 引擎支持数据脱敏 |
新增 SuperSQL SparkSQL 引擎支持数据脱敏功能，保障数据安全与隐私。 |
2025-07 |
数据脱敏 |
| 标准引擎资源组级别监控 |
新增标准引擎“仅 SQL 分析资源组”监控，实现更精细化的资源管理与性能分析。 |
2025-07 |
资源组监控 |
| 日志类别区分 |
历史任务实例日志新增日志类型分类，支持区分 Log4j、Stdout 和 Stderr，便于日志排查与分析。 |
2025-07 |
任务日志 |
| 任务资源占用情况 |
新增任务级别资源占用波动图，直观展示资源使用趋势，提升任务监控能力。 |
2025-07 |
资源使用统计 |
| 元数据管理外部数据源优化 |
元数据管理外部数据源新增支持配置高级设置，支持配置回退，增强配置灵活性与安全性。 |
2025-07 |
回退数据目录配置 |
十三、2025年06月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 定时弹性策略 |
SuperSQL SparkSQL 引擎 和 Presto 引擎支持定时弹性策略，提升资源调度灵活性。 |
2025-06 |
定时弹性策略介绍 |
| 标准引擎默认启用动态资源分配 |
标准引擎相关配置默认启用动态资源分配，实现自动负载调节。 |
2025-06 |
– |
| TC – Iceberg 优化 |
TC-Iceberg 支持聚合合并函数及相关性能优化，增强数据处理能力。 |
2025-06 |
– |
| SuperSQL Presto 引擎新增 ANALYZE 语法支持 |
SuperSQL Presto 引擎新增 ANALYZE 语法支持，优化查询性能。 |
2025-06 |
– |
十四、2025年05月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 数据回收站 |
在 DataLakeCatalog 目录下，新增数据回收站功能。开启该功能后，支持在该目录下的 Iceberg 原生表删除后，不会被永久删除，而是保留至数据回收站中，由管理员对这些表进行永久删除与恢复操作。普通用户支持对有权限的表进行恢复操作。 |
2025-05 |
数据回收站介绍 |
| Python 创建 UDF |
通过 Python 创建的 UDF，支持创建者与管理员，对函数操作管理进行授权。 |
2025-05 |
Python 函数编辑权限配置 |
| 作业访问策略 |
新增主账号下的访问策略配置常驻访问策略功能。访问策略配置为常驻策略后，账号下的用户在运行作业任务时，如无特殊选择，则自动运行该策略。 |
2025-05 |
– |
| 查询结果优化 |
针对查询结果为 NULL 时，通过前端样式区分 NULL 为数据本身为 NULL 还是字符中带 NULL。 |
2025-05 |
– |
| 日志投递 DLC |
支持将 CLS 中的日志数据直接投递至 DLC，方便用户使用 Spark 对日志数据进行进一步处理与分析。 |
2025-05 |
新建投递 DLC 任务 |
十五、2025年03月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 标准引擎资源组优化 |
支持自定义填写参数。 |
2025-03 |
– |
| 标准引擎权限管理功能升级 |
权限管控统一由 CAM 平台管理 |
2025-03 |
标准引擎权限管理 |
| 标准引擎支持启停日志 |
标准引擎支持启停日志功能。 |
2025-03 |
标准引擎启停日志 |
| 历史任务实例升级 |
全新升级历史任务实例，优化用户任务运维体验。 |
2025-03 |
历史任务实例 |
| DLC 控制台导航栏体验优化 |
优化控制台导航栏分类。 |
2025-03 |
控制台操作介绍 |
| DLC 原生表新增 TC-Iceberg 表格式（Beta） |
DLC 托管存储原生表新增 TC-Iceberg 批流一体表格式类型 Beta 版本，支持近实时湖仓构建能力。 |
2025-03 |
原生表（TC-Iceberg）格式说明 |
十六、2025年01月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 标准引擎资源组快速配置 |
支持用户便捷快速配置资源组总规格。 |
2025-01 |
快速配置 |
| 元数据接口优化 |
支持查询数据文件存储格式。 |
2025-01 |
元数据接口文档 |
| dlcutils 函数优化 |
dlcutils 提供参数管理功能。 |
2025-01 |
– |
| magic command %run 支持 |
支持使用%run 跨 notebook 调用脚本 |
2025-01 |
– |
十七、2024年12月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 智能存储 |
提供存储现状及治理优化层面的整体视图。帮助用户诊断存储相关风险，进而配置数据优化，解决潜在风险。 |
2024-12 |
智能存储 |
| 任务洞察及引擎用量洞察支持标准 Spark 引擎 |
任务洞察和引擎用量洞察功能扩展至标准 Spark 引擎。 |
2024-12 |
任务洞察引擎用量洞察 |
| 计费模式升级 |
支持按量计费引擎转至包年包月模式。 |
2024-12 |
– |
| UDF 函数优化 |
支持 UDF 函数的自动刷新功能。 |
2024-12 |
– |
十八、2024年11月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 支持 SDK 轻量级写入数据 |
支持通过 SDK 的方式，实时写入数据 |
2024-11 |
SDK 数据写入 |
| 权限管理添加用户方式优化 |
DLC 管理员可通过 DLC 工作台批量添加用户为 DLC 用户 |
2024-11 |
– |
| 数据探索 |
数据探索新增 demo 体验数据集，协助客户更好的前置了解功能使用。（测试数据集名称：tpch / demo_tpch） |
2024-11 |
– |
十九、2024年07月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 新增 supersql spark 引擎3.2 native 运行时 beta 版本 |
使用腾讯云 Meson Engine 提供的 Native 运行时环境，通过向量化等技术加速 SQL 类应用执行性能，在部分场景性能较 SuperSQL 1.0 版本可带来 2 倍以上性能提升。 |
2024-07-19 |
引擎内核版本 |
支持腾讯云数据仓库
TCHouse-D 联邦查询 DLC 数据 |
支持通过腾讯云数据仓库 TCHouse-D 控制台一键开启湖仓一体功能，开启后腾讯云数据仓库 TCHouse-D 可直接查询 DLC 内部托管数据，无需复制数据或构建外部表。 |
2024-07-19 |
腾讯云数据仓库 TCHouse-D 查询 DLC 数据 |
20、2024年06月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 新增洞察管理功能 |
对 spark 集群并行、调度情况、任务进行详细洞察分析，提升调优效率。增强 spark 引擎整体运行状况可观测性，提供如：引擎资源使用情况，引擎执行时长，数据扫描大小，数据 shuffle 大小等洞察指标新增 spark 任务洞察功能，提供如：资源抢占、shuffle 异常、磁盘不足、慢 task 等洞察指标 |
2024-06-07 |
洞察管理 |
21、2024年05月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 优化标准引擎模块（灰度版本） |
支持基于 Kyuubi 统一网关的标准 Presto 及 Spark 引擎（灰度版本），功能层新增标准引擎配置。配置规格如下：支持 Presto 原生语法的包年包月及按量计费标准引擎支持 Spark 原生语法的包年包月及按量计费标准引擎 |
2024-05-08 |
标准引擎配置指引 |
| 新增 supersql spark 引擎3.5版本 |
supersql 中的 spark 作业引擎及 SparkSQL 引擎支持3.5版本（灰度版本） |
2024-05-13 |
– |
| 支持 Python 注册 UDF |
支持 SuperSQL Spark 3.2 集群 Python UDF 注册 |
2024-05-21 |
UDF 开发指南 |
22、2024年04月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 支持 Iceberg 原生表洞察 |
丰富 Iceberg 原生表数据治理配置项及支持可视化洞察优化结果 |
2024-04-02 |
开启数据优化 |
23、2023年12月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 扩充函数支持范围 |
新增多个函数支持 |
2023-12-08 |
统一函数 |
24、2023年11月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 升级数据优化功能 |
新增支持批集群做数据治理 |
2023-11-29 |
– |
| 新增标准引擎模块（灰度版本） |
支持基于 Kyuubi 统一网关的标准 Presto 及 Spark 引擎（灰度版本），功能层新增标准引擎配置。配置规格如下：支持 Presto 原生语法的包年包月标准引擎支持 Spark 原生语法的 Spark SQL 包年包月标准引擎 |
2023-11-16 |
– |
25、2023年10月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 产品体验优化 |
优化返回错误码功能，更新了更多的错误码类型及操作建议工作台概览页优化，帮助新用户更好的进行产品的权限开通数据探索：SQL 编辑器产品体验优化权限管理功能体验优化：整合引擎权限与库表权限配置链路，强化添加成员后的功能权限配置链路感知 |
2023-10-17 |
– |
| 新增默认开放引擎操作类权限 |
针对引擎，允许选择默认开放：引擎的操作类权限。包含：操作、监控、使用。 |
2023-10-17 |
– |
26、2023年09月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 性能优化 |
针对慢查询、慢接口治理优化 |
2023-09-15 |
– |
| 元数据加速桶 |
元数据加速桶权限支持绑定 Oceanus |
2023-09-15 |
绑定流计算 Oceanus 的计算资源 |
| 数据作业支持打包自定义镜像 |
创建作业时，允许用户在基础镜像的基础上打包自定义镜像 |
2023-09-15 |
– |
27、2023年08月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 弹性资源默认支持跨多可用区 |
弹性资源默认支持跨多可用区，资源拉起更稳定，容灾能力更强 |
2023-08-10 |
– |
| 优化引擎默认参数 |
优化参数生效优先级，数据探索支持使用引擎默认参数 |
2023-08-10 |
引擎级别参数设置 |
| 支持销毁托管存储 |
支持用户通过控制台自行销毁托管存储 |
2023-08-10 |
托管存储配置 |
| 优化 spark 作业业务日志 |
spark 作业业务日志展示更丰富的信息 |
2023-08-10 |
– |
| 支持 TDLC 命令行工具 |
可以通过命令行工具提交任务，支持 spark submit |
2023-08-10 |
TDLC 命令行工具访问 |
28、2023年07月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 查询脚本支持更细粒度的权限控制 |
支持控制不同用户的查询脚本可见性 |
2023-07-05 |
查询脚本分析 |
| Spark 作业支持配置引擎维度参数 |
支持配置引擎维度参数，提交的任务可以支持引用引擎维度参数 |
2023-07-05 |
引擎级别参数设置 |
| 优化服务网关 |
提高整体稳定性 |
2023-07-05 |
– |
| 优化引擎弹性扩缩容规则 |
减少频繁缩容的场景。引擎弹性扩缩容的过程将会更加流畅平滑 |
2023-07-05 |
数据引擎说明 |
| 优化元数据加速桶绑定流程 |
优化元数据加速桶绑定流程，减少使用门槛 |
2023-07-05 |
元数据加速桶的绑定 |
29、2023年06月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 支持查看 SQL 运行结果的统计数据 |
支持查看缓存命中效果、物化视图改写状况、阶段耗时等数据 |
2023-06-20 |
SQL 编辑器 |
| 支持结果缓存 |
支持 result cache，在反复同一查询场景下有明显加速效果 |
2023-06-20 |
查询性能优化指南 |
| 支持物化视图 |
支持物化视图，提高查询性能 |
2023-06-20 |
– |
| Presto 引擎支持运行模式 |
Presto 引擎支持快速和全量两种运行模式 |
2023-06-20 |
SQL 编辑器 |
30、2023年05月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 数据治理能力增强 |
全面增强小文件合并、过期快照删除的稳定性和能力。优化治理规则，支持更易用的数据治理配置 |
2023-05-16 |
开启数据治理 |
| 产品化 Iceberg Upsert 布隆过滤和分桶最佳实践 |
Iceberg V2 Upsert 场景下，支持配置 Upsert 主键，自动优化布隆过滤和分桶规则 |
2023-05-16 |
– |
| 元数据加速桶权限绑定流程优化 |
支持创建/销毁引擎自动绑定/解绑元数据加速桶 |
2023-05-16 |
– |
| 新用户上手权限指引优化 |
新用户上手数据探索时提供权限检查，优化新用户的使用体验 |
2023-05-16 |
– |
31、2023年04月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| Spark 作业引擎支持 SQL 能力优化 |
补全 Spark 作业引擎运行 SQL 的下载能力、日志能力等，优化了体验和稳定性 |
2023-04-20 |
– |
| Spark 作业引擎包年包月支持弹性配置 |
Spark 作业引擎包年包月支持弹性配置，满足业务多样的资源弹性需求 |
2023-04-20 |
– |
32、2023年03月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 原生表托管存储商业化 |
原生表托管存储正式商业化收费，具体计费方式详情请参见 计费概述 |
2023-03-15 |
计费概述 |
| 支持配置容灾集群 |
Spark、SparkSQL、Presto 集群均支持配置容灾备集群，此配置项默认关闭，若有需要可手动打开 |
2023-03-15 |
– |
| 数据权限优化 |
数据探索任务支持配置独享、共享，独享任务只有开发者及管理员可见 |
2023-03-15 |
– |
| 支持行级权限 |
支持对单表设置行级权限，满足客户精细化数据权限管理的场景需求，如上海地区的用户只能看到“Region=上海”的数据 |
2023-03-15 |
– |
| 库表联想优化 |
数据探查支持库、表、列名联想 |
2023-03-15 |
– |
| 引擎能力增强 |
Iceberg 版本升级至1.1.0 |
2023-03-15 |
– |
| 监控告警能力增强 |
支持查看集群资源池使用情况，数据刷新粒度支持分钟级；支持监控结果导出 |
2023-03-15 |
– |
| 性能优化 |
包年包月集群冷启动耗时优化 |
2023-03-15 |
– |
33、2023年02月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 支持通过 Spark 集群运行 spark sql |
数据探索中可以选择 Spark 集群作为数据引擎运行查询任务，选择 Spark 集群时，需按任务分配执行资源 |
2023-02-24 |
– |
| Spark 引擎能力增强 |
Spark 集群支持动态资源分配；Spark 引擎参数开放配置 |
2023-02-24 |
– |
| 数据引擎性能优化 |
引擎自动挂起优化；包年包月集群启动耗时优化 |
2023-02-24 |
– |
| 支持联邦 PostgreSQL |
支持注册 PostgreSQL 数据目录，并联邦查询 PostgreSQL 的数据 |
2023-02-24 |
– |
| 支持数据计算过程加密 |
SparkSQL 引擎支持配置 sse-cos、sse-kms 加密，打开加密开关后，使用该引擎进行数据分析、写入时都会对数据进行加密（注：加密对性能有损耗，推荐敏感数据场景开启） |
2023-02-24 |
– |
34、2023年01月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 查询性能优化 |
优化 Presto 引擎的 SQL 执行链路，支持同步查询模式（建议小数据量&低延迟场景使用）。同步查询模式下结果不写到 COS，直接从引擎返回，查询耗时可降低50%以上 |
2023-01-13 |
– |
| 用户体验优化 |
数据探索支持目录树库、表搜索 |
2023-01-13 |
– |
| 集群启动耗时优化 |
集群启动时间优化，启动耗时平均降低50% |
2023-01-13 |
– |
35、2022年12月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 原生表支持数据异步删除 |
删除原生表时，除了删除元数据外，还会删除底层数据，增加数据异步删除机制，避免等待时间过长 |
2022-12-30 |
– |
| 包年包月集群支持友好重启 |
支持在数据引擎页面对包年包月集群进行重启，重启会中断当前引擎上运行的作业 |
2022-12-30 |
– |
| 支持更多样的集群规则 |
Spark 引擎支持 1：8 CU 的集群规格（当前此功能内测，若需体验请提交工单 申请） |
2022-12-30 |
– |
| 运维能力增强 |
Spark 作业支持日志过滤与下载 |
2022-12-30 |
– |
| Spark 作业能力增强 |
除 Python 3以外，Spark 作业额外支持 Python 2.7 |
2022-12-30 |
– |
| WeData 联通体验优化 |
打通双方用户权限，优化操作体验（用户在 WeData 中注册数据源时无需额外输入用户密钥信息）WeData 集成 DLC 数据探索能力 |
2022-12-30 |
– |
36、2022年11月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 原生表支持数据治理 |
开启原生表后，可以针对数据库、数据表配置数据治理策略，支持小文件合并、过期快照删除、孤立文件删除、元数据合并四种，完成策略配置后，触发条件可自动进行数据治理 |
2022-11-25 |
查询性能优化指南 |
| 数据预览可选择 SparkSQL 引擎 |
数据管理中，进行表预览时，除 presto 引擎外，还可选择 SparkSQL 引擎 |
2022-11-25 |
– |
| SparkSQL 支持自定义最大超时时长 |
SparkSQL 可以在 SQL 编译框中通过参数 dlc.query.execution.timeout 设置作业最大执行超时 |
2022-11-25 |
– |
| 支持数据引擎多版本管理 |
增加 Spark、SparkSQL、Presto 引擎的多版本管理，支持用户手动进行版本升级、回滚 |
2022-11-25 |
– |
| 函数能力增强 |
新增支持 MAP_UNION_SUM 、MAP_UNION 等函数 |
2022-11-25 |
– |
| COS 读写请求费用优化 |
优化 COS 读写和分片策略，降低小文件过多导致的 COS 读写请求过多问题，减少相关费用 |
2022-11-25 |
– |
37、2022年10月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 查询结果导出优化 |
导出 CSV 增加编码选项，兼容 Excel 等常见软件 |
2022-10-26 |
获取任务结果 |
| 支持 Notebook |
Notebook 支持，Zeppelin 、Jupyter 等工具支持直连 DLC |
2022-10-26 |
– |
| 支持 Hudi 表 |
支持通过 SparkSQL 创建、查询 Hudi 表，提供更多数据表格式支持 |
2022-10-26 |
– |
| 查询性能优化 |
Presto 独享引擎性能优化，支持 segment result cache、动态过滤、缓存优化，为数据任务提供多达10倍以上加速效果。 |
2022-10-26 |
– |
| 原生表全量上线 |
DLC 原生表全量上线，支持将数据存储到 DLC 原生表，提供更便捷的数据存储服务 |
2022-10-26 |
原生表计费以 COS 服务计费为准。过去通过白名单开通的客户暂不计费，后续商业化计费方案将通过客户群及站内信通知 |
| 支持购买更大规模集群 |
支持购买超过1024 CU 的集群，为实际生产需求提供更多引擎规格选择 |
2022-10-26 |
如需购买大规格集群，为避免资源不足，请你通过 提交工单 联系我们提前预留资源 |
| 支持 PrestoUI |
支持查看 PrestoUI，分析集群资源使用情况，以及具体 sql 任务使用资源情况 |
2022-10-26 |
– |
38、2022年09月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 监控告警能力加强 |
对接 腾讯云可观测平台，支持通过 腾讯云可观测平台 配置 DLC 数据引擎及数据作业配置监控告警 |
2022-09-30 |
监控与告警 |
| 支持日志审计 |
对接操作审计，支持对操作日志进行审计查看 |
2022-09-30 |
审计日志 |
| 新增支持数据引擎网络配置 |
支持对数据引擎的网络 VPC 进行统一管理 |
2022-09-06 |
引擎网络配置 |
| SparkSQL 内核支持联邦查询分析 |
支持使用 SparkSQL 内核引擎进行跨源联邦查询分析 |
2022-09-06 |
– |
| 联邦查询分析新增数据源支持 |
联邦查询分析新增 PostgreSQL， SQL Server， ClickHouse 三种数据源支持 |
2022-09-06 |
– |
| 数据引擎自动挂起支持配置生效规则 |
支持对按量付费数据引擎配置分钟级挂起响应规则 |
2022-09-06 |
管理独享数据引擎 |
39、2022年08月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 支持国际站 |
支持国际站美国东部-硅谷、新加坡地域 |
2022-08-30 |
如需国际站业务支持，可 提交工单 与我们联系 |
| 支持上海金融专区 |
支持购买上海金融专区资源 |
2022-08-30 |
如需金融专区业务支持，可 提交工单 与我们联系 |
| Presto 查询性能增强 |
Presto 支持 RaptorX 预计算，显著加速分析性能 |
2022-08-30 |
– |
| WeData 元数据信息打通 |
支持通过 WeData 查看 DLC 元数据信息及数据血缘信息 |
2022-08-30 |
– |
| 支持 InLong 实时入湖 |
支持通过 InLong 对数据进行实时入湖及文件治理 |
2022-08-30 |
– |
40、2022年07月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 支持灵光 BI |
使用灵光 BI 时，支持将 DLC 作为数据源，对查询结果进行 BI 分析 |
2022-07-21 |
– |
| 联邦查询分析新增数据源支持 |
新增 CHDFS 数据源支持 |
2022-07-21 |
– |
| 数据作业支持多任务实例 |
数据作业支持同时运行多个任务实例 |
2022-07-21 |
– |
| 数据探索新增内核参数配置 |
支持对 SparkSQL 及 Presto 内核进行 session 级参数配置 |
2022-07-13 |
SQL 编辑器 |
| Presto 内置函数支持 |
支持使用 Presto 内置函数 |
2022-07-13 |
Presto 内置函数 |
| 扩充函数支持范围 |
新增多个函数支持 |
2022-07-13 |
统一函数 |
41、2022年06月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 数据作业支持 PySpark |
数据作业支持 PySpark 进行数据建模分析及数据科学应用 |
2022-06-29 |
数据作业概述 |
| Presto 引擎升级 |
通过 RaptorX 利用 Fragment Cache 在查询过程中复用查询中间结果，加速聚合查询，提高聚合查询性能说明：如需升级使用该特性可 提交工单 与我们联系 |
2022-06-29 |
– |
| Spark 引擎升级 |
升级 Spark3.2支持 Iceberg 表的动态分区下推说明：如需升级使用该特性可 提交工单 与我们联系 |
2022-06-29 |
– |
| Iceberg 特性升级 |
Iceberg 表支持 Snapshot、History、Manifest、Partitions 等元数据查询Call 语法支持快照管理、元数据管理 |
2022-06-29 |
– |
42、2022年05月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 联邦查询功能增强 |
联邦分析数据源支持 emr-cos、emr-hdfs、chdfs；支持 hive2.X，hive3.X 版本 |
2022-05-31 |
– |
| 支持融合桶加速 |
支持 COS 融合桶加速查询分析性能 |
2022-05-31 |
融合桶加速 |
| 融合 WeData 支持离线集成、任务调度 |
融合 WeData 实现数据集成能力，快速连接和融合云上或云下自建的各种数据，实现多源数据离线集成，实现复杂场景下的数据开发运维，进行复杂任务的调度 |
2022-05-23 |
– |
| 数据作业 |
支持创建 Spark 作业 集群，可以提交 Spark jar、 Spark streaming支持 Spark 作业创建调度任务 |
2022-05-19 |
数据作业 |
| |
支持 Spark UI |
2022-05-19 |
– |
| 支持轻量级任务调度 |
支持创建调度任务并管理调度计划 |
2022-05-10 |
– |
43、2022年03月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 数据引擎支持包年包月购买 |
支持包年包月方式购买独享集群 |
2022-03-31 |
计费概述 |
| 权限升级 |
支持集中管理的数据与引擎的细粒度权限控制，支持视图、函数、引擎权限管理、与管理员用户类型 |
2022-03-16 |
子账号数据权限授权 |
| API 接口升级 |
支持 COS 数据的离线导入导出 |
2022-03-16 |
API 文档 |
| 体验升级 |
新增使用概览及使用引导 |
2022-03-16 |
– |
| 查询性能升级 |
独享集群支持 Presto + Alluxio 自适应，提升 Ad-hoc 查询速度 |
2022-03-16 |
– |
