腾讯云 Oceanus 产品更新日志（2021年7月至2026年8月）显示，该平台持续优化 Flink 作业开发、运维及连接器能力，新增了空间设置、SQL Gateway、数据探索、流湖引擎 Setats 等功能，并增强了对 Elasticsearch 8.x、Paimon、MySQL Catalog 等的支持，同时改进了作业管理、监控告警和变量管理体验。 – 连接器与数据源增强：持续优化 Kafka、MySQL-C。
相关产品
流计算 Oceanus 产品页，含版本规格、价格与购买入口。
一、2026年09月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| CDC 数据同步作业 |
支持 CDC 数据同步作业 |
2026-09-11 |
创建 CDC 数据同步作业 |
| Flink UI 访问优化 |
Flink UI 支持腾讯云 CAM（访问管理）鉴权访问模式。 |
2026-09-11 |
查看 Flink UI |
| 作业诊断 |
支持作业智能诊断 |
2026-09-11 |
作业诊断 |
| 集群事件告警 |
支持配置集群事件告警，用于监控集群资源情况。 |
2026-09-11 |
配置集群事件告警 |
二、2026年08月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| ES connector 优化 |
支持 Elasticsearch 8.x Connector |
2026-08-10 |
数据分析引擎 Elasticsearch Service |
| SQL Gateway |
SQL Gateway 支持多种访问方式 |
2026-08-10 |
SQL Gateway |
| 空间设置 |
支持空间设置 |
2026-08-10 |
空间设置 |
三、2026年07月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| Skill |
使用 Oceanus Skill 管理作业 |
2026-07-28 |
Oceanus Skill 管理作业 |
| 数据探索 |
新增数据探索功能 |
2026-07-10 |
数据探索 |
| 安全组 |
集群支持绑定安全组 |
2026-07-10 |
安全组 |
四、2026年06月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 权限策略优化 |
新增权限策略 |
2026-06-19 |
基础权限配置指引 |
| 自定义凭据 |
变量赋值支持自定义凭据 |
2026-06-19 |
变量管理 |
五、2026年05月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 多 Catalog 支持 |
单个作业支持使用多个 Catalog |
2026-05-14 |
同时引用多个外部 Catalog |
| Setats UI 访问策略 |
设置 Setats UI 的访问策略 |
2026-05-14 |
查看集群信息 |
| UDF 函数 |
内置 UDF 函数完善 |
2026-05-14 |
– |
| Flink 默认版本调整 |
新建集群默认版本调整为 Flink1.16 |
2026-05-14 |
– |
六、2026年04月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 变量优化 |
支持全局 SQL 中的变量替换 |
2026-04-17 |
变量管理 |
| Kafka Connector 优化 |
Kafka Connector 支持 header 消息过滤 |
2026-04-17 |
消息队列 Kafka |
| Redis 优化 |
Redis Connector 支持 hget 等 Hash 数据结构读取 |
2026-04-17 |
数据库 Redis |
| TDSQL-MySQL 优化 |
TDSQL-MySQL 支持 op_type |
2026-04-17 |
数据库 TDSQL-MySQL |
七、2026年03月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 流湖引擎 Setats |
上线流湖引擎 Setats 服务 |
2026-03-26 |
流湖引擎 Setats |
八、2026年02月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 状态总览优化 |
状态总览页面调整背景，布局，算子链，恢复按钮等 |
2026-02-28 |
– |
| 支持 Paimon Catalog |
新增支持 Paimon Catalog 管理 |
2026-02-28 |
使用 Paimon Catalog |
| 支持 Paimon Connector |
新增支持数据湖 Paimon Connector |
2026-02-28 |
数据湖 Paimon |
| 英文版操作界面 |
中国站支持英文版本操作界面 |
2026-02-28 |
– |
| 支持多 JDK 版本 |
Flink 1.16 版本支持 JDK 11 |
2026-02-28 |
– |
| 作业运维优化 |
作业运维页面新增指标，支持每秒流入条数、每秒流出条数 |
2026-02-28 |
– |
九、2025年12月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 新增配置管理 |
支持在空间维度为作业参数定义默认值 |
2025-12-22 |
配置管理 |
| 新增作业状态总览 |
显示作业状态，重启次数，运行时长等信息显示算子 DAG 图，并可以展开查看算子细节信息 |
2025-12-22 |
状态总览 |
| 新增函数管理 |
用户自定义函数，UDF 统一管理 |
2025-12-22 |
函数管理 |
十、2025年09月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 修改作业快照默认保留策略 |
默认策略改为 RETAIN_ON_SUCCESS |
2025-09-16 |
作业高级参数 |
| 支持五级域名 |
计算集群支持五级域名 |
2025-09-16 |
网络连通性检查 |
| 依赖管理优化 |
支持批量删除依赖文件的多个版本 |
2025-09-16 |
依赖管理 |
| ES connector 优化 |
支持指定分片路由字段：routing-key |
2025-09-16 |
数据分析引擎 Elasticsearch Service |
| 变量优化 |
变量兼容性优化，支持引用变量时，无需额外填写默认值模式 |
2025-09-16 |
变量管理 |
十一、2025年07月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 新建集群优化 |
创建集群时子网自动关联到正确可用区 |
2025-07-21 |
创建独享集群 |
| 作业管理优化 |
作业参数修改逻辑优化，语法有误的情况下也可以修改参数 |
2025-07-21 |
作业开发 |
| MySQL Catalog 支持优化 |
MySQL Catalog 支持 Projection Push Down |
2025-07-21 |
– |
| DLC Connector 优化 |
Pyflink 支持连接 DLC 表 |
2025-07-21 |
数据湖计算 DLC |
| HBase Connector 优化 |
HBase Connector 支持'sink.ignore-null-value'参数 |
2025-07-21 |
数据库 HBase |
十二、2025年06月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| Session 集群调试优化 |
Session 集群调试需要支持开启 Kerberos |
2025-06-12 |
Session 调试 |
| 作业管理优化 |
作业创建新版本后，启动时会增加新版本提醒：比如3个版本，线上版本是 V2版本，点击启动会提示默认运行线上版本，当前最新版本为 V3新建作业流程优化，如果选择的集群资源已满时，可以正常新建作业 |
2025-06-12 |
作业操作 |
| 支持 Flink 1.20版本 |
作业支持 Flink 1.20 版本 |
2025-06-12 |
作业开发 |
十三、2025年04月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| MongoDB 相关优化 |
实时 CDC 方式写入腾讯云数据库 MongoDB 支持 upsert |
2025-04-28 |
数据库 MongoDB |
| Hive 连接器优化 |
Flink 1.13-1.18版本支持 Hive connector 3.1.3版本 |
2025-04-28 |
数据仓库 Hive |
| 支持代码搜索功能 |
支持通过代码进行搜索，例如表名、字段、关键字等，方便在众多作业中查找可能存在关联的处理逻辑 ，方便查找作业 |
2025-04-28 |
作业管理 |
| 删除作业流程优化 |
删除作业增加二次确认流程，防止用户误删除作业 |
2025-04-28 |
作业管理 |
| 作业管理体验优化 |
优化发布草稿时报错提示，不仅 SQL 作业栏标红，也要弹出提示任务开发边界页面支持横向滚动条优化编辑作业名称时的体验优化资源配置不合理导致任务启动报错内容 |
2025-04-28 |
作业管理 |
十四、2025年03月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 新增 Operator 流量监控 |
支持监控各 Operator 阶段的流量情况 |
2025-03-10 |
监控指标一览 |
十五、2025年02月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 作业参数配置优化 |
作业参数支持在当前版本直接修改，无需新增版本 |
2025-02-07 |
作业资源配置 |
| 变量管理优化 |
变量管理支持同一行代码中包含多个变量 |
2025-02-07 |
变量管理 |
| StarRocks 版本升级 |
StarRocks connector 版本升级到1.2.9 |
2025-02-07 |
数据仓库 StarRocks |
十六、2025年01月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 新增支持 OceanBase 连接器 |
Oceanus 新增支持 OceanBase 作为 sink 表和维表 |
2025-01-22 |
数据库 OceanBase |
| 监控指标优化 |
监控指标支持 Kafka topic 所有 partition 的 lag 综合指标 |
2025-01-22 |
监控指标一览 |
| 支持 MySQL catalog |
新增支持 MySQL catalog 管理 |
2025-01-22 |
– |
| 新增连接器管理模块 |
新增连接器管理模块，用户可以查看、管理内置连接器以及自定义的连接器 |
2025-01-22 |
连接器管理 |
| COS 连接器优化 |
支持 Flink 1.16 版本写入 COS |
2025-01-22 |
文件系统 FileSystem |
| 资源配置优化 |
资源配置取消 CU 固定限制，可以自定义配置资源比例 |
2025-01-22 |
作业资源配置 |
| 连通性测试功能优化 |
连通性测试功能支持100个字符 |
2025-01-22 |
网络连通性检查 |
十七、2024年12月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| Dump 文件功能优化 |
创建 Dump 文件后，展示 Dump 文件在 COS 中的路径。 |
2024-12-12 |
– |
| 作业管理优化 |
作业名称最多支持100个中文字符。 |
2024-12-12 |
快速入门 |
| 作业调优优化 |
Oceanus 作业现在已经支持灵活的定时调优功能。 |
2024-12-12 |
作业自定义调优 |
| Flink UI 功能优化 |
Flink UI 功能支持域名访问。 |
2024-12-12 |
– |
| 资源按 Tag 鉴权功能优化 |
访问管理支持资源按标签鉴权。 |
2024-12-12 |
– |
| 不稳定作业异常提示 |
作业管理列表与运维管理列表中新增不稳定作业异常提示，作业当前运行实例在一天内, 出现异常事件时，作业状态增加标记。 |
2024-12-12 |
– |
| 事件显示优化 |
增加异常事件日志显示长度。 |
2024-12-12 |
查看关键事件 |
| Iceberg/DLC 连接器性能增强 |
支持 Oceanus 作业写 Iceberg 建表时根据配置参数创建隐式分区，无需提前自动建表，加速查询速度。 |
2024-12-12 |
数据湖 Iceberg |
| DLC 连接器功能和易用性增强 |
支持 Oceanus 作业写 DLC 自动建表时根据配置参数自动创建隐式分区，无需提前自动建表，加速查询速度。DLC Connector 内置 CHDFS 依赖，无需额外下载，同时简化参数配置。 |
2024-12-12 |
数据湖计算 DLC |
| 新增支持 Paimon 连接器 |
Paimon connector 支持 0.9 版本。 |
2024-12-12 |
– |
| ETL 功能下线 |
Oceanus 不再支持 ETL 作业，原有使用 ETL 作业的用户可以继续使用，但是 ETL 作业功能后续不再演进，建议转为使用 SQL 或者 JAR 作业。 |
2024-12-12 |
– |
十八、2024年10月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| HBase 问题优化 |
优化 HBase 时间戳纳秒导致 Hbase TTL 失效的问题 |
2024-10-14 |
数据库 HBase |
| 变量管理优化 |
变量支持修改，并可以查看历史修改的变量值，加强变量管理能力 |
2024-10-14 |
变量管理 |
| 运维管理增强 |
运维管理支持列表导出功能，可以用于本地进行作业分析 |
2024-10-14 |
– |
十九、2024年09月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| MongoDB 相关优化 |
支持单客户端进程监听多张表支持过滤未在 Flink DDL 语句中定义的源表字段变更记录 |
2024-9-1 |
数据库 MongoDB |
| Kafka 性能优化 |
优化在 Source 为多个 Kafka partition 场景下的数据倾斜性能问题 |
2024-9-1 |
消息队列 Kafka |
| 支持实时读取 HBase |
支持实时读取 HBase |
2024-9-1 |
数据库 HBase |
| SQL 开发支持 VS Code 相关操作和快捷键 |
SQL 代码开发的时候可以使用 VS Code 相关快捷操作 |
2024-9-1 |
开发 SQL 作业 |
| SQL 作业支持配置文件 |
SQL 作业使用时支持上传配置文件，例如 SASL_SSL 认证等文件 |
2024-9-1 |
开发 SQL 作业 |
20、2024年08月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| DLC 默认参数和配置优化 |
优化使用 DLC 时需要的参数和配置，减少不必要的重复操作，方便用户使用。 |
2024-8-8 |
数据湖计算 DLC |
| 调试功能优化 |
支持调试结果下载，方便本地查看。 |
2024-8-8 |
作业操作 |
| 批量操作优化 |
批量停止和批量启动功能增加快照选项，支持停止时创建快照以及启动时选择最新快照启动。 |
2024-8-8 |
作业操作 |
21、2024年07月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 变量管理优化 |
变量功能增加系统变量（如：JOB_ID， CLUSTER_ID、空间 ID 等）。 |
2024-7-26 |
变量管理 |
| 性能优化 |
优化 0.25cu 下的 Oceanus 任务启动和停止时间。 |
2024-7-26 |
– |
| Kafka 支持启动模式选择 |
Oceanus 支持界面化操作修改 Kafka 启动模式，Kafka 作业启动支持 earliest-offset、 latest-offset、timestamp 等启动模式。 |
2024-7-26 |
消息队列 Kafka |
| Kafka 问题优化 |
修复 Flink Upsert Kafka 空指针异常问题。 |
2024-7-26 |
消息队列 Kafka |
22、2024年06月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 支持 PrivateDNS 解析数据源 |
打通 PrivateDNS 产品，减少用户配置的工作，防止运维侧 DNS 域名 IP 映射变化没有同步导致任务失败影响线上的数据 |
2024-06-27 |
集群管理 |
| 运维管理模块优化 |
运维管理作业排序展示优化，支持全局排序，自动过滤掉停止作业 |
2024-06-27 |
– |
| 事件管理优化 |
事件管理告警优化，支持更多事件到事件总线配置告警 |
2024-06-27 |
配置作业事件告警（异常事件） |
| 页面展示优化 |
集群详情优化：使用 ES 进行日志采集，图标位置修复作业详情优化：修复作业名称过长导致操作图标位置冲突问题 |
2024-06-27 |
– |
23、2024年04月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 调优功能增强 |
JAR 作业支持调优功能，包含自动调优、自定义调优 |
2024-04-21 |
作业调优 |
| 库表功能增强 |
库表管理支持 DDL 编辑，创建好的 DDL 可以进行编辑，支持修改参数以及 WITH 参数 |
2024-04-21 |
库表管理 |
| 运维管理模块增强 |
运维管理模块新增支持作业 TaskManager CPU 使用率、TaskManager 堆内存使用率展示 |
2024-04-21 |
– |
24、2024年03月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 作业增加作业描述字段 |
增加作业描述字段，快捷查看作业描述，理解作业目的 |
2024-03-31 |
作业操作 |
| 作业监控告警信息优化 |
监控告警信息丰富，目前支持作业名称、责任人、作业 ID 、告警对象、告警策略、告警内容等信息。告警关键信息获取，快速进入问题排查环节，简化运维排查 |
2024-03-31 |
配置作业监控告警（数值指标） |
| Doris 优化 |
对 Doris 导入 label 模式进行了优化，避免导入任务重复报错 |
2024-03-31 |
数据库 Doris |
| MongoDB CDC 优化 |
对 MongoDB CDC 进行优化，增加了 Delete 过滤操作功能支持 |
2024-03-31 |
数据库 MongoDB CDC |
| Redis 优化 |
新增在 hmset 的情况下有多个 hash key，支持同时操作 |
2024-03-31 |
数据库 Redis |
25、2024年02月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 支持不同工作空间作业迁移 |
优化作业创建副本功能，支持选择空间，可以将作业复制到其他空间中，实现多空间多集群作业迁移 |
2024-02-29 |
作业操作 |
| TaskManager 日志输出优化 |
对 TaskManager 日志输出进行优化，可以对指定 TaskManager 生成 Dump 文件进行查看 |
2024-02-29 |
– |
| SQL Server 语法检查优化 |
修复 SQL Server explain 问题 / select 问题 |
2024-02-29 |
数据库 SQLServer CDC |
26、2024年01月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 日志采集支持 ES serverless |
日志采集支持 ES serverless，在集群详情页面，可以设置集群绑定的 ES Serverless Index，用于作业运行日志的采集和检索。用户还可以使用 ES Serverless 作为运行日志采集，这种方式也能对日志作实时检索 |
2024-01-08 |
配置采集作业运行日志 |
| 支持访问管理的角色用户 |
支持访问管理的角色用户配置角色权限，添加成员等 |
2024-01-08 |
– |
| 新增压缩格式 |
Flink 支持 lz4等格式压缩，扩展写湖的压缩方式 |
2024-01-08 |
– |
| 支持 FlinkSQL CDC 模式下 Log 复用能力 |
支持 FlinkSQL CDC 模式下 Log 复用能力 |
2024-01-08 |
– |
27、2023年11月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| CLS 日志检索优化 |
CLS 日志支持起始位置往后查询，CLS 日志查询准确性优化 |
2023-11-24 |
查看作业日志信息 |
| 快照管理优化 |
Checkpoint 快照支持生命周期管理，可以在作业参数中配置 Checkpoint 快照的保存策略Savepoint 快照支持删除，可以在作业快照中进行删除操作 |
2023-11-24 |
快照管理 |
| 日志输出优化 |
TaskManager 日志输出优化，方便错误日志信息快速定位DEBUG 级别日志默认去掉 BaradReporter 相关上报的日志 |
2023-11-24 |
查看作业日志信息 |
| 实例和版本关联优化 |
日志、快照等页面展示实例对应的版本，方便快速定位作业代码的版本 |
2023-11-24 |
– |
| 事件管理优化 |
作业事件管理优化，信息提示更全，有完整的错误堆栈日志，有明确的报错的 TM，方便定位问题 |
2023-11-24 |
事件管理 |
| Flink CDC 2.4版本支持 PostgreSQL 数据库 Source |
Flink CDC 2.4版本支持 PostgreSQL 数据库 Source |
2023-11-24 |
数据库 PostgreSQL CDC |
| Redis 优化 |
新增支持 Redis 写入缓存和异步化功能 |
2023-11-24 |
数据库 Redis |
| Hudi Connector 版本升级 |
升级了 Hudi Connector 版本 |
2023-11-24 |
数据湖 Hudi |
28、2023年10月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 作业启动优化 |
Kafka 作业支持按照时间消费，用户可以直接在启动作业的时候通过选择时间来指定恢复 |
2023-10-01 |
– |
| 变量功能优化 |
配置表变量支持批量配置变量值，用户可以使用批量配置功能对同样变量值（常用如 IP 等）进行一键配置，减少重复配置时间优化表变量替换提醒，用户在点击语法检查或者发布草稿时，会校验表变量替换是否提交，如果校验有未提交的表变量替换时，会有二次弹窗确认 |
2023-10-10 |
变量管理 |
| 批量启动作业优化 |
优化了作业批量启动慢的问题 |
2023-10-10 |
– |
| Kudu 相关优化 |
写 Kudu 支持 Kerberos |
2023-10-10 |
数据仓库 Kudu |
| MySQL-cdc Jar 包相关优化 |
MySQL-cdc Jar 包支持客户自定义 Converter 的注册 |
2023-10-10 |
数据库 MySQL CDC |
| binlog 相关优化 |
在单个作业订阅多个 MySQL 数据库 binlog 时，优化 schema 反序列化到 state 时的资源消耗支持一个任务里订阅多个 binlog，实现 CPU 共享，降低使用成本 |
2023-10-10 |
– |
| 增加 Pulsar 监控指标 |
新增支持 Pulsar Connector 的相关监控指标 |
2023-10-10 |
– |
| 支持 Oracle CDC Connector |
新增支持 Oracle CDC Connector |
2023-10-10 |
|
29、2023年09月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 整库同步功能优化 |
整库同步功能支持 tinyint(1)整库同步支持变量替换 |
2023-09-01 |
– |
30、2023年08月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| Canal Protobuf 功能优化 |
多版本支持 Canal Protobuf 功能 |
2023-08-17 |
– |
| Session 调试功能优化 |
Session 调试支持 Flink-1.16 版本集群作业 |
2023-08-17 |
开发 SQL 作业 |
| 支持算子级别细粒度资源配置 |
支持进行算子级别的资源配置，生成算子逻辑图，设置多个 SLOT，以及对算子单独调整并行度、CPU、内存、 State TTL 等 |
2023-08-17 |
开发 SQL 作业 |
| 上线 Logger Sink |
Logger Sink 是腾讯云 Oceanus 提供的一个自定义 Logger 示例，它可以将最终的结果数据写入 TaskManager 的日志文件中，后续可以通过 Flink UI 或者控制台的日志面板查看这些日志的输出。Oceanus 平台已内置 Logger Sink。 |
2023-08-17 |
模拟上下游 Datagen Logger Blackhole |
| SQL 解析分段优化 |
进行了 SQL 解析分段优化，通过采样数据进行了实际测试，性能为优化前的 2.5 倍 |
2023-08-17 |
– |
| ClusterMaster 优化 |
提升大规模调度场景下，ClusterMaster 的命令获取和分发速度 |
2023-08-17 |
– |
| 日志级别设置优化 |
支持指定类名分别设置日志级别 |
2023-08-17 |
配置采集作业运行日志 |
| SQL 编辑器优化 |
SQL 代码支持自动保存 |
2023-08-17 |
– |
31、2023年07月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 新增支持 tdsql-mysql 版维表 |
新增支持 tdsql-mysql 版维表功能 |
2023-07-06 |
数据库 TDSQL-MySQL |
| 作业延迟指标优化 |
Flink 1.14 / 1.16 版本作业增加 Kafka connector 延迟指标 |
2023-07-06 |
– |
| 变量管理优化 |
变量管理中变量值更改为支持300字符，以适应更复杂的变量 |
2023-07-06 |
变量管理 |
32、2023年06月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| MySQL-CDC 优化 |
优化 MySQL-CDC 连接复用自定义合并组时，保证每次划分顺序一致修复 MySQL-CDC 开源版 BIGINT Chunk 划分时溢出导致的死循环MySQL-CDC 加表流程优化MySQL-CDC 最后一个 split 优化 |
2023-06-07 |
数据库 MySQL CDC |
| 权限工具 |
支持用户通过权限工具，对元数据加速 COS 桶和云 CHDFS 进行授权 |
2023-06-07 |
文件系统 FileSystem |
| 作业支持标签配置 |
作业支持绑定标签，配置监控告警可以通过标签来配置告警，更加灵活便捷 |
2023-06-07 |
配置作业监控告警（数值指标） |
| 事件告警优化 |
上报监控到事件总线时新增任务名及任务所在文件夹路径信息，排查问题更加方便直接 |
2023-06-07 |
配置作业事件告警（异常事件） |
33、2023年05月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 支持 Session 集群调试功能 |
支持使用作业调试功能模拟作业运行、实时检查输出结果，验证业务逻辑的正确性，提升开发效率，降低数据质量风险（Flink 1.13） |
2023-05-15 |
开发 SQL 作业 |
34、2023年04月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 增强 Flink UI 安全管控 |
Flink UI 支持白名单配置访问 |
2023-04-17 |
查看作业 Flink UI |
| ClickHouse Connector 优化 |
优化由于多流 join 产生较多数据变化数据 Sink 造成 ClickHouse 压力的问题 |
2023-04-17 |
数据仓库 ClickHouse |
| 配置作业日志级别优化 |
支持批量配置作业的日志级别 |
2023-04-17 |
配置采集作业运行日志 |
| 数据库连接 JDBC 优化 |
修复 Oracle JDBC 联合主键的语句拼接错误问题 |
2023-04-17 |
数据库连接 JDBC |
| 监控指标能力优化 |
支持 Kafka 作业延迟指标展示和告警配置 |
2023-04-17 |
监控指标一览 |
| 文件系统 FileSystem 优化 |
新增支持 Raw 格式 Sink 到 FileSystem 时能支持 Snappy 等压缩格式的功能 |
2023-04-17 |
文件系统 FileSystem |
35、2023年03月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 依赖管理优化 |
优化依赖删除逻辑，依赖版本删除逻辑 |
2023-03-17 |
依赖管理 |
| 支持新版本 Iceberg Connector |
支持新版本 Iceberg Connector |
2023-03-17 |
数据湖 Iceberg |
| 作业启动提示优化 |
作业启动前会检查子网 IP 是否充足，配置的并行度如果剩余 IP 数量不够会提示 |
2023-03-17 |
作业操作 |
| 支持 SQL 版本对比功能 |
支持用户对不同版本的 SQL 作业进行 SQL 代码和配置的对比 |
2023-03-03 |
版本管理 |
| Redis Connector 优化 |
提升了 Redis 维表查询性能，在查询空结果较多的场景下，性能成倍的提升；支持 Flink 1.14 版本 SQL 作业使用 Redis Connector |
2023-03-03 |
数据库 Redis |
| 新增支持 Starrocks Connector |
新增支持 Starrocks Connector 基于开源的 starrocks-connector-for-apache-flink v1.2.4 实现，支持通过 Flink 读写 StarRocks。（Flink 1.13｜1.14） |
2023-03-03 |
数据库 StarRocks |
| MySQL CDC 优化 |
MySQL-CDC 忽略非 DDL 字段变更数据流 |
2023-03-03 |
数据库 MySQL CDC |
| MongoDB CDC 升级版本 |
支持 MongoDB CDC 新版本使用 |
2023-03-03 |
数据库 MongoDB CDC |
| 购买集群优化 |
非超管用户通过点击立即购买创建集群 |
2023-03-03 |
– |
| 增加异常作业展示/集群空闲 CU 展示 |
作业管理增加绑定集群 CU 概览，展示的都是绑定此工作空间的集群统计的信息，包括绑定的集群总数， CU 总数和空闲 CU 数；作业概览中新增指标告警作业总数和时间告警作业总数展示并支持点击快速筛选 |
2023-03-03 |
作业概览 |
| 库表引用功能优化 |
支持编辑 DDL，不用重复创建，用户可以编辑除 connector 之外的 with 参数，通过查看 DDL 页面增加变更记录按钮，点击变更记录可以跳转到变更记录页面，查看 DDL 的修改记录，方便回溯 |
2023-03-03 |
库表引用 |
36、2023年02月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 作业批量删除优化 |
优化作业批量删除展示逻辑，不会再默认将只含无法删除作业的文件夹勾选 |
2023-02-09 |
作业操作 |
| 新增 SQL Server CDC Connector |
新增 SQL Server CDC Connector，SQL Server CDC 只支持作为源表，允许从 SQL Server 数据库读取全量数据和增量数据（Flink 1.14） |
2023-02-09 |
数据库 SQL Server CDC |
| 支持 Doris Catalog |
引入 CDW Doris Catalog 来避免手工注册 Doris 表，提高作业开发的效率且保证 Schema 映射的正确性 |
2023-02-09 |
数据库 Doris |
| Doris Sink 支持事务 |
支持写入 Doris 端到端 Exactly-Once ，保障事务性 |
2023-02-09 |
数据库 Doris |
| Hadoop-shaded 包升级 |
社区的 flink-hadoop-shaded 包由于版本过低（2.7.5），出现兼容性问题，升级到最新版本 2.8.3 |
2023-02-09 |
– |
| KonaJDK 版本升级 |
KonaJDK 版本升级避免死锁 |
2023-02-09 |
– |
| MySQL CDC 优化 |
优化 MySQL-CDC String 字符串 Key 数据分布不均问题，字符串主键 Chunk 划分均匀，作业不再 OOMMySQL-CDC 链接复用支持 Kudu Sink ，采用新的 Flink Sink API 重构 Kudu Connector优化 MySQL-CDC 用于 TDSQL GTID 导致作业失败问题 |
2023-02-09 |
数据库 MySQL CDC |
| 优化 Ingress 清理问题 |
优化 Ingress 清理失效规则和添加正常作业的规则 |
2023-02-09 |
– |
| 事件告警优化 |
增加作业停止的事件类型操作配置告警的选项，跳转事件总线进行配置 |
2023-02-09 |
事件与诊断 |
| 创建作业副本优化 |
创建作业副本后副本可以携带手动创建的 Savepoint ，便于作业快速迁移及恢复 |
2023-02-09 |
作业操作 |
| 变量管理优化 |
目前变量名称支持 100 个字符 |
2023-02-09 |
变量管理 |
| 支持作业定时自动扩缩容 |
支持作业定时自动扩缩容，通过设置调优的起止时间、调优行为和扩缩容比例来完成指定的扩缩容操作 |
2023-02-09 |
作业自定义调优 |
| 快照管理优化 |
目前作业默认保留最近的5个 Checkpoint ，保留的 Checkpoint 的数量可以在高级参数中配置关键字来设定保留多少份 Checkpoint |
2023-02-09 |
快照管理 |
37、2023年01月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| JDBC Sink 优化 |
支持通过配置参数来控制是否忽略 Delete 操作 |
2023-01-16 |
数据库连接 JDBC |
| 腾讯云数据仓库 TCHouse-P 优化 |
腾讯云数据仓库 TCHouse-P（flink-connector-cdw-postgre）支持2.0版本 |
2023-01-16 |
腾讯云数据仓库 TCHouse-P |
| Kafka Connector 问题优化 |
Kafka Connector 库表订阅不准确问题修复 |
2023-01-16 |
消息队列 Kafka |
| COS Connector 优化 |
COS Connector META-INF Shade 错误 bug 修复；支持 Flink 1.14 版本 SQL 作业使用 COS Connector |
2023-01-16 |
文件系统 FileSystem |
| 修复 TopN 等算子问题 |
修复 Flink 的 TopN 等算子遇到 now() 等函数时，可能出现状态不匹配而报错的问题 |
2023-01-16 |
– |
38、2022年12月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| MySQL-CDC 监控指标优化 |
新增“数据在外部系统的滞留时间”、“数据在外部系统和 Source 中的滞留时间”、“作业反压最大百分比”和“数据倾斜程度”4个监控指标 |
2022-12-16 |
监控指标一览 |
| 整库同步 SQL 支持 Hive 自动建表 |
整库同步 SQL 支持在 Hive 中自动创建缺失的表 |
2022-12-16 |
整库同步（SQL）能力 |
| 整库同步支持抽取元数据字段 |
整库同步支持抽取元数据字段，例如库名、表名、时间戳等 |
2022-12-16 |
整库同步（SQL）能力 |
| ClickHouse 新增支持的数据类型 |
ClickHouse 支持 Map/Array/Row 数据类型 |
2022-12-16 |
数据仓库 ClickHouse |
| 支持数据湖计算 DLC |
支持写入数据湖计算 DLC 托管的原生表（Flink 1.14） |
2022-12-16 |
数据湖计算 DLC |
| 支持消息队列 Pulsar |
Pulsar SQL connector 允许你使用简单的 SQL 查询或 Flink Table API 从 Pulsar topic 查询数据或将数据写入 Pulsar（Flink 1.13｜1.14） |
2022-12-16 |
消息队列 Pulsar |
| MySQL-CDC 支持元数据字段优化 |
MySQL-CDC 支持访问元数据字段，例如 Pos/File/Gtid |
2022-12-16 |
数据库 MySQL CDC |
| MySQL-CDC 联合主键 chunk 划分优化 |
MySQL-CDC 联合主键场景下，支持手动选择指定列作为划分键 |
2022-12-16 |
数据库 MySQL CDC |
| Redis connector 支持 Zadd 动态 key |
Redis Connector 支持 Zadd 模式下采用动态字段作为 key |
2022-12-16 |
数据库 Redis |
| Filesystem connector 优化 |
Filesystem connector 支持 compress 算法 |
2022-12-16 |
文件系统 FileSystem |
39、2022年09月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| MySQL-CDC 性能优化 |
优化了 MySQL-CDC 增量阶段性能 |
2022-09-16 |
数据库 MySQL CDC |
| COS Connector 版本升级 |
升级了 COS Connector 版本 |
2022-09-16 |
Filesystem (HDFS/COS) |
| 支持自定义角色权限 |
支持自定义角色权限 |
2022-09-05 |
空间角色权限 |
| Doris 性能优化 |
优化了 Doris 的写入性能 |
2022-09-05 |
数据库 Doris |
| 支持 Kafka Source 复用和整库同步 |
支持 Kafka Source 复用和整库同步（单 Topic 多 Schema） |
2022-09-05 |
消息队列 Kafka |
| 自定义作业日志级别 |
配置采集作业运行日志支持自定义作业日志级别查看作业日志信息支持自定义作业日志级别 |
2022-09-05 |
配置采集作业运行日志查看作业日志信息 |
40、2022年08月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| ETL 支持 Kafka sink |
ETL 作业支持 数据目的 Kafka |
2022-08-08 |
创建 ETL 作业 |
| ETL 支持 Elasticsearch source |
ETL 作业支持 数据源 Elasticsearch |
2022-08-08 |
创建 ETL 作业 |
| ETL 支持 Doris sink |
ETL 支持 数据目的 Doris |
2022-08-08 |
创建 ETL 作业 |
41、2022年07月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 支持网络连通性检查 |
支持集群网络连通性检查功能 |
2022-07-20 |
网络连通性检查 |
| 元数据管理支持表血缘 |
元数据管理支持表血缘查询 |
2022-07-20 |
库表管理 |
| 支持数据湖 Hudi |
支持数据源和数据目的数据湖 Hudi |
2022-07-20 |
数据湖 Hudi |
| Flink 1.13.2 升级到 Flink 1.13.6 |
Flink 1.13.2 升级到 Flink 1.13.6 |
2022-07-20 |
– |
| 支持数据湖 Iceberg |
支持数据源和数据目的 Iceberg |
2022-07-06 |
数据湖 Iceberg |
| 支持整库同步 SQL |
支持整库同步 SQL 语法糖（Flink 1.13｜1.14） |
2022-07-06 |
整库同步（SQL）能力 |
| ClickHouse 分区写入优化 |
ClickHouse 分区写入优化 |
2022-07-06 |
数据仓库 ClickHouse |
| ClickHouse 压力感知优化 |
优化 ClickHouse 压力自动感知 |
2022-07-06 |
数据仓库 ClickHouse |
| Elasticsearch Null 值优化 |
Elasticsearch Null 值优化 |
2022-07-06 |
数据分析引擎 Elasticsearch Service |
| 支持 MySQL CDC 连接复用 |
支持 MySQL CDC 连接复用（Flink 1.13｜1.14 mysql-cdc 2.2.0） |
2022-07-06 |
MySQL CDC 多 Source 复用 |
| MySQL CDC JM 内存优化 |
MySQL CDC JM 内存优化（Flink 1.13｜1.14 ） |
2022-07-06 |
数据库 MySQL CDC |
| Doris Connector 版本升级到社区最新版本 |
Doris Connector 版本升级到社区最新版本 |
2022-07-06 |
数据库 Doris |
42、2022年06月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| ClickHouse Sink 支持 ReplacingMergeTree |
用于解决 MergeTree 表引擎相同主键无法去重的问题，可以删除主键值相同的重复项 |
2022-06-24 |
数据仓库 ClickHouse |
| TDSQL Connector 支持单 Topic 过滤多表 |
支持对订阅数据表的正则过滤 |
2022-06-24 |
数据库 TDSQL |
43、2022年05月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 上线 ETL 作业画布功能 |
ETL 作业支持画布操作，降低操作门槛 |
2022-05-07 |
创建 ETL 作业 |
44、2022年04月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 增强快照管理 |
作业支持从 Checkpoint 启动，作业操作流程稳定性提升 |
2022-04-13 |
快照管理 |
45、2022年03月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 支持元数据外部数据源 Hive Catalog |
支持元数据外部数据源 Hive Catalog |
2022-03-29 |
使用 Hive Catalog |
| 新增数据目的消息队列 TDMQ RabbitMQ |
新增数据目的消息队列 TDMQ RabbitMQ |
2022-03-23 |
消息队列 TDMQ RabbitMQ |
| 新增数据源数据库 TDSQL |
新增数据源数据库 TDSQL |
2022-03-23 |
数据库 TDSQL |
| 上线多人协同能力 |
划分工作空间，新增预设角色，支持细粒度的权限控制 |
2022-03-16 |
空间角色权限 |
46、2022年02月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 支持 Python 作业 |
支持开发 Python 作业 |
2022-02-26 |
开发 Python 作业 |
| 支持日志上传到 COS |
支持作业运行日志上传到 COS。 |
2022-02-21 |
配置采集作业运行日志 |
| 新增全局变量管理功能 |
SQL 作业开发新增全局变量管理功能，变量替换可通过全局变量完成。 |
2022-02-21 |
变量管理 |
47、2022年01月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 新增数据目的数据仓库 PostgreSQL |
支持数据目的数据仓库 PostgreSQL。 |
2022-01-25 |
数据仓库 PostgreSQL |
| 支持 Flink1.14 |
作业开发支持 Flink1.14版本。 |
2022-01-13 |
– |
| 新增数据目的 MongoDB |
支持数据目的 MongoDB。 |
2022-01-13 |
数据库 MongoDB |
| 支持自定义 DNS |
支持在集群信息中设置自定义 DNS。 |
2022-01-13 |
自定义 DNS |
| 集群更换子网 |
支持集群更换子网，可在子网可用 IP 数不足等场景使用此功能。 |
2022-01-06 |
– |
| 快照管理上线 |
支持查看快照，手动创建快照，从快照恢复作业。 |
2022-01-06 |
快照管理 |
| 优化作业启停流程 |
优化精简作业启停流程，结合快照管理优化产品体验。 |
2022-01-06 |
作业操作 |
48、2021年12月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 支持灵活配置 CLS 日志 |
用户可以为 Oceanus 集群设置1个或多个 CLS 日志主题，供不同作业的运行日志灵活选用。 |
2021-12-10 |
配置采集作业运行日志 |
49、2021年11月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 升级 LogListener 版本 |
升级 LogListener 版本，压缩上报到 CLS 的日志量。降低日志成本。 |
2021-11-01 |
– |
| 优化 Flink-1.13 编译失败信息 |
任务编译失败后，及时返回错误信息，并迅速结束任务操作流程，避免一直等待。 |
2021-11-01 |
– |
| 依赖管理文件分级 |
依赖管理列表支持层级管理，方便多人协同管理依赖文件。 |
2021-11-01 |
– |
50、2021年10月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 支持配置文件管理与分发 |
支持控制台管理配置文件，支持配置文件动态下发到 Pod 运行环境。 |
2021-10-01 |
依赖管理 |
| 集群创建可视化 |
支持查看集群创建进度。 |
2021-10-01 |
– |
| 支持 Flink-1.13 内核版本 |
支持提交 Flink-1.13 版本任务，内核特性可参考 Flink 产品文档。 |
2021-10-21 |
创建独享集群 |
51、2021年09月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 作业管理页面改版 |
优化整个作业管理页面。支持作业按文件夹分类管理、作业资源整体概览、作业监控概览。 |
2021-09-17 |
– |
| 支持 CLS 数据源消费功能 |
CLS 日志数据当作数据源消费，通过现有的 Kafka Connector 去消费数据。 |
2021-09-17 |
日志消费 CLS |
| 优化库表功能 |
优化了库表功能，支持使用自定义 connector，支持在 SQL 作业开发时便捷引用表以及查看、编辑 DDL 语句。 |
2021-09-09 |
元数据管理 |
52、2021年08月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| ETL 商业化版本发布 |
1. ETL 作业新增4个上下游连接器。数据源：Postgres-CDC。数据目的： Elasticsearch-6、ElasticSearch-7、PostgreSQL。2. 新增 ETL 同步延迟等关键指标的监控。3. 支持设置自定义调优参数。4. 智能感知云上可用连接器资源。 |
2021-08-31 |
概述 |
| 元数据管理优化 |
优化创建元数据库表的交互。 |
2021-08-31 |
元数据管理 |
| 新增数据源 MongoDB CDC |
支持数据源 MongoDB CDC。 |
2021-08-31 |
数据库 MongoDB CDC |
| 新增数据源 Postgres CDC |
支持数据源 Postgres CDC。 |
2021-08-31 |
数据库 PostgreSQL CDC |
| 新增数据目的 Oracle |
支持数据目的 Oracle。 |
2021-08-31 |
JDBC |
| 监控与告警优化 |
监控中台指标读性能优化，流程诊断和错误信息展示优化。 |
2021-08-31 |
– |
| 新增 Flink-connector-doris |
支持通过 Flink 将数据写入 Doris。 |
2021-08-31 |
数据库 Doris |
53、2021年07月
| 动态名称 |
动态描述 |
发布时间 |
相关文档 |
| 支持 Pod 崩溃现场采集功能 |
支持将 Pod 退出后的现场采集到用户的 COS，以供后续分析。增加 TaskManager 监控页的 Pod CPU 和 Pod 内存指标项。 |
2021-07-20 |
Pod 崩溃现场采集 |
| 上线元数据管理功能 |
新增元数据管理功能，支持管理库表，支持 SQL 作业引用元数据管理的库表 |
2021-07-14 |
元数据管理 |
