yun
-
流计算 Oceanus 数据库 PostgreSQL CDC
Postgres 的 CDC 源表(即 Postgres 的流式源表)用于依次读取 PostgreSQL 数据库全量快照数据和变更数据,保证不多读也不少读一条数据。即使发生故障,也能采用 Exactly Once 方式处理。
-
流计算 Oceanus 数据库 MongoDB CDC
MongoDB 的 CDC 源表(即 MongoDB 的流式源表),基于开源社区实现。Connector 会自动跟踪 MongoDB 副本集或分片集群,以获取数据库和集合中的文档更改。
-
流计算 Oceanus 数据库 HBase
HBase Connector 提供了对 HBase 集群的读写支持。Oceanus 已经提供了内置的 flink-connector-hbase Connector 组件,具体使用可参考 使用 MySQL 关联 HBase 维表数据到 ClickHouse 进一步了解。
-
流计算 Oceanus 数据仓库 Doris
Flink Connector Doris 目前支持通过 Flink 将数据写入 Doris,基于 开源版本 实现。
-
流计算 Oceanus 日志消费 CLS
CLS(Cloud Log Service)日志服务,可以作为 Oceanus 的数据源(Source)和数据目的(Sink),用户可以通过 Oceanus 导入和导出 CLS 日志,参与流式计算。
-
流计算 Oceanus 消息队列 Upsert Kafka
Upsert Kafka 连接器支持以 upsert 方式从 Kafka topic 中读取数据并将数据写入 Kafka topic。作为 Source,Upsert Kafka 连接器生产 changelog 流,其中每条数据记录代表一个更新或删除事件。更准确地说,数据记录中的 value 被解释为同一 key 的最后一个 value 的 UPDATE,如果有这个 key(如果不存在相应的 key,则该更新被视为 。
-
流计算 Oceanus 查看关键事件
作业的运行期会有各类的事件发生,例如启动事件、作业运行失败事件、快照失败事件,以及其他各类异常事件等。我们在控制台提供了一个综合的事件面板,用户可以查看和订阅这些关键事件。
-
流计算 Oceanus 快照失败事件
“流计算快照失败” 事件表示当作业启用了周期快照(Checkpoint)后,某次快照因为超时等各类原因未能完成。
对于长时间运行的作业,偶尔一次的快照失败事件可能并不意味着作业出现了严重异常,只有当快照频繁失败时才需要针对具体情况进行应对。例如在 Flink UI 的 Checkpoints 面板中,某作业的快照 ID 6717发生失败时,显示如下图:
。 -
流计算 Oceanus 作业失败事件
流计算作业失败事件表示 Flink 作业由运行状态进入了失败或重启等异常状态,该现象可能引起数据处理中断、下游输出延迟等问题。
-
流计算 Oceanus TaskManager Pod 异常退出事件
Flink 作业的 TaskManager 运行在 Kubernetes Pod 中,当 Pod 终止时,我们可以监测到该事件,并根据返回码、状态信息等维度,判断 Pod 是否发生了异常。