yun

  • 流计算 Oceanus 数据库 Redis

    这篇说说腾讯云Flink Redis Connector,支持多种Redis命令(set、lpush、sadd、hset、hmset、zadd、get、hgetall)作为目标表或维表,提供DDL定义、WITH参数说明及代码示例,并强调集群模式下database参数无效等注意事项。 目标表:支持set、lpush、sadd、hset、hmset、zadd等命令,通过DDL定义key和value字段。 维表:支持get。

    腾讯云产品 6天前
  • 流计算 Oceanus 数据仓库 Hive

    Hive Connector 支持数据流的目的表,但只支持 append only,不支持 Upsert 数据流。数据格式支持包括 Text、SequenceFile、ORC 和 Parquet 等。

    腾讯云产品 6天前
  • 流计算 Oceanus 数据仓库 Kudu

    这篇说说腾讯云 Flink 的 Kudu Connector,支持将 Kudu 用作数据源表、Tuple Sink 及 Upsert Sink,并提供了 DDL 定义、WITH 参数说明、类型映射及 Kerberos 认证配置。 DDL 定义:提供 Source、Tuple Sink 和 Upsert Sink 的建表语句,Upsert Sink 需指定主键。 WITH 参数:必填参数包括 connector、kud。

    腾讯云产品 6天前
  • 流计算 Oceanus 创建 ETL 作业

    流计算作业 ETL 作业需运行于流计算独享集群,若还没有集群,请参考 创建独享集群。

    腾讯云产品 6天前
  • 流计算 Oceanus 开发 ETL 作业

    这篇说说腾讯云流计算 Oceanus ETL 作业的创建、配置与运行流程,涵盖从前提条件、作业创建到数据源与目的端配置、数据清洗及日志监控等完整步骤。 前提条件:需先创建流计算独享集群。 创建与配置:通过控制台新建作业,拖拽组件并配置数据源、清洗逻辑及目的端。 作业与监控:支持作业参数设置及运行后的日志与监控查看。

    腾讯云产品 6天前
  • 流计算 Oceanus 消息队列 CMQ

    消息队列 CMQ(Cloud Message Queue,以下简称 CMQ)是基于腾讯自研消息引擎的分布式消息队列系统,可以用作数据源(Source)和数据目的(Sink)。用户可以把流数据导入到 CMQ 的某个 Queue 中,通过 Flink 算子进行处理后,输出到相同或不同 CMQ 示例的另一个 Queue。

    腾讯云产品 6天前
  • 流计算 Oceanus 使用内置 Catalog

    元数据是用户在流计算作业中引用的库表。用户可以在元数据中管理已有的库表,在 SQL 作业开发中快速引用元数据。

    腾讯云产品 6天前
  • 流计算 Oceanus Pod 崩溃现场采集

    在 Oceanus 平台上,Flink 的 JobManager 和 TaskManager 运行在独立的容器(Pod)中。当 TaskManager 或 JobManager 的 Pod 遇到问题退出后,崩溃现场随时也会被即时清理,给故障定位带来了困难。

    腾讯云产品 6天前
  • 流计算 Oceanus 模拟上下游 Datagen Logger Blackhole

    当需要检验作业是否可以正常运行、逻辑是否正确时,为了减少外部系统的部署开销,以及避免干扰因素,我们可以使用一些调试专用的 Connector。

    腾讯云产品 6天前
  • 流计算 Oceanus 版本管理

    使用版本管理可以对作业回滚历史版本,增加操作的容错率。
    在开发调试页的左上角单击版本管理可以在侧边弹窗中查看当前作业发布过的所有历史版本,单击某个版本,可以查看该版本的作业信息,但不可编辑。在版本管理弹窗中可以删除不需要的历史版本或对比不同版本的代码和配置差异。

    腾讯云产品 6天前