yun

  • 流计算 Oceanus TaskManager Full GC 过久事件

    Flink 作业的 TaskManager 是一个 JVM 进程,它有自己的堆内存空间。Flink 算子的运行时状态存储以及其他的各类操作都可能造成堆内存空间占用过高。

    腾讯云产品 6天前
  • 流计算 Oceanus TaskManager CPU 负载过高事件

    Flink 作业的 TaskManager 负责执行用户定义的各类算子逻辑,CPU 负载过高可能会导致吞吐量下降,以及延迟的上升等各类问题。当作业的大多数 TaskManager 长期接近满载时,会触发本事件。

    腾讯云产品 6天前
  • 流计算 Oceanus TaskManager 背压较高/严重事件

    Flink 的 背压(也称为反压)描述了作业的一种异常现象:在作业的运行图中,某个算子因为下游算子处理能力较慢、网络传输链路拥塞等原因,无法将数据全速输出到下游算子,引发了数据堆积。随后这个堆积现象会逐步向上游的各个算子扩散,最终传递到数据源,造成数据消费量的减少。如果背压情况长期得不到改善,则作业的总体吞吐量会大幅下降,甚至降低到 0。

    腾讯云产品 6天前
  • 流计算 Oceanus 自定义DNS

    为了方便运维管理,你的作业可能会使用域名的方式访问外部资源(消息队列 CKafka、云数据库 MySQL等),可以以使用自定义 DNS 的方式进行域名解析。自定义 DNS 的原理请参考 Kubernetes 页面文档 自定义 DNS 服务。你一般会使用两种方式来完成域名解析。

    腾讯云产品 6天前
  • 流计算 Oceanus 快照管理

    登录 流计算 Oceanus 控制台,在作业管理中,单击作业名称/ID,切换到快照页面。快照页面展示当前任务的快照列表,如下。

    腾讯云产品 6天前
  • 流计算 Oceanus 数据库 MongoDB

    Flink connector mongodb 目前支持通过 Flink 将数据批量写入到 mongodb 中,目前支持 append 流和 upsert 流。

    腾讯云产品 6天前
  • 流计算 Oceanus JobManager Pod 异常退出事件

    Flink 作业的 JobManager 负责整个作业的管理和调度工作,一旦其发生故障,可能造成作业崩溃、状态丢失等严重后果,因此我们会持续检测并推送 JobManager 异常退出事件。此外,为了保证 JobManager 的可用性,我们为每个作业启用了高可用(High Availability)配置,以便在 JobManager 意外退出时可以自动重新选举和恢复作业运行。
    当发生 JobManager Pod 异。

    腾讯云产品 6天前
  • 流计算 Oceanus 数据仓库 TCHouse-P

    JDBC-PG Connector 提供了对 云数据仓库 TCHouse-P 写入支持。

    腾讯云产品 6天前
  • 流计算 Oceanus 变量管理

    用户可以在变量管理中新建变量,之后就可以在 SQL 作业中使用变量。SQL 作业的变量替换分为两种模式,表级替换模式和全 SQL 替换模式。

    腾讯云产品 6天前
  • 流计算 Oceanus 开发 Python 作业

    这篇说说腾讯云流计算Oceanus Python作业的创建与开发流程,需先有独享集群,上传程序包后配置主程序包、入口类及作业参数,支持Flink 1.13⁄1.16及Python 3.7,可设置内置Connector、日志采集、高级参数、规格与并行度,并支持从快照恢复作业。 【前提与创建】:需先创建独享集群,在控制台新建作业并选择类型和集群。 【开发流程】:上传Python或Zip包,配置主程序包、入口类及参数,保存。

    腾讯云产品 6天前