数据开发治理平台 WeData

  • 数据开发治理平台 WeData 离线同步常见问题

    数据集成资源组需要和客户的数据库在同一个VPC网络下,通过内网访问。如果集成资源组和数据库在不同区域的VPC下,需要通过云联网 CCN 打通网络。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 参数传递

    用于支持参数在上下游之间传递。例如:将当前任务的计算结果作为参数传递给子任务使用。多个结果可通过列号指定传递对象。支持范围:Hive SQL、JDBC SQL、Python、Shell、Spark SQL、DLC SQL、Impala、TCHouse-P、DLC PySpark。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 支持的数据源与读写能力

    数据集成包括离线与实时数据链路,目前支持关系型数据库、大数据存储、半结构化数据、NoSQL、消息队列等各类数据源。可以以根据各个模块对数据源的支持情况,选择对应的功能模块进行同步任务的配置。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 数据服务资源组

    1. 在执行资源组 > 数据服务资源组的 Tab 页面下,单击资源初始化,在弹框中配置区域和网络、子网、API 网关实例,即可将数据服务资源加入列表。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 高级设置

    这篇说说腾讯云任务的高级设置,包括任务优先级、失败重试次数、重试等待时间、重跑补录配置及超时处理策略,用于控制任务执行顺序与异常处理。 任务优先级:多任务时决定执行顺序,默认为低优先级。 失败重试:支持最多重试5次,可配置重试等待时间。 超时处理:支持运行耗时或等待总时长超时,可置失败或重试。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 集成资源连通性与使用规划

    使用数据集成同步任务之前,需要保证数据源网络(包括读端、写端)与数据集成资源组之间网络互通,且资源不可因为白名单限制等原因被拒绝访问,否则无法完成数据传输同步。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 流计算资源组

    这篇说说腾讯云流计算资源组集群的创建流程,在Tab页面单击新建集群后进入配置页,需填写计费模式、地域、VPC、集群名称、计算CU数等参数,配置完成后单击立即购买并支付即可查看资源组信息。 – 配置参数:包括计费模式(包年包月)、地域、VPC、集群名称、计算CU数(1CU=1CPU+4GB内存)等。 – 费用说明:总费用=计算资源费用+管控资源费用,CU数≥48时减免管理节点费用。 – 后续操作:配置完成后单击立即购买。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 同步任务自动建表能力

    数据集成在离线及实时场景下提供一键建表、自动建表等功能,以帮助你在同步前或同步中快速构建目标数据表,从而提高数据链路使用效率。这里说明对应功能使用方式、支持的链路、核心异构数据源间类型转换关系等。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 集成资源组配置公网

    这篇说说如何通过NAT网关为腾讯云资源组的VPC配置公网访问能力,核心步骤包括创建NAT网关、创建并绑定指向NAT网关的路由表、关联子网。 创建NAT网关:在私有网络控制台新建并购买NAT网关。 配置路由表:创建路由表,目的端填0.0.0.0/0,下一跳选择NAT网关。 关联子网:将路由表与需要公网访问的子网绑定。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 实时节点高级参数

    这篇列出腾讯云数据同步任务中MySQL、Doris、Oracle、MongoDB等数据源的节点级与作业级参数配置说明,包括参数描述、适用场景及注意事项,重点优化大数据量任务下的内存与性能。 MySQL节点级参数:scan.newly-added-table.enabled用于暂停后感知新增表,scan.incremental.snapshot.chunk.size控制chunk条数防OOM。 Doris节点级参数:s。

    腾讯云产品 6天前