数据开发治理平台 WeData
-
数据开发治理平台 WeData CI/CD——持续集成与交付
持续集成和持续交付 (Continuous integration and continuous delivery,CI/CD) 是指通过使用自动化流水线,以短周期、高频率的方式开发和交付软件的过程。CI/CD 在软件开发中很常见,并且对数据工程和数据科学也越来越重要。相比手动流程,通过自动化代码的构建、测试和部署,开发团队能够更可靠地交付版本。
-
数据开发治理平台 WeData 产品基础相关
腾讯云WeData是一站式数据协作开发治理平台,提供即席分析、工作流编排、数据资产管理及治理等全链路能力,支持多种云上及自建数据源,并支持私有化部署。 应用场景:涵盖企业级数据仓库构建、数据可视化协同开发与数据治理。 产品能力:提供全链路数据加工能力,包括即席分析和协同编排。 数据源支持:支持MySQL、Hive、Kafka等关系型、大数据、NoSQL及消息队列数据源。
-
数据开发治理平台 WeData 实时运维
对于在完成配置并提交的实时任务,可以以进入实时运维内查看并操作对应的任务。可以以在实时运维内查看任务运行的基本运行状态、任务运行指标统计、运行日志、以及配置任务异常告警等。这篇列举实时同步任务的常。
-
数据开发治理平台 WeData 数据源一览(离线同步支持的数据源)
数据集成包括离线目前支持关系型数据库、大数据存储、半结构化数据、NoSQL、消息队列等各类数据源。可以以根据各个模块对数据源的支持情况,选择对应的功能模块进行同步任务的配置。
-
数据开发治理平台 WeData 迁移助手
迁移助手支持导入和导出任务、项目参数、函数、事件、数据集成等对象,并抽象出通用的业务流程,便于快速复制业务。在开发与生产集群完全隔离的情况下,可以以通过自定义导出功能,实现类似于发布任务的操作。这里说明如何将任务从源项目导出并导入到目标项目。
-
数据开发治理平台 WeData Serverless 资源组配置
进入 数据开发治理平台 WeData 控制台,单击执行资源组 > Serverless资源组,进入资源组创建页面,单击一键开通即可创建 Serverless 资源组。
-
数据开发治理平台 WeData 用户账号和权限管理
数据开发治理平台 WeData 基于 腾讯云 CAM 用户管理体系,支持用户使用主账号或子账号的方式通过 腾讯云控制台 登录,也支持基于 SAML 2.0和 OIDC 的 SSO(Single Sign On)单点登录。在 WeData 产品内部,拥有独立的基于 RBAC 的用户角色和权限控制体系,腾讯云账号需要同时授予 CAM 策略和 WeData 成员角色。
-
数据开发治理平台 WeData 统计指标
可以以通过单击实时运维 > 操作 > 更多 > 统计指标或实时运维 > 任务名称 > 统计指标,进入实时同步统计指标界面查看任务同步进度、任务资源占用及库表同步情况。统计指标主要分为读写指标、资源指标、链路详情(仅针对整库任务)三个维度。
-
数据开发治理平台 WeData 导入离线同步任务
在数据集成模块创建离线集成任务后,若需将任务与其他任务进行编排、配置任务依赖关系时,可以将未提交的离线同步任务从数据集成导入到数据开发 > 编排空间中,后续可在数据开发 > 编排空间配置调度,并提交任务到数据开发的运维中心。
-
数据开发治理平台 WeData Kyuubi 数据源配置
Kyuubi 数据源血缘解析依赖 Catalog 配置,当前 Kyuubi 数据源支持系统创建和自定义创建两种方式。