腾讯云产品

  • 数据开发治理平台 WeData PySpark

    from pyspark.sql import SparkSessionfrom pyspark.sql.types import StructType, StructField, IntegerType, StringTypespark = SparkSession.builder.appName(“WeDataApp”).getOrCreate()schema = StructType([ StructFie。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 数据质量(任务节点类型)

    数据质量监控节点可通过配置数据质量监控规则,监控相关数据源表的数据质量(例如,是否存在脏数据)。对数据源表的质量(如脏数据)进行监控,并支持自定义调度策略以周期性执行校验任务。这里说明如何使用数据质量监控节点进行任务监控。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 测试 API

    这篇说说在腾讯云WeData中测试已配置API的操作流程,涵盖登录控制台、打开API、输入参数发起调用及查看执行日志。 操作步骤:登录WeData控制台,选择项目进入数据服务,双击API后点击测试,输入参数发起调用并查看结果。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 依赖检查节点

    依赖检查是一种任务节点类型,用于实现跨工作流依赖:在下游工作流中声明对其他工作流的依赖,节点运行时自动检查上游工作流的运行状态,全部满足后放行下游任务继续执行。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 运维大屏

    运维大屏中展示了数据开发任务的总览信息,以图表的形式展示需要重点关注的运维指标,包括任务总览、实例总览、实例运行趋势、实例时长排行、调度资源使用情况、调度资源使用趋势、调度资源组实例变化趋势、任务状态趋势、任务状态分布、任务周期分布、实例状态分布。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 实时任务运维

    当用户在编排空间中完成 DLC Spark Streaming 等实时任务配置并提交后,即可在实时任务运维界面对 DLC Spark Streaming 进行管理和运行操作,包括对任务执行运行、下线、删除、修改负责人等操作,还包括查看实例、查看详情等功能。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 成员与角色管理

    为项目添加成员。单击左侧目录树中成员与角色管理后,在成员管理页签下可以查看和管理本项目下的成员信息。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData Spark

    这篇说明如何向WeData工作流调度平台提交Spark任务,需在EMR集群启动Hive/Spark组件并具备COS权限,资源文件需存储于COS中。文档详细介绍了参数配置、SparkJar示例(以WordCount为例)及完整操作步骤,包括本地编写代码、打包上传、创建任务并配置调度。 参数说明:spark程序zip包需打包jar及依赖为zip,执行参数无需指定提交模式(默认yarn)。 SparkJar示例:通过mav。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData 工作流调度通用开发流程

    工作流调度即调度配置统一在工作流粒度进行配置,工作流下的任务直接按照工作流调度运行。

    腾讯云产品 6天前
  • 数据开发治理平台 WeData API 授权

    这篇说说腾讯云WeData平台中API授权管理操作,包括如何授权API给其他用户、解除授权及查找API,需项目管理员或数据工程师角色。 授权操作:支持授权到个人用户,需设置用户、关联应用和有效期。 解除授权:可在API授权信息页面回收用户权限。 查找API:通过关键字搜索或项目/标签列表筛选所需API。

    腾讯云产品 6天前