一、支持的数据源类型
目前支持元数据采集的数据源类型如下:
| 数据源分类 | 数据源类型 |
| 大数据 | Hive |
| | HBase |
| | DLC |
| | ClickHouse |
| | TCHouse-C |
| | Iceberg |
| | Greenplum |
| | Doris |
| | StarRocks |
| | TCHouse-D |
| | EMR StarRocks |
| | GaussDB |
| | TCHouse-X |
| 关系型数据库 | MySQL |
| | 腾讯云 MySQL |
| | PostgreSQL |
| | Oracle |
| | SQL Server |
| | TCHouse-P |
| | TDSQL-PostgreSQL |
| | 达梦 DM |
| | OceanBase |
| | TDSQL MySQL |
| NoSQL | CTSDB influxDB |
| 消息队列 | Kafka |
| | CKafka |
二、配置采集任务
1. 进入元数据采集界面,单击新建采集任务,选择数据源类型。
2. 设置采集对象。
每个采集任务最多支持绑定到 WeData 项目下的单个数据源,数据源不可重复绑定采集任务。
| 信息 | 详情 |
| 任务名称 | 采集任务的名称,不可为空,命名支持以字母、中文开头,可包含字母、中文、数字、减号(-)和下划线(_) |
| 描述 | 选填,对采集任务的描述信息 |
| 数据源 | 先选择项目,为数据源指定所属项目,将数据源管理权限与项目绑定;再选择采集任务对应的数据源名称,该数据源可在项目管理模块内查看 |
| 数据库 | 一个数据库只能对应一个采集任务,已经被采集的库不可选择 |
| 数据表 | 需采集的数据表 |
| 任务责任人 | 责任人拥有对该任务的查看、停止、启动、查看日志、查看详情、重跑、修改任务信息 |
| 数仓分层 | 选择对应的数仓分层 |
| 资产目录 | 选择所属的资产目录 |
| 标签 | 为数据表打标签 |
3. 配置采集计划
配置元数据采集任务运行的周期、具体的日期、以及时间等信息。
·采集周期:当前版本支持每10分钟、小时、日、周、月、一次性采集任务。
·采集日期:采集日期根据采集周期进行配置。
·立即运行:设置后,采集任务将在任务配置完成后立即触发一次采集。
·运行配置:支持选择执行资源,或者新建执行资源;配置完成后,可以点击“测试”,测试连通性
三、采集任务列表
采集任务列表提供了当前用户下所有采集任务信息,包括任务名称、采集对象、任务责任人,创建人等信息,提供了包括采集任务详情查看、日志、编辑、删除和转交的操作。
| 信息 | 详情 |
| 任务名称 | 采集任务的名称 |
| 数据源类型 | 数据源类型 |
| 数据源 | 采集任务的采集数据源 |
| 引擎 ID | 采集任务中数据源对应的引擎 ID |
| 采集库 | 采集任务的采集数据库 |
| 任务责任人 | 当前的任务负责人的账号名称 |
| 创建方式 | 采集任务的创建方式,分为系统创建、自定义创建。系统创建:系统自动创建(系统源的采集任务);自定义创建:手动创建的任务 |
| 创建人 | 创建采集任务的账号名称 |
| 创建时间 | 创建采集任务的时间 |
| 采集计划 | 采集任务运行周期 |
| 运行状态 | 采集任务的运行状态 |
| 最近执行时间 | 采集任务最近一次运行的年月日及时刻信息 |
| 操作 | 提供包括采集任务详情查看、日志、编辑、删除和转交的操作 |
四、运行采集任务
手动运行一次性/周期任务。
五、编辑采集任务
非执行状态下可编辑项目、数据源、更新方式、删除方式、以及采集计划;支持同类型数据源变更,采集任务根据最新绑定的采集对象采集。
六、删除采集任务
采集任务删除后,对该数据源的采集将停止,同时可以同步删除已采集的元数据。
七、转交采集任务
在采集任务列表中,可以把采集任务转交给另一位任务责任人,原责任人不再拥有对该任务的管理权限。