数据开发治理平台 WeData 新建并管理数据源

一、支持的数据源类型

当前版本下，腾讯云 WeData 共支持50+种数据源，包括：

·关系数据库：TDSQL-C MySQL、TDSQL MySQL、TDSQL PostgreSQL、腾讯云 MySQL、 MySQL、TCHouse-P、PostgreSQL、Oracle、SQL Server、IBM DB2、达梦 DM、SAP HANA、Sybase、TiDB、OceanBase；

·大数据：HDFS、HBase、Hive、Kudu、Greenplum、TCHouse-C、Clickhouse、GaussDB、TCHouse-D、Doris、DLC、Impala、Gbase、Tbase、Iceberg、StarRocks、Trino、Kyuubi、TCHouse-X、BigQuery；

·半结构化数据：FTP、SFTP、COS、REST API、S3、Azure Blob；

·NoSQL 数据：Redis、腾讯云 Elasticsearch、Elasticsearch、腾讯云 MongoDB、MongoDB、Graph Database、CTSBDB InfluxDB、TDengine；

·消息队列：CKafka 、DTS-Kafka、Kafka、TDMQ Pulsar；

·其他：SSH、File System。

二、数据源列表

登录数据开发治理平台 WeData 控制台，单击左侧菜单项目列表，找到需要管理的项目，单击右侧更多 > 项目管理 > 数据源管理。在数据源管理页面，可查看和管理本项目下的数据源信息。

项目中包含系统源和自定义源两种数据源。系统源是绑定存算引擎后自动生成的数据源；自定义源由用户自行新建。

三、系统源

系统源为用户在项目中绑定计算引擎时自动创建的数据源。系统源目前仅支持用户查看数据源连接信息和编辑，不支持删除、授权与回收操作。

·绑定 EMR 引擎将自动创建 EMR Hive 数据源、EMR HBase 数据源、EMR Kyuubi 数据源、EMR Impala 数据源、EMR Trino 数据源；

·绑定 DLC 引擎将自动创建 DLC 数据源；

·绑定 TCHouse-P 引擎将自动创建 TCHouse-P 数据源。

·查看连接信息：选择数据源所在行并单击查看连接信息。

·编辑：选择数据源所在行并单击编辑。仅支持由主账号编辑显示名。

四、自定义源

自定义源为用户在 WeData 中引入的数据源，目前支持 MySQL、Kafka、HDFS 等共计20+种数据源类型。自定义源支持查看连接信息、编辑、删除、授权与回收操作。

·查看连接信息：选择数据源所在行并单击查看连接信息。

·编辑：选择数据源所在行并单击编辑。

·除数据源名称和所属项目外，其他配置项均可编辑。

·云实例：通过云实例方式引入的数据源可修改数据源描述、用户名及密码。

·连接串：通过连接串方式可配置描述、HBase 版本、描述、部署方式、Zookeeper 连接地址等。

·编辑数据源后，单击开始测试，测试编辑后的数据源的连通性。并单击确定对编辑内容进行保存。

·删除

·选中数据源，并单击操作列中删除。

·确认数据源信息，单击删除。

·授权/批量授权

·选中数据源，并单击操作列中授权。

·选择授权对象，用户或项目。

·选择目标用户或项目，单击确定。


·回收

·选中数据源，并单击操作列中回收。

·选择需要回收权限的目标项目或成员，单击回收。

·批量移交

·选中数据源，并单击左上角批量转交。

·选择需要转交权限的目标用户，单击确定。转交后该数据源的负责人将变为转交人。

五、创建关系数据库数据源

腾讯云 WeData 当前版本支持创建的关系型数据库包括10余种，其中腾讯云关系型数据库产品（例如，TDSQL-C MySQL、TDSQL MySQL、TDSQL PostgreSQL、腾讯云 MySQL 等）支持用云实例的方式进行连接，通用关系型数据库数据源（例如 MySQL、PostgreSQL、Oracle、SQL Server 等）支持使用连接串的方式进行连接。

六、选择数据源类型

单击新建数据源并选择数据源类型，选择后单击下一步。

七、配置数据源：TDSQL-C MySQL

腾讯云关系型数据库产品，以 TDSQL-C MySQL 数据源为例进行讲解，其他数据源同理。TDSQL-C MySQL 数据源支持云实例和连接串两种连接方式。

·通过云实例方式创建数据源。

·通过连接串创建数据源。

八、配置数据源：PostgreSQL

通用关系型数据库数据源，以 PostgreSQL 为例进行讲解，其他数据源同理。PostgreSQL 数据源仅支持连接串一种连接方式。

九、配置数据源：IBM DB2

DB2 数据源仅支持连接串一种连接方式。

十、配置数据源：Sybase

Sybase 数据源仅支持连接串一种连接方式。

十一、创建大数据数据源

腾讯云 WeData 当前版本支持创建的大数据类型数据源包括20种，其中 TCHouse-C、TCHouse-D 为腾讯云大数据产品。

十二、选择数据源类型

单击新建数据源并选择数据源类型，选择后单击下一步。

十三、配置数据源：HDFS

WeData 目前支持通过腾讯云 EMR 云实例和连接串两种方式引入 HDFS 数据源。

·云实例方式引入数据源。

·连接串方式引入数据源

十四、配置数据源：HBase

WeData 目前支持通过腾讯云 EMR 云实例和连接串两种方式引入 HBase 数据源。

·云实例方式引入数据源

·连接串方式引入数据源

十五、配置数据源：Hive

WeData 目前支持通过连接串引入 Hive 数据源。

十六、配置数据源：Kudu

WeData 目前支持通过腾讯云 EMR 和连接串两种方式引入 Kudu 数据源。

·云实例方式引入数据源。

·连接串方式引入数据源。


十七、配置数据源：Doris

WeData 目前支持通过连接串方式引入 Doris DB、StarRocks 数据源。

十八、配置数据源：Iceberg

WeData 目前支持通过连接串方式引入 Iceberg 数据源。

十九、配置数据源：DLC

WeData 目前支持通过云实例的方式接入DLC 数据源。

20、DLC 权限范围操作指南

1. 请在访问管理 > 用户 > 用户列表页面中，单击新建用户并开始创建新用户（即子账号）。


2. 按创建用户页面流程创建用户：填写用户名、选择标签键与标签值，即可完成新用户的创建。


3. 在访问管理 > 策略页面中，给指定的角色或子账号设置对应 DLC 数据策略赋予权限。


4. 申请密钥：若当无子账号时，可引导并跳转到创建子账号对应 API 密钥页面进行创建密钥：


5. DLC 平台 CAM 权限增加 DLC 策略权限，详情请参见 访问管理 CAM 服务。


21、配置数据源：ClickHouse、Kyuubi、TCHouse-X

WeData 目前支持通过云实例或连接串方式引入 ClickHouse、Kyuubi、TCHouse-X 数据源。

·云实例方式引入数据源。

·连接串方式引入数据源。

22、配置数据源：Trino

腾讯云 WeData 目前支持连接串方式引入 Trino 数据源。

23、配置数据源：Greenplum、GaussDB、Impala、Tbase、Gbase

针对数据源类型：Greenplum、GaussDB、Impala、Tbase、Gbase，腾讯云 WeData 目前支持连接串方式进行接入。

24、创建半结构化数据源

腾讯云 WeData 当前版本支持 FTP、SFTP、COS、REST API 等六种半结构化数据源，其中 COS 是腾讯云产品。

25、选择数据源类型

单击新建数据源并选择数据源类型，选择后单击下一步。

26、配置数据源：FTP

腾讯云 WeData 目前支持连接串方式引入 FTP 数据源。

27、配置数据源：SFTP

腾讯云 WeData 目前支持连接串方式引入 SFTP 数据源。

28、配置数据源：COS

腾讯云 WeData 目前支持云实例方式引入 COS 数据源。

29、配置数据源：REST API

腾讯云 WeData 目前支持连接串方式引入 REST API 数据源。

30、创建 NoSQL 数据源

腾讯云 WeData 当前版本支持的 NoSQL 类型数据源包括 Redis、腾讯云 Elasticsearch、Elasticsearch、腾讯云 MongoDB、MongoDB、Graph Database、CTSDB InfluxDB、TDengine 八种，其中腾讯云 Elasticsearch、腾讯云 MongoDB 为腾讯云 NoSQL 数据库产品。

31、选择数据源类型

单击新建数据源并选择数据源类型，选择后单击下一步。

32、配置数据源：腾讯云 Elasticsearch

腾讯云 Elasticsearch 数据源、MongoDB 数据源支持通过云实例的方式进行接入，以腾讯云 Elasticsearch 为例进行讲解，腾讯云 MongoDB 数据源同理。

注意：说明：

注意：Elasticsearch 数据源包括腾讯云 Elasticsearch 和 Elasticsearch。当通过 HTTPS 协议建立数据源时：

33、配置数据源：Redis

Redis、Elasticsearch、MongoDB、Graph Database 数据源目前仅支持用连接串方式接入，以 Redis 数据源为例进行讲解，其他数据源同理。

34、创建消息队列数据源

腾讯云 WeData 当前版本支持的消息队列类型数据源包括腾讯云 CKafka、DTS-Kafka、Kafka、TDMQ Pulsar 四种，其中 CKafka、DTS-Kafka、TDMQ Pulsar 为腾讯云消息队列产品。

35、选择数据源类型

单击新建数据源并选择数据源类型，选择后单击下一步。

36、配置数据源：腾讯云 CKafka

WeData 支持通过云实例方式接入 CKafka 类型数据源。

37、配置数据源：DTS-Kafka

WeData 支持通过云实例方式接入 DTS-Kafka 类型数据源。

38、配置数据源：Kafka

WeData 支持通过连接串方式接入 Kafka 类型数据源。

40、选择数据源类型

单击新建数据源并选择数据源类型，选择后单击下一步。

41、配置数据源：SSH

42、配置数据源：File System

查看数据源关联任务

43、操作入口

项目管理–数据源管理–（数据源列表）更多–查看关联任务情况

44、查看相关任务

点击查看关联任务情况后会弹出“查看相关任务”弹窗，展示该数据源在当前项目及授权项目下关联的任务总数。点击“任务”列的数字，从右侧展开「任务详情」抽屉。

45、查看任务详情

为保证数据的有效性，系统仅统计“生效中”的任务和数据服务API。点击“任务名称”，可以跳转到对应模块进行修改。