云服务器特惠 99/年起
  1. 腾讯云优惠网首页
  2. 腾讯云产品

数据开发治理平台 WeData 离线同步至 COS（Parquet 文件）字段映射指南

• 腾讯云产品

这篇说说了将不同类型的数据库（包括Oracle、PostgreSQL、SQL Server、MySQL和BigQuery）同步至腾讯云对象存储（COS）的相关内容。各数据库同步: 分别阐述了Oracle、PostgreSQL、SQL Server、MySQL和BigQuery这几种数据库同步至COS的相关情况。

相关产品
数据开发治理平台 WeData 产品页，含版本规格、价格与购买入口。

一、1. Oracle 同步至 COS

Oracle 字段类型 映射至 COS（Parquet 文件）字段类型 备注
CHAR STRING –
VARCHAR2 STRING –
NVARCHAR2 STRING –
NCHAR STRING –
NUMBER DECIMAL –
INTEGER BIGINT –
FLOAT DOUBLE –
LONG STRING –
BINARY_FLOAT FLOAT –
BINARY_DOUBLE DOUBLE –
DATE STRING 不带时区（若时间带有毫秒，STRING 会丢失毫秒精度）
TIMESTAMP STRING 不带时区（若时间带有毫秒，STRING 会丢失毫秒精度）
TIMESTAMP WITH TIME ZONE TIMESTAMP 带时区
INTERVAL YEAR TO MONTH STRING –
INTERVAL DAY TO SECOND STRING –
BLOB STRING –
CLOB STRING –
NCLOB STRING –
RAW STRING –
LONG RAW STRING –
ROWID STRING –
UROWID STRING –

二、2. PostgreSQL 同步至 COS

PostgreSQL 字段类型 映射至 COS（Parquet 文件）字段类型 备注
BIT STRING –
BIT VARYING STRING –
BOOLEAN BOOLEAN –
BOX STRING –
BYTEA STRING –
CHARACTER STRING –
CHARACTER VARYING STRING –
CIDR STRING –
CIRCLE STRING –
DATE TIMESTAMP –
DOUBLE PRECISION FLOAT –
INET STRING –
INTEGER INT –
INTERVAL STRING –
JSON STRING –
JSONB STRING –
LINE STRING –
LSEG STRING –
MACADDR STRING –
MACADDR8 STRING –
MONEY STRING –
NUMERIC DECIMAL –
PATH STRING –
PG_LSN STRING –
PG_SNAPSHOT STRING –
POINT STRING –
POLYGON STRING –
REAL(FLOAT4) FLOAT –
SMALLINT INT –
SMALLSERIAL INT –
SERIAL INT –
TEXT STRING –
TIME WITHOUT TIME ZONE STRING 不带时区（若时间带有毫秒，STRING 会丢失精度）
TIMESTAMP WITHOUT TIME ZONE STRING 不带时区（若时间带有毫秒，STRING 会丢失精度）
TIMESTAMP WITH TIME ZONE(TIMESTAMPTZ) TIMESTAMP 带时区
TSQUERY STRING –
TSVECTOR STRING –
UUID STRING –
XML STRING –
ARRAY STRING –

三、3. SQL Server 同步至 COS

SQL Server 字段类型 映射至 COS（Parquet 文件）字段类型 备注
TINYINT INT –
SMALLINT INT –
INT INT –
BIGINT BIGINT –
BIT BOOLEAN –
DECIMAL DECIMAL –
NUMERIC DECIMAL –
MONEY DECIMAL –
SMALLMONEY DECIMAL –
FLOAT FLOAT –
REAL FLOAT –
DATE STRING –
TIME STRING 不带时区（若时间带有毫秒，STRING 会丢失精度）
DATETIME2 TIMESTAMP –
DATETIMEOFFSET TIMESTAMP –
DATETIME TIMESTAMP –
SMALLDATETIME STRING –
CHAR STRING –
VARCHAR STRING –
TEXT STRING –
NCHAR STRING –
NVARCHAR STRING –
NTEXT STRING –
BINARY STRING –
VARBINARY STRING –
IMAGE STRING –
CURSOR STRING –
GEOGRAPHY STRING –
GEOMETRY STRING –
HIERARCHYID STRING –
JSON STRING –
ROWVERSION BIGINT –
SQL_VARIANT STRING –
UNIQUEIDENTIFIER STRING –
XML STRING –

四、4. MySQL 同步至 COS

MySQL 字段类型 映射至 COS（Parquet 文件）字段类型 备注
BIT STRING –
TINYINT INT –
BOOL BOOLEAN –
BOOLEAN BOOLEAN –
SMALLINT INT –
MEDIUMINT INT –
INT INT –
BIGINT BIGINT –
DECIMAL DECIMAL –
NUMERIC DECIMAL –
FIXED DECIMAL –
FLOAT FLOAT –
DOUBLE DOUBLE –
REAL FLOAT –
DATE STRING –
TIME STRING 不带时区（若时间带有毫秒，STRING 会丢失精度）
DATETIME STRING 不带时区（若时间带有毫秒，STRING 会丢失精度）
TIMESTAMP TIMESTAMP 带时区
YEAR INT –
CHAR CHAR –
VARCHAR CHAR –
BINARY STRING –
VARBINARY STRING –
TINYBLOB STRING –
BLOB STRING –
TEXT STRING –
MEDIUMBLOB STRING –
MEDIUMTEXT STRING –
LONGTEXT STRING –
SET STRING –
GEOMETRY STRING –
POINT STRING –
LINESTRING STRING –
POLYGON STRING –
MULTIPOINT STRING –
MULTILINESTRING STRING –
MULTIPOLYGON STRING –
GEOMETRYCOLLECTION STRING –
JSON STRING –

五、5. BigQuery 同步至 COS

BigQuery 字段类型 映射至 COS（Parquet 文件）字段类型 备注
ARRAY STRING –
BOOL BOOLEAN –
BYTES STRING –
DATE STRING 不带时区
DATETIME STRING 不带时区
TIME STRING 不带时区
TIMESTAMP TIMESTAMP 带时区
GEOGRAPHY STRING –
INTERVAL STRING –
JSON STRING –
INT64 BIGINT –
NUMERIC DECIMAL –
BIGNUMERIC STRING –
FLOAT64 DOUBLE –
RANGE STRING –
STRING STRING –
STRUCT<…> STRING –

相关内容：

  1. 数据开发治理平台 WeData TDSQL MySQL 数据源 数据集成提供了 TDSQL MySQL 的读取和写入能力，这里说明使用 TDSQL-C MySQL 进行实时数据同步的前置环境配置以及当前能力支持情况。...
  2. TDSQL-C MySQL 版 比较运算支持说明 目前只读分析引擎支持大部分 MySQL 的比较运算逻辑，但在部分场景下仍然存在限制和不兼容。这里说明在只读分析引擎中比较运算的支持情况，针对输入参数中的类型限制进行了列举。如存在文档中未提到的入参与使用方法则均不支持。...
  3. 数据开发治理平台 WeData MySQL 离线同步至 Hive 指引 这篇档将手把手的指引你完成 MySQL 离线同步至 Hive 的流程操作，大体的流程如下五、离线单表：MySQL 同步至 Hive 配置步骤。...
  4. 大数据智能体工作台 DataBuddy Parquet 格式 Parquet 为列式存储格式，文件内自带 schema，读取时自动解析字段名与字段类型，无需用户声明。同一任务读取的所有 Parquet 文件须适配同一套 schema。这里说明 Parquet 格式在 DataBuddy 数据接入中的支持能力、参数设置与类型转换规则。...
  5. 数据开发治理平台 WeData SAP HANA 数据源 这篇说说腾讯云数据集成中SAP HANA离线单表读取与写入节点的配置参数，包括库、Schema、表、切割键及筛选条件等设置，并列出SAP HANA与内部数据类型的转换支持。 读取节点配置：支持选择或手动输入库、Schema、表及切割键，切割键建议使用主键或有索引的整型列以实现并发读取。 写入节点配置：支持选择或手动输入目标表，可设置是否清空表、批量提交大小及前置/后置SQL。 数据类型转换：提供SAP HANA类型（。...
  6. 数据开发治理平台 WeData 同步任务自动建表能力 数据集成在离线及实时场景下提供一键建表、自动建表等功能，以帮助你在同步前或同步中快速构建目标数据表，从而提高数据链路使用效率。这里说明对应功能使用方式、支持的链路、核心异构数据源间类型转换关系等。...
  7. 数据开发治理平台 WeData 达梦 DM 数据源（数据源列表） 这篇说说腾讯云数据集成中达梦DM离线单表读取与写入节点的配置，支持DM 7/8版本，涵盖参数说明、数据类型转换及脚本模式Demo。 读取节点：支持切割键并发读取，可配置where条件筛选数据。 写入节点：支持append/upsert模式，可配置前后置SQL及批量提交大小。 数据类型：读取时DM类型映射为Long/Double/String/Date等内部类型，写入时反向映射。...
  8. 数据开发治理平台 WeData OceanBase 数据源 数据集成提供了 OceanBase 的读取能力，这里说明使用 OceanBase 进行实时数据同步的前置环境配置以及当前能力支持情况。...
赞 (0)
上一篇 5天前
下一篇 5天前