数据传输服务 Demo 说明

一、Demo 关键逻辑讲解

Demo 中的文件说明如下，以 Java Demo 为例进行介绍。

·consumerDemo-avro-java\\src\\main\\resources\\avro-tools-1.8.2.jar：用来生成 Avro 协议相关代码的工具。

·consumerDemo-avro-java\\src\\main\\java\\com\\tencent\\subscribe\\avro：Avro 工具生成代码的目录。

·consumerDemo-avro-java\\src\\main\\resources\\Record.avsc：协议定义文件。

Record.avsc 中我们定义了14个结构（Avro 中叫做 schema），其中主要的数据结构为 Record，用于表示 binlog 中的一条数据，Record 的结构如下，其他数据结构可以在 Record.avsc 中查看：

{ "namespace": "com.tencent.subscribe.avro", //Record.avsc 中的最后1个 schema，"name" 显示为 "Record" "type": "record", "name": "Record", //"name" 显示为 "Record"，表示从 kafka 中消费的数据格式 "fields": [ { "name": "id", //id 表示全局递增 ID，更多 record 取值解释如下表 "type": "long", "doc": "unique id of this record in the whole stream" }, { "name": "version", //version 表示协议版本 "type": "int", "doc": "protocol version" }, { "name": "messageType", //消息类型 "aliases": [ "operation" ], "type": { "namespace": "com.tencent.subscribe.avro", "name": "MessageType", "type": "enum", "symbols": [ "INSERT", "UPDATE", "DELETE", "DDL", "BEGIN", "COMMIT", "HEARTBEAT", "CHECKPOINT", "ROLLBACK" "STATEMENT", "INIT_DDL", "INIT_INSERT" ] } }, { …… }, }

Record 中的字段类型解释如下：

Record 中描述列属性的字段为 "Field"，包含如下四个属性：

·name：列名。

·dataTypeNumber：是 binlog 中记录的数据类型。取值详见 MySQL。

·isKey：是否主键。

·originalType：DDL 中定义的数据类型。

二、数据库字段映射关系

对于时间类型，转换逻辑如下。

·datetime：如果源库有精度，DTS 对源库全量及增量数据的精度解析与源库保持一致。如果源库没有精度，DTS 解析的精度为0。

示例：源库 INSERT 数据 datetime 值为 2024-10-24 12:34:56.123456，消费到的数据为 2024-10-24 12:34:56.123456。

·time：DTS 解析的精度一定大于等于源端精度，必要时会补0~6位精度。

·timestamp：DTS 对源库全量及增量数据的精度解析为毫秒级，即3位精度，对于 timestamp(4)/timestamp(5)/timestamp(6)，会丢失毫秒之后的精度。

示例：源库 INSERT 数据 timestamp 值为 2024-10-24 12:34:56.123456，消费到的数据为 2024-10-24 12:34:56.123。

注意：说明：

注意：建议用户在消费数据时，不必关注源库的精度，消费程序中对时间类型的字段解析0~6位精度的格式都进行兼容即可。

如下为数据库（如 MySQL）字段类型和 Avro 协议中定义的数据类型之间的映射关系。