数据开发治理平台 WeData Oracle 数据源

一、支持版本

目前数据集成已支持 Oracle 单表及整库级实时读取和单表写入，使用实时同步能力需遵循以下版本限制：

二、使用限制

Oracle数据源基于Oracle内置日志分析工具LogMiner读取Oracle的重做日志（Redo Log）和归档日志（Archive log），在目标端进行重放，实现实时同步。该方案目前存在以下限制：

·增量日志保留时长至少3天，如果全量阶段数据量很大，请延长增量日志保留时长。

·Oracle 只读备库只支持 logical standby，不支持 physical standby。

·无主键的表由于无法保证 exactly-once 可能会有数据重复，因此实时同步任务最好保证有主键。

·若要监控 Oracle 端表字段变更，数据源请勿配置 system/sys 两个账号，否则所有表（包括新增表）都需要开启日志才能进行同步。

·DDL 加列带默认值时，导致Logminer拿到的表的schema和变更日志中的数据不一致，可能导致解析异常。

·Logminer 读取日志时，可能存在 DDL 和 DML 顺序错乱，导致读取数据解析失败。

·Logminer 可能丢失事务的结束标识，导致无法确认事务是否提交，数据是否需要发送。

·Logminer 超过5k/s时可能出现延迟较大。

·开启 Rac 模式时，Log 文件切换时 Logminer 可能不感知，导致部分数据缺失。

注意：说明：

注意：如果无法接受以上限制，建议使用 OGG(oracle GoldenGate) 将数据先写入 kafka，然后消费 kafka 写入目标表。该方式目标表需要提前建好，无法通过实时同步任务自动建表；如源端有DDL变更，也需要手动在目标端变更。

三、授权数据库权限

主要是创建基础的同步用户，以及授予拉取存量数据的权限。给需要使用的用户授权各个 view、需导入表的读权限。

ANALYZE ANY 权限的主要作用是读取表的结构与 unique index。当表没有主键时，可以使用某一个 unique index 来代替主键的作用。

sqlplus sys/password@host:port/SID AS SYSDBA;CREATE USER flinkuser IDENTIFIED BY flinkpw DEFAULT TABLESPACE LOGMINER_TBS QUOTA UNLIMITED ON LOGMINER_TBS;– 允许用户连接到数据库 GRANT CREATE SESSION TO flinkuser; — 授予用户对数据库中所有表的SELECT权限，用于读取数据 GRANT SELECT ANY TABLE TO flinkuser;–SELECT_CATALOG_ROLE预定义的数据库角色，它提供了查看数据库系统表的权限；此外，增量阶段的时候，logminer session也依赖于该权限来查询表的结构。 GRANT SELECT_CATALOG_ROLE TO flinkuser;–GRANT ANALYZE ANY是一个授权语句，用于授予用户分析任何用户拥有的所有表、索引、分区和表函数的权限；当表没有主键时，依赖该权限拿到表的惟一索引，并使用惟一索引替代主键。 GRANT ANALYZE ANY TO flinkuser;

四、开启日志归档

即开启产生逻辑日志的行为，否则 Oracle 无法正确产生 logs 部分，这样的话无法进行增量数据同步。

1. 使用 DBA 账号连接。

sqlplus sys/password@host:port/SID AS SYSDBA

2. 开启日志归档不开启无法读取增量数据。

alter system set db_recovery_file_dest_size = 10G;alter system set db_recovery_file_dest = '/opt/oracle/oradata/recovery_area' scope=spfile;shutdown immediate;startup mount;alter database archivelog;alter database open;Notes:开启日志归档需要数据库重启，并且需要占用磁盘空间

3. 检测是否已开启。

— Should now "Database log mode: Archive Mode"archive log list;

4. 开启 supplemental log

— Enable supplemental logging for a specific table:ALTER TABLE inventory.customers ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;

注意：如果不开启，源端部分列数据更新时，会导致目标端写入的其他列为空。

5. Create Tablespace

建议为实时同步用户创建单独的表空间，也可以复用已有的表空间。

CREATE TABLESPACE logminer_tbs DATAFILE '/opt/oracle/oradata/SID/logminer_tbs.dbf' SIZE 25M REUSE AUTOEXTEND ON MAXSIZE 2048M;

五、授予通过 logminer 读取日志的权限

–特殊的权限授予语句，它表示授予用户对V$DATABASE视图的SELECT权限，主要用于检查数据库的归档日志是否开启（LOG_MODE)，以及获取当前数据库的SCN位点。 GRANT SELECT ON V_$DATABASE to flinkuser;–EXECUTE_CATALOG_ROLE是一个预定义的角色，它主要提供了允许logminer将字典写入binlog的能力，通过这种方式将表结构的变化也记录到逻辑日志中。 GRANT EXECUTE_CATALOG_ROLE TO flinkuser;–允许用户通过LOGMINING组件来读取数据，12c及以下版本中无需执行。 GRANT LOGMINING TO flinkuser;–EXECUTE ON DBMS_LOGMNR 权限是用于授予用户能够执行DBMS_LOGMNR包中的程序的权限。DBMS_LOGMNR包用于在数据库日志文件中分析和提取变更数据。 GRANT EXECUTE ON DBMS_LOGMNR TO flinkuser;–GRANT EXECUTE ON DBMS_LOGMNR_D 是一个授权语句，它授予用户对DBMS_LOGMNR_D包的执行权限。DBMS_LOGMNR_D是Oracle提供的包，用于在数据库级别上分析在线和归档的重做日志文件 GRANT EXECUTE ON DBMS_LOGMNR_D TO flinkuser;–Logminer的数据查询接口是由一组系统提供的视图组成的，需要从logminer中读取数据的话，需要给访问以下视图的权限。 GRANT SELECT ON V_$LOG TO flinkuser; GRANT SELECT ON V_$LOG_HISTORY TO flinkuser; GRANT SELECT ON V_$LOGMNR_LOGS TO flinkuser; GRANT SELECT ON V_$LOGMNR_CONTENTS TO flinkuser; GRANT SELECT ON V_$LOGMNR_PARAMETERS TO flinkuser; GRANT SELECT ON V_$LOGFILE TO flinkuser; GRANT SELECT ON V_$ARCHIVED_LOG TO flinkuser; GRANT SELECT ON V_$ARCHIVE_DEST_STATUS TO flinkuser; exit;

六、实时整库同步来源配置

七、实时分库分表来源配置

参见 分库分表配置。

八、实时单表同步读取配置

1. 在数据集成页面左侧目录栏单击实时同步。

2. 在实时同步页面上方选择单表同步新建（可选择表单和画布模式）并进入配置页面。

九、实时单表同步写入配置

1. 在数据集成页面左侧目录栏单击实时同步。

2. 在实时同步页面上方选择单表同步新建（可选择表单和画布模式）并进入配置页面。

十、读取

Oracle 读取支持的数据类型及转换对应关系如下（在处理 Oracle 时，会先将 Oracle 数据源的数据类型和数据处理引擎的数据类型做映射）：

十一、写入

Oracle 写入支持的数据类型及转换对应关系如下：