离线同步任务支持DDB(DBI)数据源，支持该数据源的抽取（Reader）和导入（Writer）。

使用前提

在使用之前需要在“项目配置-项目中心（新）-数据源管理”完成该类型数据源的登记并测试通过（可在控制台的用户手册中查看具体登记详情信息），以及获取该数据源类型或数据的读权限（配置入口在安全中心-项目下的具体成员或角色）。

DDB(DBI)作为数据来源

以DDB(DBI) to Hive为例，在数据来源端选择DDB(DBI)数据源类型及数据源名称，选择需要进行读取的schema和表。
数据过滤支持条件型及自定义。

  • 条件型：按列设置过滤规则，可添加一或多组条件，条件默认为AND关系。
  • 自定义：填写where过滤语句（不含where关键字），通常用作增量同步，支持系统参数和参数组参数。

特殊字符替换、并发读取根据实际情况进行填写。

DDB(DBI)作为数据去向

以Hive to DDB(DBI)为例，当DDB(DBI)作为数据去向时，除了需要填写数据源类型、数据源等基础信息之外，还可以填写PreSql和PostSql。

  • PreSql：执行数据同步任务之前率先执行的SQL语句；目前向导模式仅允许执行一条SQL语句，例如清除旧数据。
  • PostSql：执行数据同步任务之后执行的SQL语句；目前向导模式仅允许执行一条SQL语句，例如加上某一个时间戳。

DDB(DBI)支持INSERT INTO、UPSERT、INSERT IGNORE写入规则:

  • INSERT INTO：插入数据。
  • UPSERT：更新或插入数据，更新目标表中符合条件的数据，如果未找到符合条件的数据则插入数据。
  • INSERT IGNORE：如果目标表中已经存在相同的记录，则忽略当前的新数据。