离线同步任务支持TDSQL，支持该数据源的抽取（Reader）和导入（Writer）。

使用前提

在使用之前需要在“项目配置-项目中心（新）-数据源管理”完成该类型数据源的登记并测试通过（可在控制台的用户手册中查看具体登记详情信息），以及获取该数据源类型或数据的读权限（配置入口在安全中心-项目下的具体成员或角色）。

TDSQL作为数据来源

以TDSQL to Hive为例，在数据来源端选择TDSQL数据源类型及数据源名称，选择需要进行读取的库和表。

数据过滤支持条件、流水型及自定义。

  • 条件型：按列设置过滤规则，可添加一或多组条件，条件默认为AND关系。
  • 流水型：从选择字段的起始值开始读取数据，读取到最新记录位置，下次从上次的最新记录读取至当前的最新记录。流水型数据过滤方式生效满足以下条件：1. 选取的字段是单调递增的；2. 离线开发任务提交到线上调度执行。
  • 自定义：填写where过滤语句（不含where关键字），通常用作增量同步，支持系统参数和参数组参数。

特殊字符替换、并发读取请根据实际情况进行填写。

TDSQL作为数据去向

以Hive to TDSQL为例，当TDSQL作为数据去向时，除了需要填写数据源类型、数据源等基础信息之外，还可以填写PreSql和PostSql。

  • PreSql：执行数据同步任务之前率先执行的SQL语句；目前向导模式仅允许执行一条SQL语句，例如清除旧数据。
  • PostSql：执行数据同步任务之后执行的SQL语句；目前向导模式仅允许执行一条SQL语句，例如加上某一个时间戳。

TDSQL支持INSERT INTO、ON DUPLICATE KEY UPDATE、REPLACE INTO、INSERT IGNORE写入规则:

  • INSERT INTO：插入数据。
  • ON DUPLICATE KEY UPDATE：当主键、唯一索引冲突时，更新原记录，未映射字段值不变。
  • REPLACE INTO：当主键、唯一索引冲突时，删除原记录，插入新纪录。
  • INSERT IGNORE：如果目标表中已经存在相同的记录，则忽略当前的新数据。