离线同步任务支持PostgreSQL，支持该数据源的抽取（Reader）和导入（Writer）。

使用前提

在使用之前需要在“项目配置-项目中心（新）-数据源管理”完成该类型数据源的登记并测试通过（可在控制台的用户手册中查看具体登记详情信息），以及获取该数据源类型或数据的读权限（配置入口在安全中心-项目下的具体成员或角色）。

PostgreSQL作为数据来源

以PostgreSQL to Hive为例，在数据来源端选择PostgreSQL数据源类型及数据源名称，选择需要进行读取的schema和表。

数据过滤支持条件、流水型及自定义。

  • 条件型：按列设置过滤规则，可添加一或多组条件，条件默认为AND关系。
  • 流水型：从选择字段的起始值开始读取数据，读取到最新记录位置，下次从上次的最新记录读取至当前的最新记录。流水型数据过滤方式生效满足以下条件：1. 选取的字段是单调递增的；2. 离线开发任务提交到线上调度执行。
  • 自定义：填写where过滤语句（不含where关键字），通常用作增量同步，支持系统参数和参数组参数。

特殊字符替换、并发读取。

PostgreSQL作为数据去向

以Hive to PostgreSQL为例，当PostgreSQL作为数据去向时，除了需要填写数据源类型、数据源等基础信息之外，还可以填写PreSql和PostSql。

  • PreSql：执行数据同步任务之前率先执行的SQL语句；目前向导模式仅允许执行一条SQL语句，例如清除旧数据。
  • PostSql：执行数据同步任务之后执行的SQL语句；目前向导模式仅允许执行一条SQL语句，例如加上某一个时间戳。

PostgreSQL当前支持INSERT INTO（追加）、Copy（拷贝数据，大数据量时推荐使用）、On conflict key update（遇更新键冲突、更新原记录，未映射字段值不变，仅当版本>9.5时可用）写入规则。