Vastbase G100

离线同步任务支持Vastbase G100，支持该数据源的抽取（Reader）和导入（Writer）

使用前提

在使用之前需要在“项目配置-项目中心（新）-数据源管理”完成该类型数据源的登记并测试通过（可在控制台的用户手册中查看具体登记详情信息），以及获取该数据源类型或数据的读权限（配置入口在安全中心-项目下的具体成员或角色）。

Vastbase G100作为数据来源

以Vastbase G100 to Hive为例，在数据来源端选择MySQL数据源类型及数据源名称，选择需要进行读取的schema和表。

Vastbase G100 to Hive数据源支持库表选择。

• 库表选择：支持搜索或直接选择数据库表。支持跨库表配置，跨库表必须是相同数据源类型。

数据过滤支持条件、流水型及自定义。

• 条件型：按列设置过滤规则，可添加一或多组条件，条件默认为AND关系。
• 流水型：从选择字段的起始值开始读取数据，读取到最新记录位置，下次从上次的最新记录读取至当前的最新记录。流水型数据过滤方式生效满足以下条件：1. 选取的字段是单调递增的；2. 离线开发任务提交到线上调度执行。
• 自定义：填写where过滤语句（不含where关键字），通常用作增量同步，支持系统参数和参数组参数。

特殊字符替换、并发读取根据实际情况进行填写。

Vastbase G100作为数据去向

以Vastbase G100为例，当Vastbase G100作为数据去向时，除了需要填写数据源类型、数据源等基础信息之外，还可以填写PreSql和PostSql。

• PreSql：导入数据前执行的SQL语句，例如清除旧数据；目前向导模式最多允许执行五条SQL语句，多条SQL语句使用分号“；”分隔。
• PostSql：导入数据后执行的SQL语句，例如加上某一个时间戳；目前向导模式最多允许执行五条SQL语句，多条SQL语句使用分号“；”分隔。

Vastbase G100支持INSERT INTO、MERGE INTO写入规则:

• INSERT INTO：插入数据。
• MERGE INTO：如果更新键冲突，更新原记录。

更新键选取多个字段联合作为更新键时，仅当字段拼接值冲突时，会更新原记录。