离线同步任务支持Kafka数据源，支持导入（Writer）和导出（Reader）。kafka版本认证方式都为“无认证”。

使用前提

在使用之前需要在“项目配置-项目中心（新）-数据源管理”完成该类型数据源的登记并测试通过（可在控制台的用户手册中查看具体登记详情信息），以及获取该数据源类型或数据的读权限（配置入口在安全中心-项目下的具体成员或角色）。

Kafka作为数据来源

Kafka作为数据来源需要配置如下内容：

  • 数据源：选择Kafka和已经登记的Kafka数据源
  • Topic：填写topic
  • 消费起始位点：格式yyyy-MM-dd HH:mm:ss，支持填写系统参数和参数组参数。
  • 消费结束位点：格式yyyy-MM-dd HH:mm:ss，支持填写系统参数和参数组参数。

Kafka作为数据去向

Kafka作为数据去向需要配置如下内容：

  • 数据源：选择Kafka和已经登记的Kafka数据源
  • Topic：填写topic
  • Key：1、Key支持填写一个或多个去向字段。如填写多个字段，字段间请以；分隔，写入时会按照json的序列化格式写入Kafka的Key。示例：Key填写id；name，当id值为1、name值为张三时，写入Kafka的Key为：{ "id”:”1”, “name”:”张三” } 2、如未填写Key，则写入kafka记录Key为null，数据随机写入topic的各个分区中。
  • 生产者配置：默认参数max.partition.fetch.bytes，值为20000000。支持添加新的参数