版本:v3.43.0

新增功能

1.【离线】spark3引擎下,创建单个离线传输任务,向导模式下,去向支持doris4.0

2.【离线】实时传输flinkcdc支持mysql8.4

版本:v3.42.0

新增功能

1.【离线】离线传输去向端选择数据去向端为kingbase for mysql时,写入规则新增: ON DUPLICATE KEY UPDATE、INSERT IGNORE、REPLACE INTO;kingbase for PostgreSQL时,写入规则新增:on conflict do update

2.【离线】新建单个离线同步任务时,在spark3引擎下,向导模式下,来源支持选择Minio,去向支持ftp、hdfs、Minio。仅支持非结构化读取的场景。(注:spark2不支持)支持版本RELEASE.2025-09-07T16-13-09Z、RELEASE.2025-07-23T15-54-02Z。

版本:v3.41.0

新增功能

1.【离线】新建单个离线同步任务时,在spark引擎下,sql和向导模式下,来源去向支持kingbaseES for mysql数据源。(数据导入模块也兼容此版本)

2.【离线】页面形式批量新建离线同步任务时,在spark引擎下,数据来源支持选择MongoDB。默认选择系统推断类型,去向仅支持内置hive类型

3.【离线】页面形式和EXCEL形式批量新建离线同步任务时,在datax引擎下,数据去向下拉框支持doris和StarRocks

版本:v3.40.0

新增功能

1.【离线】新建单个离线同步任务时,在spark引擎下,向导模式下,适配mongodb4.4版本,支持来源和去向.(数据导入模块也兼容此版本)

2.【离线】单个新建离线同步任务时,在spark引擎下适配ob-oracle 4.2.5版本 4.2.3版本、ob-mysql 4.2.5版本 4.2.3版本,来源去向都支持。(数据导入模块也兼容此版本)

3.【离线】spark引擎向导模式下,来源数据源为Kafka时,支持配置读阶段的脏数据管理。

4.离线同步任务,spark引擎,向导模式下,选择数据源kafka后,配置字段映射时支持选择元数据,内容可选择 key topic partition offset timestamp timestampType 仅限kafka2.1版本支持。

版本:v3.39.0.1

新增功能

1.【实时】传输任务支持版本对比

点击【版本记录】弹出弹框,支持选择任意两个版本进行对比。也可以点击【对比】按钮,快捷与最新版本进行内容对比。

点击【对比】按钮,弹出对比任务界面,支持逐项对比两个版本间的差异。

2.【实时】支持查看任务运行日志

点击【查看】按钮,跳转至任务详情页面,可以查看任务运行记录。

点击【详情】按钮,可查看运行日志详细信息。左上角标题显示实例ID和操作时间,默认展示启动日志,可切换查看jm日志、tm日志和停止日志。在查看JM日志和TM日志时,支持跳转yarn日志查看,支持刷新日志。

3.【离线】新建单个离线同步任务时,在spark引擎下,向导模式下,适配Tidb7.4版本,支持来源+去向。(数据导入模块去向也支持新版本)

版本:v3.39.0

新增功能

1.【离线】离线传输任务,spark引擎sql模式下,支持KingbaseES数据源类型,包括来源和去向。

2.【离线】离线同步任务,spark引擎下Doris数据源版本支持3.0版本。(数据导入模块去向也支持新版本)

3.【离线】离线同步任务,spark引擎向导模式下,数据源ES兼容8.15.5版本。(数据导入模块去向也支持新版本)

4.【实时】实时同步任务,支持引用调度日历配置任务自动启停时间。

  • 功能介绍:

    • 当对实时同步任务配置自动启停时间时,可点击【自动启停】按钮。
    • 选择日期范围时,本期新增‘引用调度日历’选项。下拉选项来自当前项目下【调度日历】中状态为开启的调度日历。配置完成后任务将在调度日历中的调度日运行任务。

特殊说明:1)启停时间:指所选调度日期中,每日的启停时间;2)若启停时间选择00:00-00:00,在连续的调度日期中任务不做停止。3)当对启动时间或对当天调度日进行修改后,若任务还未启动则当天生效,若任务已启动则下个调度日生效;当对停止时间修改后,若任务启动中还没停止则当天生效,若任务已停止则下个调度日生效。

功能优化

1.【数据源】数据源S3展示名称改为AmazonS3。