数据资产地图

版本：v2.7.0
新增功能

1.表详情支持嵌入数据质量报告

  • 功能介绍：
    • 表详情支持嵌入数据质量报告，可在表详情页面中查看数据质量中心提供的数据质量报告
  • 注意事项：
    • 需要先在数据质量中心给表配置监控规则，根据监控规则执行情况来生成质量报告，没有监控规则的话，质量报告会显示无数据
  • 使用步骤及功能页面：
    在地图搜索表并进入详情页，点击”数据质量“tab即可查看表的质量报告

2.表安全等级支持NLP推荐

  • 功能介绍：
    • 支持设置第三方NLP接口，在元数据注册页面可调用该接口自动推荐表安全等级
  • 注意事项：
    • 此处提供的是调用NLP接口的功能，接口需用户自行进行适配
  • 使用步骤及功能页面：
    a. 先在配置管理中设置表安全等级NLP接口信息，并勾选启用

    b. 在元数据编辑或治理页面，可以点击”自动推荐“，则会调用第一步中配置的NLP接口

3.支持元数据质量评分

  • 功能介绍：
    • 支持设置第三方NLP接口，在元数据注册页面可调用该接口自动推荐表安全等级
  • 注意事项：
    • 此处提供的是调用NLP接口的功能，接口需用户自行进行适配
  • 使用步骤及功能页面：
    a. 在配置管理中开启元数据质量评分配置，并设置接口参数

    b. 点击查看任一元数据详情页，可显示元数据质量评分分数。低于60分红色显示，60~80橙色显示，高于80绿色显示

4.支持资产目录NLP推荐

  • 功能介绍：
    • 支持设置第三方NLP接口，在元数据编辑或者治理时通过调用该接口自动推荐表所属的资产目录分类
  • 注意事项：
    • 此处提供的是调用NLP接口的功能，接口需用户自行进行适配
  • 使用步骤及功能页面：
    a. 在配置管理中对资产目录分组开启并设置自动推荐的接口信息


    b. 在元数据编辑或者治理时，点击资产目录右侧的自动推荐按钮，则会调用第一步中的接口获取推荐的分类

5.表详情支持展示字段的敏感类型、脱敏规则

  • 功能介绍：
    • 表经过安全中心动态脱敏后，在地图可展示字段的敏感类型和脱敏规则；若表在数据传输任务中配置了脱敏规则，在表详情也可展示字段的敏感类型和脱敏规则
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
    • 在安全中心对某表设置过识别任务，识别完成后确认敏感类型和脱敏规则后，在地图查看表详情时就可展示对应字段的敏感类型、脱敏规则

6.表订阅变更通知支持对接站内信消息

  • 功能介绍：
    • 用户对表进行订阅后，若表发生变更则会发送站内信消息通知用户
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
    • 表详情页订阅表后，如果表有变更则可收到站内信消息提醒

7.支持查看我近期浏览的表、指标、标签列表

  • 功能介绍：
    • 增加查看用户最近浏览的表、指标、标签列表
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

8.支持查看我负责的表列表

  • 功能介绍：
    • 支持查看当前项目组下所有我负责的表
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

9.支持按数据源名称/主管部门/业务负责人/技术负责人/标准字典筛选元数据

  • 功能介绍：
    • 元数据列表支持多种筛选条件，可展开或收缩
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
    • 点击筛选条件即可过滤相关元数据

10.表和字段的系统内置项支持自定义提醒文案

  • 功能介绍：
    • 元数据的表和字段的系统内置项、自定义项均可自定义提示文案，帮助用户在元数据编辑或治理时能够了解各表单项的含义
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
    a. 在配置管理页对需要的字段填写提示文案

    b. 在元数据编辑或者治理页面，可以查看提示文案
功能优化

1.元数据物理表标识支持实时更新和定时全量更新

  • 功能介绍：
    • 元数据的表和字段的系统内置项、自定义项均可自定义提示文案，帮助用户在元数据编辑或治理时能够了解各表单项的含义
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

2.枚举/代码/标志类字段提醒关联原始或标准字典

  • 功能介绍：
    • 当字段的数据类别为枚举/代码/标志类时，系统会提醒用户需要给字段设置原始字典或标准字典
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

3.批量导入元数据条数提升到单次50张表

  • 功能介绍：
    • 之前单次导入只有20张表，为了提升导入的效率，该版本扩增到单次导入支持50张表。若单次导入表超出限制，可能会超时报错
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

4.元数据注册人信息优化

  • 功能介绍：
    • 之前元数据注册列表页和详情页注册人文案不一致，该版本优化后保持文案统一，并且增加注册人解释说明
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

5.支持跳转查看数据源详情

  • 功能介绍：
    • 元数据编辑时，增加查看数据源详情的跳转链接
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

6.hive生命周期管理增加配置项

  • 功能介绍：
    • 平台的hive表生命周期到期后需要通过平台部署的服务来进行过期数据清理，当某些客户环境未部署该服务的话，通过Hive自带的生命周期管理功能会存在性能问题，故需求将生命周期设置优化为可配置项。若平台未部署数据治理360的服务，则不支持编辑设置生命周期
  • 注意事项：
    • 依赖配置决定是否具有设置生命周期的功能
  • 使用步骤及功能页面：

7.数据血缘列表视图增加缓存来提升页面打开性能

  • 功能介绍：
    • 产品性能提升，优化用户体验，加速血缘页面的展示
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

8.字段血缘增加缓存来提升页面打开性能

  • 功能介绍：
    • 产品性能提升，优化用户体验，加速血缘页面的展示
  • 注意事项：
    • 依赖配置决定是否具有设置生命周期的功能
  • 使用步骤及功能页面：

9.元数据归属目录信息单独分组展示

  • 功能介绍：
    • 产品性能提升，优化用户体验，加速血缘页面的展示
  • 注意事项：
    • 依赖配置决定是否具有设置生命周期的功能
  • 使用步骤及功能页面：
BUG修复

1.配合修复数据服务修改下游影响报错问题。
2.修复数据资产地图-自定义目录无标准模块时无法新建子目录问题。
3.修复数据资产地图新建子目录需要点击两次问题。
4.元数据采集结果对比查看时，图例显示不对需优化问题。

版本：v2.7.1
BUG修复

1.修复地图首页热门读取表为空的问题。

元数据中心

版本：v5.7.2
新增功能

1.支持SQLServer源系统账号映射

  • 功能介绍：
    • 增加SQLServer源系统账号映射功能，以便在自助分析中根据当前用户映射的账号来执行SQL语句
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
    • 在数据源登记时开启源系统账号映射，并配置映射的账号及密码，登记完成后若需要对数据进行分析，则可以在自助分析模块选择该数据源并执行即可

2.支持DB2源系统账号映射

  • 功能介绍：
    • 增加DB2源系统账号映射功能，以便在自助分析中根据当前用户映射的账号来执行SQL语句
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
    • 在数据源登记时开启源系统账号映射，并配置映射的账号及密码，登记完成后若需要对数据进行分析，则可以在自助分析模块选择该数据源并执行即可

3.数据源登记支持TeleDB，供实时传输使用

  • 功能介绍：
    • 数据源登记支持TeleDB，登记完成后可以在实时传输任务中使用该数据源
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

功能优化

1.数据源支持批量测试连接

  • 功能介绍：
    • 之前数据源列表只能对单个数据源进行测试连接，本次新增批量测试连接，方便用户快速对一批数据源发起测试连接
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

指标系统

版本：v2.8.2
新增功能

1.指标引用信息应当包含非hive数据源

  • 功能介绍：
    • 指标之前只能够展示关联的hive表字段，无法展示其他数据源类型的字段关联指标的情况（如模型设计中建非hive表时也可以关联指标），因此在指标应用增加非hive字段的引用关系
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

2.取值范围字段：枚举列表还得支持自定义

  • 功能介绍：
    • 取值范围字段填写难度大，如需要填写+∞时；因此本版本填写取值范围时提供推荐列表，用户可进行选择也可以进行修改
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

3.修改对接安全中心配置，不在项目级别权限展示本模块（配合安全中心）

  • 功能介绍：
    • 指标系统功能权限为项目组级权限，不该在项目级权限那里展示指标系统模块，本需求配合安全中心完成
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
    • 无
功能优化

1.指标系统现在回退后希望保留筛选条件

  • 功能介绍：
    • 用户在指标列表页进行条件筛选后再点击进入指标详情，点击返回后，筛选条件就丢失了，影响用户体验。本功能支持用户回退后，仍保留筛选条件
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
    • 无

2.指标和衍生词免审批人改成项目组用户

  • 功能介绍：
    • 审批人配置的可选范围跳转
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
    • 无

3.兼容%和_的搜索

  • 功能介绍：
    • %和_在mysql里面会被当作通配符，因此需要转义
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
    • 无

数据标准

版本：v2.0.0
新增功能

1.支持数据元拾取

  • 功能介绍：
    • 为解决用户制标门槛高的问题，提供数据元拾取功能。基于元数据信息对字段进行相似性识别，将满足重复阈值以及相似度的字段进行提取，圈定数据元范围，由用户选择是否进行数据元制定
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
    创建任务：
    a. 进入标准拾取模块，点击新建任务

    b. 选择拾取内容为数据元，输入任务名称（可点击生成按钮自动生成），配置重复阈值（当拾取结果的频次统计达到重复阈值要求时则被认为有效）

    c. 配置扫描范围，选择想要拾取数据元的库

    d. 配置完成后即可保存并运行

    查看执行结果：
    a. 进入任务详情页-最新结果tab，可查看任务执行的结果（注意：仅保留最新结果，每次任务执行都会覆盖之前的结果）

    b. 查看拾取来源，展开拾取来源，点击任意数据元即可看到当前数据元从那些字段里被提取出的，在后续制定数据元时具备一定的参考意义

    数据元制定：
    a. 点击制定按钮，填写数据元信息，用户可参考来源字段完成数据元制定；若发现有极度相似的数据元也可以选择忽略不继续制定

    数据元提交：
    a. 对于制定完成的数据元，可以进行提交。提交完成后，将在数据元模块创建一条记录，当前我们也支持批量提交

2.支持词根拾取

  • 功能介绍：
    • 为解决用户制标门槛高的问题，提供词根拾取功能。基于元数据信息对字段进行词根拆解，将满足重复阈值的词根进行提取，圈定词根范围，由用户选择是否进行词根制定
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
    创建任务：
    a. 进入标准拾取模块，点击新建任务
    b. 选择拾取内容为词根，输入任务名称（可点击生成按钮自动生成），配置重复阈值（当拾取结果的频次统计达到重复阈值要求时则被认为有效）

    c. 配置扫描范围，选择想要拾取词根的库

    d. 配置完成后即可保存并运行

    查看执行结果：
    a. 进入任务详情页-最新结果tab，可查看任务执行的结果（注意：仅保留最新结果，每次任务执行都会覆盖之前的结果）

    b. 查看拾取来源，展开拾取来源，点击任意词根即可看到当前词根从那些字段里被拆解出，在后续制定词根时具备一定的参考意义

    词根制定：
    a. 辅助制定，对于词根，我们内置场景的英文词典，可以对拾取结果进行批量补全英文名称即简称，但不保证其准确性，需要用户根据实际的业务进行确认


    b. 人工制定，点击制定按钮，填写简称与全称，用户可参考来源字段完成词根制定

    词根提交：
    a. 对于制定完成的词根，可以进行提交。提交完成后，将在词根模块创建一条记录，当前我们也支持批量提交

BUG修复

1.修复批量导入字典服务器开小差问题。

模型设计中心

版本：v2.0.0
新增功能

1.Parquet增加zstd压缩

  • 功能介绍：
    • 新增当存储格式为parquet，新增对ZSTD压缩格式的支持；分层设计默认建表属性配置增加ZSTD压缩格式选项，用户建表时增加ZSTD压缩格式选项
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

BUG修复

1.修复表工单批量提交，压缩方式返回no问题。
2.修复模型设计批量导出表，如果存在部分物理表已经被删除了，导出任务会失败问题。

流程协作与通知中心

版本：v2.3.8
新增功能

1.自定义画布支持用户修改画布审批节点和审批人

  • 功能介绍：
    • 新增修改审批人，支持用户、API和变量形式
  • 注意事项：
    • API格式要求请参考API文档或咨询技术支持 自定义画布需要开启流协管理员的功能权限才可操作
  • 使用步骤及功能页面：
    a. 支持修改审批人

    b. 支持新增审批节点，节点审批人默认或签方式

2.新增模版版本管理功能

  • 功能介绍：
    • 支持对修改后的模版发起测试工单，测试工单验证通过后可进行发布操作，发布后会替换已有的线上模版
  • 注意事项：
    • 此功能需要开启流协管理员的功能权限才可操作
  • 使用步骤及功能页面：
    a. 测试功能，对修改后的模板发起测试工单。模板中审批人是变量格式的，以当前发起人替代审批；审批人是常量格式的，以常量用户进行审批。只有当测试工单审批完成，并且模板在测试工单审批完成之前没有进行二次修改，才允许执行发布操作

    b. 发布操作， 支持对测试工单审批完成，并且模板在测试工单审批完成之前没有进行二次修改模板，进行发布操作。发布到线上：后续子产品发起的工单，以新模板进行流转，不影响发布之前创建的工单

    c. 发布后替换线上模板

3.消息中心新增系统消息和发版公告

  • 功能介绍：
    • 新增系统消息，支持子产品定向用户发送消息
    • 新增发版公告，方便用户查看版本迭代情况
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
    a. 系统消息
    b. 更新公告

    c. 收件箱，支持以全部\未读\已读筛选当前用户收件箱内容
功能优化

1.工单详情优化

  • 功能介绍：
    • 在工单列表和工单详情页，针对‘治理’类型工单（指标治理 INDEX_APPLY_DATA_GOVERNANCE，申请治理 APPLY_DATA_GOVERNANCE），同意选项置灰
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
BUG修复

1.调整鼠标hover展示name-account，分隔符统一为“-’’
2.调整工单列表的“申请人”统一为“发起人”
3.报错信息优化：保存时校验没有设置审批人，提醒文案“请设置审批人”
4.修复工单详情流程图，鼠标hover展示审批人问题
5.修复平台删除hive库异步工单的邮件差异问题
6.修复工单转办后，审批人内外不一致问题
7.修复变量类型审批人回显问题

控制台

版本：v1.3.0
新增功能

1.支持登记TeleDB数据源，供实时传输使用

  • 功能介绍：
    • 数据源登记支持TeleDB，登记完成后可以在实时传输任务中使用该数据源
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

2.支持SQLServer源系统账号映射

  • 功能介绍：
    • 增加SQLServer源系统账号映射功能，以便在自助分析中根据当前用户映射的账号来执行SQL语句
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
    在数据源登记时开启源系统账号映射，并配置映射的账号及密码，登记完成后若需要对数据进行分析，则可以在自助分析模块选择该数据源并执行即可

3.支持DB2源系统账号映射

  • 功能介绍：
    • 增加DB2源系统账号映射功能，以便在自助分析中根据当前用户映射的账号来执行SQL语句
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
    • 在数据源登记时开启源系统账号映射，并配置映射的账号及密码，登记完成后若需要对数据进行分析，则可以在自助分析模块选择该数据源并执行即可
功能优化

1.数据源支持批量测试连接

  • 功能介绍：
    • 之前数据源列表只能对单个数据源进行测试连接，本次新增批量测试连接，方便用户快速对一批数据源发起测试连接
  • 注意事项：
    • 单次最多支持选择100个数据源测试连接，批量测试连接要求：用户有数据源的测试连接权限、该数据源目前状态非测试中、数据源分类为逻辑数据源、该数据源类型和版本支持测试连接
  • 使用步骤及功能页面：

数据服务

版本：v1.6.0
新增功能

1.API生命周期管理支持设置审批功能

  • 功能介绍：
    • 对于API生命周期管理支持设置审批，涉及到API发布、下线、升级、回滚和删除，若开启了审批，则对API进行发布等操作默认需要项目管理员和项目负责人进行审批，统一新流协承载工单
  • 注意事项：
    • 兼容之前的使用方式，默认API生命周期管理不支持审批，可在安全中心精细化控制API权限
    • 若对API生命周期管理需要审批，可在数据服务-配置管理中开启，开启后，默认由当前项目管理员和项目负责人进行审批
    • 若一开始打开了审批功能，并且产生了部分已经在审批中的工单，此时关闭了审批功能，则工单的响应结果不会影响数据服务的API使用
    • 对某个API的某些操作审批仅生效一次，比如申请API升级，若未操作，后续仍可点击API升级，但若升级完成，再次对API进行升级，会再次生成审批工单
  • 使用步骤及功能页面：
    在配置管理中打开审批的功能，打开后，对API进行发布、下线、升级、回滚和删除后均会产生工单，可至流程协作与通知中心查看工单状态，默认由项目管理员和项目负责人进行审批


2.项目集群的切换支持显示项目描述

  • 功能介绍：
    • 无
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
    右上角对项目集群切换，支持显示项目描述
BUG修复

1.完善数据服务获取元数据中心接口信息内容。
2.修复向导模式下拼接SQL，引号丢失问题。
3.修复服务编排调用查询服务时，按照线上模式拉取udf问题。
4.修复服务编排API超时时间修改不生效问题。
5.修复数据服务-API详情页，点击调用实例tab后，再点击其他tab没响应问题。

标签画像

版本：v3.6.0
新增功能

1.标签管理支持创建行级权限策略

  • 功能介绍：
    • 标签管理支持创建行级权限策略，控制标签的行级权限，在创建行级权限时，可赋权授予项目组下成员或角色，则在标签圈群、群组分析等查询页面，赋权用户只能看到行级权限值内的数据，比如渠道这个标签，标签值包括A和B，将渠道=A授权给用户小易，小易在圈群查询时只能传递渠道=A才可获取数据，无法获取渠道等于其他方式的内容，以满足对不同用户可见标签范围不一致的场景
  • 注意事项：
    • 行级权限方案开启后即时生效，在圈群、群组交并差、群组画像等查询标签的页面，按照规则对授权用户控制行级数据访问权限
    • 标签创建/编辑不受标签行级权限管控
    • 行级权限不对管理员生效，包括项目组负责人、项目组管理员、项目负责人和项目管理员
    • 在群组列表中下载时(群组数据存储为HDFS格式)，群组包中的数据以群组创建人满足的行级权限获取的数据为主，暂不支持根据当前下载用户动态获取数据
    • 新建行级权限策略，仅支持选择对象下已发布的基础、复合、人工标签数据
    • 行级权限若要删除，需先关闭行级权限，才可将策略删除
  • 使用步骤及功能页面：
    在标签管理功能模块，支持创建标签行级权限，可赋权用户或角色，支持灵活配置标签规则

2.对接安全中心角色管理功能权限

  • 功能介绍：
    • 安全中心角色管理的功能权限，在标签管理中增加行级权限的管控，支持单独赋权新建、编辑和删除行级权限
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

离线开发

版本：v7.0.7
新增功能

1.离线开发支持代码扫描功能

  • 功能介绍：
    • 离线开发支持在提交上线时进行代码扫描和卡点校验，支持设置代码扫描的规则，包括代码规范类、代码性能类、语法检查。支持将规则设置为强规则或弱规则，在提交上线时将对SQL节点进行扫描，如果命中强规则，将阻断提交；命中弱规则，不阻断提交仅作提醒
  • 注意事项：
    • 权限控制：仅项目负责人和管理员可以设置代码扫描规则是否启用以及规则的强弱
    • 代码扫描进行规则检查时首先对语法进行检查，如果语法检查未通过，将不再执行其他规则的检查。如果语法检查通过，将继续执行其他规则的检查
  • 使用步骤及功能页面：
    离线开发设置中增加代码扫描模块
    a. 规则类型：代码规则类、代码性能类、其他
    b. 代码规则类：使用"drop"关键字、使用“truncate”关键字、使用“create”关键字、最上层select字段无别名、建表语句表缺少描述、建表语句字段缺少描述
    c. 代码性能类：分区表未指定分区、使用“select *”语法、使用“distinct”关键字、表关联on产生笛卡尔积
    d. 其他：语法不通过

    任务提交上线时将对SQL节点进行检测，如果命中规则，将在任务提交校验的检测三模块，提示强规则异常和弱规则异常的命中个数。下方代码扫描规则异常节点中支持展示具体的节点命中的规则

    点击结论中规则的查看详情，可以查看规则名称、规则描述、详细信息

2.自助分析运行结果支持一键关闭多个tab页

  • 功能介绍：
    • 自助分析运行结果中支持一键关闭多个tab
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

3.项目中心，项目Keytab下载支持对接功能权限

  • 功能介绍：
    • 项目Keytab下载由原来的仅项目负责人和管理员可以下载调整为支持对接功能权限
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
    在功能权限的项目配置模块，项目信息后方增加下载kerberos keytab的按钮，支持添加权限。当用户或用户所在的角色有权限时，则可以在项目信息中下载项目keytab

4.自助分析支持DB2数据源

  • 功能介绍：
    • 自助分析增加DB2数据源，支持对DB2数据源进行增删改查的操作
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

5.自助分析支持SQLServer数据源

  • 功能介绍：
    • 自助分析增加SQLServer数据源，支持对SQLServer数据源进行增删改查的操作
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

6.自助分析字段支持筛选

  • 功能介绍：
    • 自助分析运行结果中，支持对字段进行筛选
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
    • 无
功能优化

1.自助分析支持在easyops上配置历史sql保留时间，参数：execution.history.expire.days。
2.优化离线开发调度设置的并发设置文案。

BUG修复

1.修复了离线开发导入任务包时hover提示优化问题。
2.修复了oracle的数据库中包含/，查询库下表报错问题。
3.修复了自助分析新建query的时候，左边导航栏没有定位在新建的query上面问题。
4.修复了提交上线检测mr任务的节点类型显示返回为数据库传输，script节点显示名称返回cube问题。
5.修复了批量导入任务包成功后，文件夹下任务均不显示，文件夹仍为展开状态问题。
6.修复了自助分析gp表字段展示重复问题。
7.修复了新建任务快速点击确定多次，报错问题。

数据传输

版本：v3.5.0
新增功能

1.实时同步任务数据来源新增MySQL数据源，支持多表同步和分库分表同步

  • 功能介绍：
    • 数据来源新增MySQL数据源，支持多表同步和分库分表同步
  • 注意事项：
    • MySQL对外默认开启，支持Ops设置数据源类型展示和隐藏，相关参数enableStreamingDataSource
  • 使用步骤及功能页面：
    a. 任务类型为多表（Topic）同步时，来源配置如下：

    b. 任务类型为分库分表同步时，来源配置如下：

2.实时同步任务数据来源新增Oracle数据源，支持多表同步和分库分表同步

  • 功能介绍：
    • 数据来源新增Oracle数据源，支持多表同步和分库分表同步
  • 注意事项：
    • Oracle对外默认开启，支持Ops设置数据源类型展示和隐藏，相关参数enableStreamingDataSource
  • 使用步骤及功能页面：
    a. 任务类型为多表（Topic）同步时，来源配置如下：

    b. 任务类型为分库分表同步时，来源配置如下:

3.实时同步任务数据来源新增TeleDB数据源，支持多表同步和分库分表同步

  • 功能介绍：
    • 数据来源新增TeleDB数据源，支持多表同步和分库分表同步
  • 注意事项：
    • TeleDB对外默认开启，支持Ops设置数据源类型展示和隐藏，相关参数enableStreamingDataSource
  • 使用步骤及功能页面：
    a. 任务类型为多表（Topic）同步时，来源配置如下：

    b. 任务类型为分库分表同步时，来源配置如下：

4.实时同步任务数据来源新增Iceberg数据源

  • 功能介绍：
    • 数据去向新增Iceberg数据源
  • 注意事项：
    • Iceberg对外默认关闭，支持Ops设置数据源类型展示和隐藏，相关参数enableStreamingDataSource
  • 使用步骤及功能页面：
    a. 写入分区：支持根据数据生成时间分区、根据数据写入时间分区、根据数据内容动态分区，其中数据生成时间是指数据库DML操作的时间op_ts，数据写入时间是指实时传输任务数据写入的处理时间
    b. 写入规则：使用upsert要求Iceberg表同时满足两个条件：1、版本是V2；2、需要主键或分区键，否则任务会报错

5.实时同步任务数据来源为MySQL、TeleDB、Oracle时支持写入Hive并支持批量创建Hive表

  • 功能介绍：
    • 数据传输-v3.0.0支持读取Kafka写入Hive，此版本数据来源新增MySQL、TeleDB、Oracle后，去向支持写入Hive并支持快速创建表和批量创建表等
  • 注意事项：
    • Hive暂只支持平台内置Hive
  • 使用步骤及功能页面：
    来源为MySQL、TeleDB、Oracle时，针对表建立方式为创建新表的去向表，支持快速批量创建去向或一键创建去向表

    （注意：批量设置源表和去向表映射时，Hive表名最多64个字符，仅允许输入小写字母、数字、下划线，需以字母开头，Hive字段名称仅允许输入小写字母、数字、下划线，需以字母开头。生成表名默认将大写字母转为小写字母、过滤除字母、数字、下划线外其余字符，并仅保留前64个字符，请点击“批量创建去向表”按钮批量建表或点击“一键创建去向表”按钮单个建表。）
功能优化

1.离线同步任务数据来源为API时，支持解析json并配置字段映射

  • 功能介绍：
    • 此前版本数据来源为API时，仅支持将来源json整体作为一个字段写入去向端的指定字段。此版本优化点为：支持根据用户指定的数据主体及返回数据结构，支持解析返回数据结构中的首层Key作为字段映射的来源表字段，此外，如需读取数据主体内层的嵌套字段时，支持在字段映射中选中类型为自定义字段，填写JSONPath表达式去读取字段
  • 注意事项：
    • Hive暂只支持平台内置Hive
  • 使用步骤及功能页面：
    • 数据主体：从返回结果中查询单个JSON对象或者JSON数组的路径，请填写JSONPath表达式。示例如下：{"data":{"peopleList":[{"id":1,"name":"xx1"}]}}，如数据主体填写：$.data.peopleList，则读取数据对应为：{ "id":1,"name":"xx1”}。如未填写数据主体，则默认从第一层获取数据
    • 返回结构结构：请求返回的结果JSON数据的格式。如数据主体为对象，请选择“单条数据”，会将对象中的单行数据抽取为一条同步记录，示例如下：数据主体配置为：$content.DATA，JSON样例如下：{"content": {"DATA": {"SERNR": "sernr2"}}}则返回数据结果为一条记录：{"SERNR": "sernr2”}，字段映射时来源表字段为：SERNR；如数据主体为数组，请选择“数组数据”，会将数组中的多行数据抽取为多条同步记录示例如下：数据主体配置为：$DATA，JSON样例如下：{"DATA": [{"SERNR": "sernr1"}{"SERNR": "sernr2"}]}则返回数据结果为两条记录：{"SERNR": "sernr1”}、{SERNR": "sernr2”}，字段映射时来源表字段为：SERNR
    • 总量字段：返回结果中表示API请求获取到的返回记录总数的字段的JSON路径，请填写JSONPath表达式。示例：请求内容为：{"corpAccessToken":"CORP_ACCESS_TOKEN","corpId":"CORP_ID"，"pageSize”:10,"pageNumber”:1}返回结果为:{ totalCount:1000, pageSize:10, pageNumber:1, ... }则总量字段应填写：$.totalCount
    • 空字段处理：当一条数据解析时，Json路径中找不到字段时的处理方式。支持用户设置是任务报错还是将对应的来源字段值设为null数据

2.离线同步任务，数据来源为Oracle时，优化Oracle计算最大值最小值的sql
3.离线同步任务，同一任务支持同时使用断点续传和脏数据管理策略

4.实时同步任务的引擎版本由Flink-1.13升级至Flink-1.14

  • 功能介绍：
    • 无
  • 注意事项：
    • 平滑升级，用户侧无感知
    • 针对状态为运行中的历史任务，引擎版本仍为Flink-1.13，但任务停止后重新启动时，引擎版本自动升级至Flink-1.14
  • 使用步骤及功能页面：
    • 无

数据质量中心

版本：v2.11.0

1.跨字段跨表规则支持跨数据源之间进行比对

  • 功能介绍：
    • 满足复杂业务场景的比对需求。校验两表表行数 、表唯一行数、某两个字段最大值/ 最小值 /平均值 /汇总值是否一致
  • 注意事项：
    • 仅数值型字段可支持使用以下规则模板：字段汇总值关系校验、字段平均值值关系校验、字段最大值关系校验、字段最小值关系校验
  • 使用步骤及功能页面：
    a. 新增内置规则模板:字段汇总值关系校验、字段平均值值关系校验、字段最大值关系校验、字段最小值关系校验

    b. 旧规则模板：表-表行数一致性规则、表唯一行数一致性 ，支持hive、mysql、oracle、vertica、postgresql、sqlserver之间比较

    c.新建模板规则，支持选择新增模板
功能优化

1.导航栏支持查看项目描述

  • 功能介绍：
    • 用户有较多项目时，无法直观看到这个项目是做什么的，比较混乱，所以需要支持项目描述
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
    a. 控制台切换项目的时候在项目名称后面展示项目描述信息，并支持按照项目描述进行搜索，如果项目描述为空，不展示信息
    b. 点击项目-集群出现切换框，hover时在项目名称之后展示项目描述，如果项目描述为空，不展示

2.质量报告支持嵌入数据地图

  • 功能介绍：
    • 数据地图表详情页新增数据质量页签，支持展示表质量报告
  • 注意事项：
    • 无
  • 使用步骤及功能页面：
    • 无

3.优化任务包批量导入时，自定义字段规则名称支持特殊字符。

BUG修复

1.修复形态探查任务运行异常问题。
2.修复数据质量中心比对功能加横向滚动条和自适应一下列宽问题。
3.修复数据质量中心无法批量导出任务问题。
4.修复质量大屏中表负责人选项没有作用问题。
5.修复质量报告异常清单页面交互优化问题。
6.修复质量执行实例分页器交互规范改造问题。
7.修复数据比对/形态探查/质量监控修复最大executors数量配置未生效的问题。