数据质量中心

版本：v2.12.0
功能优化

1.DQC任务导入导出支持覆盖

  • 功能介绍：
    • 增加上传时支持选择相同资源导入策略，可选覆盖/跳过。当选中“覆盖”时，相同资源被发布包中内容覆盖，当选中“跳过”时，存在相同资源导入时跳过
  • 注意事项：
    • 覆盖策略，导入时以uuid和任务名为任务唯一标识
      a.若uuid不同，任务名称相同，导入时直接覆盖任务名称相同的原任务，uuid也覆盖；
      b.若uuid相同，任务名称相同，导入时直接覆盖uuid相同的原任务；
      c.若uuid相同，任务名称不同，任务名称在导入端不存在，导入时直接覆盖uuid相同的原任务，任务名也覆盖；
      d.若uuid相同，任务名称不同，任务名称在导入端已存在，则导入失败。
  • 使用步骤及功能页面：
    • a.功能入口：任务列表-质量监控
    • b.点击批量导入任务-任务包形式导入，即可选择相同资源导入策略

2.监控对象为非Hive数据源时，跨字段跨表规则比对数据源下拉列表不能选择hive。

3.形态探查任务支持spark3运行。

BUG修复

1.修复数据质量中心-数据比对，字段内容不一致处查看数据无法正常翻页问题。

安全中心

版本：v3.9.5.2
新增功能

1.角色管理增加产品访问权限控制

  • 功能介绍：
    • 安全中心在角色管理增加产品访问模块（固定展示在最上面），可配置指定角色/成员能访问哪些子产品
  • 注意事项：
    • 本期只接入数据资产地图，未对接的子产品默认所有人均可访问；
    • 产品访问功能在OPS设置开关，目前只给部分客户开启，未开启时隐藏此功能；
    • 项目组子产品将对接项目组级产品访问控制，项目子产品将对接项目级产品访问控制。
  • 使用步骤及功能页面：
    a.进入安全中心-角色管理页面，选择指定角色/用户，选择功能权限

    b.有勾选产品访问权限时，则可以访问指定子产品，未勾选时访问将提示无权限

数据资产地图

版本：v2.7.3
功能优化

1.地图增加产品访问权限控制

  • 功能介绍：
    • 优化地图产品访问权限控制，用户申请加入数据服务项目后，不再具有访问数据资产地图的权限。
  • 注意事项：
    • 产品访问权限控制，目前安全中心、地图均做了开关控制，默认关闭保持以前的流程不变，只有安全中心和地图同时开启后，产品访问权限控制的功能才会生效
    • 历史用户，在开启访问权限控制后，系统会自动初始化具有访问权限；增量用户加入到项目或项目组，默认没有地图的访问权限，需要在「安全中心-角色管理-项目组」权限下，给指定角色或人员授权地图的产品访问权限。产品访问权限控制目前只有地图子产品支持，其他子产品后续排期依次支持
  • 使用步骤及功能页面：
    • a.存量用户或角色若要修改其访问地图的权限，可以在「安全中心-角色管理-项目组级」下选择具体某个角色或用户，勾选或取消勾选地图的访问权限，如下图所示
    • b.有勾选产品访问权限时，则可以访问地图
    • c.没有勾选产品访问权限时，则访问地图会提示无权限

模型设计中心

版本：v1.8.2
新增功能

1.主题域可以批量增加负责人和审批人

  • 功能介绍：
    • 为了便于客户更好的管理主题域，让用户能够快速增加某些主题的负责人或审批人，新增批量设置负责人和审批人功能
  • 注意事项：
    • 追加：在原有的负责人上添加新的负责人或审批人
    • 覆盖：用新的负责人覆盖原有的负责人
    • 支持同步更新到子主题：将同步更新已选择的主题下所有子主题的负责人
  • 使用步骤及功能页面：
    模型设计中心-主题设计-批量设置审批人/批量设置负责人

2.扩展字段可以按照表名批量修改

  • 功能介绍：
    • 为了便于客户更好的管理表，在新建表或修改表时，支持批量设置字段的扩展属性，比如批量设置字段安全等级、来源表、来源字段等
  • 注意事项：
    • 批量设置字段实现的是覆盖形式，将填写的值覆盖填充到所有分区字段及非分区字段
  • 使用步骤及功能页面：
    模型设计中心-数据表-新建表/修改表
功能优化

1.模型设计中心新建表语法支持不换行

  • 功能介绍：
    • 当SQL存在“)”不换行时，会导致解析失败，本版本对SQL解析模式进行优化，SQL中的字段部分与表单字段部分可互相解析，properties部分已SQL为准

2.条件筛选后应该清空勾选内容

  • 功能介绍：
    • 用户在列表页进行勾选后，如果发生筛选条件变化，勾选结果不会清空，但用户已不知晓自己选择了什么，本版本修改为当查询结果集发生变更（即筛选条件发生变更）时，勾选结果清除

3.数据源选择时支持搜索

  • 功能介绍：
    • 新建表时，数据源支持搜索

4.兼容%和_的搜索

  • 功能介绍：
    • %和_作为mysql关键字，搜索时需要转义

5.兼容数据标准发布新版本，仍然能够根据内部标识符找到对应版本

  • 功能介绍：
    • 数据元及字典与字段使用内部标识符进行关联，兼容多版本标准时仍能保留关联关系

6.新建或编辑主题时需要判断负责人或审批人是否存在，如果不存在就不进行回显

  • 功能介绍：
    • 当用户被删除或者被移除时，在编辑主题时需要进行判断，若用户不存在则不进行回填，需要用户重新指定
BUG修复

1.修复模型设计中心点开表，无法加载数据，并展示相同的表问题。
2.修复模型设计中心，创建修改表工单时，标准字典字段以前的值展示为id问题。
3.修复模型设计中心自适应优化问题。
4.修复新增字段提交报错不支持删除字段问题。

数据传输

版本：v3.5.1
新增功能

1.数据来源为FTP、文件格式为txt或csv时，编码格式新增：GB18030-2022

  • 功能介绍：
    • 数据来源为FTP、文件格式为txt或csv时，编码格式新增：GB18030-2022
  • 注意事项：
    • 使用此功能，可读取编码格式为GB18030-2022的txt或csv文件，数据如需正常写入去向端要求去向数据源也支持该编码格式
  • 使用步骤及功能页面：

2.数据去向为FTP、文件格式为txt或csv时，编码格式新增：GBK、GB18030-2022

  • 功能介绍：
    • 数据去向为FTP、文件格式为txt或csv时，编码格式新增：GBK、GB18030-2022。使用此功能，可按此编码格式生成文件
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

3.数据去向为FTP，文件格式新增excel和csv

  • 功能介绍：
    • 数据去向为FTP，支持按照excel和csv文件格式生成文件
  • 注意事项：
    • 生成excel文件时，文件扩展名为.xlsx
    • Excel软件限制excel文件单sheet页行数上限为1048576。出于性能考虑，数据传输产品写入数据时分批次写入的，默认先写入首个sheet页，如果当前sheet页已写入的行数加上最新批次的文件行数超出单个shee页的行数限制，就会新开一个sheet。默认单次写入的最大行数为1000行，单sheet页行数上限是100万行，如需调整配置值可在任务高级配置的自定义参数或节点参数调整。sheetMaxRows：单sheet页行数上限，默认1000000；batchSize：单次写入的最大行数，默认1000
  • 使用步骤及功能页面：

4.数据来源为Oracle时并发读取的切分键支持使用ROWID

  • 功能介绍：
    • 切分键建议使用数据分布相对均匀的字段，从而保证切分较为均匀，并发读取时能够成功提高传输速率。此功能解决的问题是：用户希望提升任务效率，但Oracle表中无唯一主键和数据分布比较均匀的字段。ROWID是Oracle表的伪列，用于唯一标识表中的每行数据，在此场景下切分键支持使用ROWID可以有效提升传输速率
  • 注意事项：
    • 如果Oracle视图或同义词表示的对象或查询不支持查询ROWID，请勿使用ROWID作为切分键，否则任务运行可能会报错
  • 使用步骤及功能页面：

5.数据来源为Kafka时支持读取Kafka的metadata元数据（实时同步任务）

  • 功能介绍：
    • 数据来源为Kafka时支持读取Kafka的metadata元数据：key、topic、partition、leader-epoch、offset、timestamp、timestamp-type
  • 注意事项：
    • 如需读取key，key的编码格式需为utf-8，字段类型需为string
  • 使用步骤及功能页面：
    • 来源Topic字段的字段类型选中元数据，并选取需读取的元数据字段
    • 元数据介绍详见下图：
功能优化

1.修复Sonar安全漏洞

  • 功能介绍：
    • 修复snoar检查中的空方法、修复sonar检查中未使用的方法与变量: Remove this unused、修复sonar检查的UTF8常量硬编码、修复sonar检查:Loggers should be named for their enclosing classes 、mybatis cluster 加上引号

2.数据来源为Kafka、数据去向为Iceberg写入规则新增：insert into。
3.字段映射-获取最新表结构，如果去向表新增字段，对应的来源表字段会进行同名映射，如存在同名字段则置为同名字段，如不存在同名字段则置为不导入，请检查是否需调整字段映射。
4.批量创建任务，考虑到Hive表名的格式要求，生成去向Hive表名时默认过滤除字母、数字、下划线以外字符，仅保留前64个字符。
5.数据去向为Kudu时写入规则增加中文注释：Insert into（追加）、并依据写入规则的实际效果将Overwrite文案修正为Upsert（遇主键冲突，更新原纪录）。
6.线上任务tab页点击批量下线按钮，以及线上任务详情页的下线按钮，点击后增加二次确认弹窗，用户确认后方下线任务。
7.批量删除二次确认弹窗的文案优化。
8.数据来源或去向为FTP时，原csv文件格式存在不完全支持csv转义规范的问题。产品新增支持csv转义规范的csv文件格式，新建任务时禁用文件格式：csv（旧），修改任务时禁止切换为文件格式：csv（旧）。文件格式已选择csv（旧）的历史任务不受影响。

BUG修复

1.修复批量创建离线传输任务失败的问题。
2.修复xsd文件元素名称包含下划线解析元素失败的问题（民生证券）。

任务运维中心

版本：v1.8.6
新增功能

1.补数据支持补上游数据

  • 功能介绍：
    • 在业务场景中经常会碰到下游的任务出现问题，需要上游重新调度起来，但是由下游去反推到上游只能由人工去定位上游的任务，然后再从上游开始补数据，操作复杂。此次更新任务运维中心将支持在创建补数据任务时，自定义补数范围，包括仅下游任务、仅上游任务和上下游任务。
功能优化

1.重跑时支持上游依赖判断

  • 功能介绍：
    • 当由于某些原因出现任务大批量失败，导致任务依赖的下游都被终止时，用户想要重跑上下游实例，往往需要按照依赖关系去重跑上下游，但原先任务运维中心批量重跑操作会一次性拉起所有实例进行重跑，不再校验其上游依赖，导致任务会出现重跑时上游并非成功而导致下游产出数据异常的问题。此次升级后，在批量和单个重跑任务的时候，会保留任务的依赖关系，如果系统检测到被重跑任务所依赖的上游不满足依赖条件，下游会处于就绪等待上游的状态，直到上游成功后，下游才会开始正常运行。如果用户不需要判断依赖，则可以选择强制重跑。
BUG修复

1.修复了任务被删除后，通过实例列表等中的任务名称，跳转查看任务详情页时的显示问题。
2.修复了补数据任务列表中涉及任务数统计有误的问题。

数据治理360

版本：v3.0.5
新增功能

1.导航栏支持项目描述

  • 功能介绍：
    • 新增对项目描述的支持，当该项目有描述信息时，鼠标悬浮将可查看项目描述内容；且在筛选下拉时可以看到描述
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

2.支持创建冷备的数据恢复任务，支持从OSS恢复至HDFS

  • 功能介绍：
    • 对于通过表/目录备份功能，备份到冷备空间的数据，支持创建数据恢复任务，将冷备空间的数据恢复到指定目录或源目录下
  • 注意事项：
    • 仅支持通过治理360平台中表/目录备份功能，备份到冷备空间的数据恢复，恢复数据量仅记录通过创建数据恢复任务而恢复的数据量；
    • 创建数据恢复任务，选择的待恢复目录即为冷备空间中的目录内容，支持多选；
    • 恢复目的地支持指定自定义目录或者源目录，源目录指的是在冷备到冷备空间之前原集群下的目录；
    • 若存在同名目录，默认策略为覆盖，会删除掉目的地的重名目录；
    • 对于OSS目录文件，要恢复到HDFS文件，需要先进行解冻，故在恢复任务进行启动时，会判断指定的目录是否处于冷冻状态，冷冻状态下的文件不支持恢复；
    • 恢复任务运行成功后，可以在任务运维中心查看任务状态。
  • 使用步骤及功能页面：
功能优化

1.健康诊断模块未设置生命周期规则优化

  • 功能介绍：
    • 在健康诊断模块，未设置生命周期，仅命中了未设置生命周期的表，若分区已经设置了生命周期，也应该属于设置生命周期的表，不应该在该规则内显示并扣分
  • 注意事项：
    • 无
  • 使用步骤及功能页面：

2.数据备份任务创建人全部显示为了grp.mammut，优化显示为真实的创建人。

3.优化备份空间有些分区比较多的目录，备份空间加载不出来。

BUG修复

1.修复目录/表冷备任务针对冷备记录中源目录不存在会导致整个冷备任务失败的问题。
2.修复数据资产任务异常，任务运行失败，但是整体运行成功问题。

实时计算

版本：v3.9.13.3
功能优化

1.产品页面访问权限优化：仅具有实时平台管理员、项目负责人、项目管理员、实时管理员、实时开发、实时运维角色的用户可访问实时开发和实时运维页面，其余角色用户不可访问实时产品页面。