更新历史

版本：3.11.0

1.数据质量支持Doris

• 功能介绍：
  • 质量监控，数据源类型新增Doris，支持新建Doris类型的质量监控任务。

2.质量监控任务和规则支持批量删除

• 功能介绍：
  • 支持批量删除质量监控任务。
  • 支持批量删除质量监控任务内的规则。
• 功能使用注意事项：
  • 批量删除质量监控任务时，会自动过滤无权限删除、被离线开发节点引用、独立调度的任务，如果需要删除已使用的质量监控任务，需要解除引用后才能删除。

3.支持快速订阅质量报告

• 功能介绍：
  • 根据质量监控任务覆盖方式订阅报告，支持按监控负责人快速筛选相关的任务。
  • 根据库表范围覆盖方式订阅报告，支持按表负责人快速筛选相关的表。
  • 质量监控任务列表，支持按照质量监控任务覆盖的方式，快速批量订阅质量报告。

4.质量监控任务的告警信息增加异常规则明细

• 功能介绍：
  • 当质量监控结果异常时，在告警信息中展示异常明细规则的名称，规则类型，规则描述，执行结果。
  • 规则描述填写项中，支持通过填写变量来返回规则SQL查询结果中的特定列值，将业务信息展示在运行结果的告警信息中。

5.质量大屏支持下钻查看监控配置情况

• 功能介绍：
  • 质量大屏，监控配置情况中的监控总量，强/弱规则总量，准确性/完整性/有效性/唯一性/一致性/及时性规则总量，支持下钻查看对应类型规则的明细数据

6.形态探查支持StarRocks

• 功能介绍：
  • 形态探查，数据源类型新增StarRocks，支持新建StarRocks类型的形态探查任务。

7.数据比对支持StarRocks

• 功能介绍：
  • 数据比对，数据源类型新增StarRocks，支持同个StarRocks数据源下，比对不同数据库/表的数据。

1.对接发布中心功能优化，支持在发布中心侧点击质量监控任务名称，跳转至质量监控任务详情页，包括资源列表、在线生成、发布记录等页面。

版本：3.10.0

1.质量监控任务支持excel形式导入导出

• 功能介绍：
  • 增强excel导入功能，支持多种模版规则类型导入，包括字段级、表级、跨字段级、跨表级等，原本该功能仅限于导入自定义规则，本次拓展支持导入更丰富的模版规则类型。
  • excel形式导入，新增覆盖和跳过策略选项，选择覆盖策略，系统将自动使用excel内容更新覆盖已存在的规则，从而实现规则的更新效果，选择跳过策略，系统则会忽略跳过已存在规则的处理。
  • 批量导出任务，支持excel形式批量导出，可以将线上的规则批量下载至本地，便于进行线下的规则维护和更新。

2.质量监控执行结果明细，增加总行数和异常行数展示

• 功能介绍：
  • 针对字段级别和表级别自定义规则，在质量监控执行结果明细展示总行数和异常行数，可更直观地查看数据监控的执行结果数据，方便进行对比。

3.质量监控任务和质量问题的权限管理，支持按照资源目录方式授权

• 功能介绍：
  • 新增按照资源目录方式授权功能，可以通过目录授权快速授予指定用户或角色质量监控任务和问题的权限，方便进行权限管理。
  • 质量监控任务支持项目级别的权限管控，质量问题支持项目组级别的权限管控。

版本：3.9.1

1.数据质量支持OceanBase-Oracle

• 功能介绍：
  • 质量监控，数据源类型新增OceanBase-Oracle，支持新建OceanBase-Oracle类型的质量监控任务

版本：3.9.0

1.表级质量报告，增加最近一次执行异常数据表

• 功能介绍：
  • 原本表级质量报告按照质量分汇总排行展示数据表，呈现的是汇总排行后的结果，过程中有异常的数据表难以及时跟进，本次增加最近一次执行异常数据表，支持快速查看最近一次检查异常的数据表，可直接跳转查看表的质量报告，直达该表的质量异常数据明细。
  • 最近一次执行异常数据表：指在最后一次线上调度任务稽核监控执行时，规则执行结果异常的数据表，异常数据表将会呈现在表级质量报告页面异常数据表列表中，支持查看项目和项目组的最近一次执行异常数据表。

2.项目组订阅质量报告，支持按照项目筛选订阅

• 功能介绍：
  • 当负责多个项目，需要同时订阅多个项目的数据质量报告，可在项目组下订阅报告，直接筛选关注的项目，添加多个项目下的任务，而不需要前往每个项目单独订阅。

3.质量报告订阅方式增加飞书、飞书群聊方式，接收对象增加支持接收组订阅

4.支持异常数据以excel文件下载

• 功能介绍：
  • 原本异常数据，页面上仅展示500条，全量记录需要另外前往自助分析查询，本次在数据质量功能中查询异常数据后，增加支持全量异常数据以excel文件下载的功能，方便快速获取异常规则的全部异常数据。
  • 支持在执行实例，订阅报告详情，表级质量报告页面下载异常数据。

5.支持数据对比结果以excel文件下载

• 功能介绍
  • 支持下载主键仅在本表记录，主键仅在比对表记录，行不一致记录，字段内容不一致记录等4种数据比对结果记录

1.质量报告中表负责人质量分排行，近7日表质量平均分默认降序，同时支持调整排序。

2.数据比对结果窗口，支持新建页签放大展示，方便在线进行数据比对。

版本：v3.8.6

新增功能

1、数据质量-数据比对和数据探查支持TDH，v6.2.2和v9.2.2

• 功能介绍： 数据质量数据比对和数据探查支持TDH，数据源类型选择Hive，数据源选择TDH hive数据源：
  

版本：v3.8.5

新增功能

1、数据质量质量监控支持TDH，v6.2.2和v9.2.2

• 功能介绍： 数据质量监控任务支持TDH，数据源类型选择Hive，数据源选择TDH hive数据源：
  

版本：v3.8.4

新增功能

1、数据质量支持StarRocks

• 功能介绍：
  • 数据质量支持StarRocks v3.2.2。
    
    • 执行实例支持StarRocks
      
    • 规则模板支持StarRocks
      
    • 规则列表支持StarRocks
      
    • 表级质量报告支持StarRocks
      
    • 报告订阅模板支持StarRocks
      
    • 质量大屏支持StarRocks
      
    • 问题提报支持StarRocks
      

版本：v3.8.3

新增功能

1、数据质量实例支持重跑&停止

• 功能介绍：
  • 数据质量监控实例支持重跑&停止操作。
    

2、监控报警支持通知表负责人

• 功能介绍：
  • 监控报警支持通知表负责人
    

版本：v3.8.2

新增功能

1、数据质量支持规则模板的复制

• 功能介绍：
  • 支持规则模板的复制，可以减少用户的类似配置操作
    

版本：v3.8.1

新增功能

1、数据质量支持ocenbase-mysql版本：v3.2.4

• 功能介绍：

  质量监控：数据源类型-新增oceanbase，新建监控支持oceanbase
  
  执行实例：数据源类型-新增oceanbase
  
  规则模板：适用数据表类型，新增oceanbase，会有规则适配工作量
  
  规则列表：适用数据源类型，新增oceanbase
  
  表级质量报告：项目级和项目组级，数据源类型，新增oceanbase
  
  报告订阅模板：新增oceanbase-mysql
  
  质量大屏：数据源类型新增oceanbase
  

• 功能使用注意事项 ：

  • 无

2、数据质量支持Tidb版本：v6.1.2

• 功能介绍：

  质量监控：数据源类型-新增tidb，新建监控支持tidb
  
  执行实例：数据源类型-新增tidb
  
  规则模板：适用数据表类型，新增tidb，会有规则适配工作量
  
  规则列表：适用数据源类型，新增tidb
  
  表级质量报告：项目级和项目组级，数据源类型，新增tidb
  
  报告订阅模板：
  
  质量大屏：数据源类型新增tidb
  

• 功能使用注意事项 ：

  • 无

版本：v3.8.0

新增功能

1、规则支持配置自定义属性字段

• 功能介绍：
  • 增加对规则打标：对规则标记各类标签，比如是否暂停，是否剔出，是否忽略；规则关注程度、权重等，以便于对规则管理
• 功能使用注意事项 ：
  • 无

2、数据质量监控任务支持引用平台的调度日历

• 功能介绍：
  • 数据质量监控任务调度周期支持交易日频度

• 功能使用注意事项 ：

  • 无

3、质量监控、执行实例列表支持项目组级查看

• 功能介绍：
  • 质量大屏支持配置项目权限进行查看，大屏内容支持项目组级别
  • 任务管理支持项目组统一管理和查看，支持新建监控任务、形态探查和数据比对任务
  • 执行实例支持项目组同意查看
  • 规则模板支持项目组统一查看，支持新建规则模板，支持权限配置管理
  • 配置管理支持项目组统一配置，支持权限配置管理

• 功能使用注意事项 ：

  • 无

4、数据质量支持GaussDB 8.1.3 FOR PG

• 功能介绍：
  • 数据质量支持GaussDB 8.1.3 FOR PG

5、数据质量报告查询OpenApi：查询项目组下有表级质量报告的表列表

• 功能介绍：
  • 数据资产地图数据内容丰富与查询能力增强，需新增以下能力：
  • 1）资讯数据的接入：接入聚源、通联、中债、中证等外部资讯数据，实现资讯目录、数据字典、数据表结构、数据内容的查询；
  • 2）数据字典的查询：实现标准字典及仓外原始字典的目录、列表、详情、搜索等功能，按需对接标准字典的维护功能；
  • 3）数据质量报告：支持查询不同数据源下面的指定数据表或者数据表组合的数据质量报告情况，支持与数据质量工单流程打通；
  • 4）版本管理：支持对基础元数据/指标/标签的治理和发布的版本记录及变更内容进行查询展示，支持多版本对比；
  • 5）订阅通知：支持资产的订阅功能，新增数据资产地图里面的资产元数据发生变更后，针对订阅用户的通知提醒；

6、数据质量支持项目组级别质量大屏

• 功能介绍：
  • 质量大屏支持配置项目权限进行查看，大屏内容支持项目组级别
  • 任务管理支持项目组统一管理和查看，支持新建监控任务、形态探查和数据比对任务
  • 执行实例支持项目组同意查看
  • 规则模板支持项目组统一查看，支持新建规则模板，支持权限配置管理
  • 配置管理支持项目组统一配置，支持权限配置管理

版本：v3.7.0

1.支持规则列表页面

• 功能介绍：

  • 支持规则视角的页面，可查看当前项目和项目组下配置的所有质量规则

• 功能使用注意事项 ：

  • 规则列表区分项目组和项目级别，均仅可查看。加入当前项目组即可查看项目组tab
  • 规则列表本期仅可查看不可编辑

2.质量监控任务监控对象支持选择其他项目的hive表

• 功能介绍：

  • 质量监控任务支持选择其他项目对本项目公开的hive表，公开操作位于安全中心数据授权

3.质量监控任务选择监控对象支持对接hive表权限

• 功能介绍：

  • 质量监控任务支持配置开关，hive表质量监控负责人需对监控表有读或写权限才可配置质量监控任务

• 功能使用注意事项 ：

  • 开启开关后，新建或编辑质量监控监控对象仅能选择有读/写权限的hve表
  • 开启开关后，发布中心接收端的监控负责人如果没有表权限，则任务导入/发布失败
  • 开启开关后，批量移交负责人时如果接收人没权限移交失败

1.资源目录配置支持标准目录

• 功能介绍：

  • 数据质量资源目录配置可选择数据标准的目录作为资源目录

2.参数组引用增强

• 功能介绍：

  • 挂在离线开发任务上的质量任务支持应用开发任务内引用参数组
  • 试跑、独立调度弹窗支持引用参数组

• 功能使用注意事项 ：

  • 参数优先级为：质量监控节点上配置的set参数优先级最高、离线开发任务内引用参数组的次之、质量监控任务中引用的参数组次之
  • 试跑、独立调度弹窗引用的参数组替换sql里的参数，不会替换库表

3.参数组引用增强

• 功能介绍：

  • 质量监控Greenplum数据源支持异常数据查看

4.体验及技术优化

• 功能介绍：

  • 报告订阅模板发送的邮件标题中展示模板名称
  • 质量监控任务详情点击表名支持调整到数据地图
  • 优化异常数据SQL的生成逻辑
  • dqc分布式锁改造，基于redis实现的分布式锁改成改到数据库实现

版本：v3.6.0

1.支持SQLserver、oracle、Greenplum数据源与hive数据比对

• 功能介绍：

  • 支持SQLserver、oracle、Greenplum数据源与hive数据比对

• 功能使用注意事项 ：

  • 源表数据源类型只能选择hive，比对表数据源类型支持选选择其它
  • 结果存储在hive库里

2.支持TDSQL数据源（mysql5.7、mysql8版本 ）

• 功能介绍：

  • 质量监控任务支持选择TDSQL数据源作为监控对象，并适配规则模板

• 功能使用注意事项：

  • TDSQL数据源质量监控暂不支持查看异常数据样本和异常数据存储

1.数据质量监控支持离线开发参数组区分项目需求

• 功能介绍：

  • 数据质量监控任务仅可选择和使用公开给当前项目的参数组

2.质量监控任务对接发布中心功能优化

• 功能介绍：

  • 数据质量监控任务发布时支持配置遇失败资源处理策略

3.质量监控任务支持mysql8数据源

• 功能介绍：

  • 质量监控任务支持mysql8数据源

版本：v3.5.0

新增功能

1.支持DB2数据源（10.5版本 ）

• 功能介绍

  • 质量监控任务支持选择达梦数据源作为监控对象，并适配规则模板

• 功能使用注意事项

  • 达梦数据源质量监控暂不支持查看异常数据样本和异常数据存储

• 功能详细使用步骤

  • 入口：任务列表-质量监控

2.质量监控任务支持通过参数库名映射，对接公共资源参数组

• 功能介绍

  • 质量监控任务导入导出或发布时，可以通过变量进行库名及表名替换

• 功能使用注意事项

  • 同一质量监控任务内多个参数组内有相同参数项时，系统取排在前面的参数组的参数值

• 功能详细使用步骤

  • 入口：离线开发-公共资源：在发布环境和接受环境通过参数组配置参数和库/表的映射关系

  • 入口：任务列表-质量监控：

    • 新建/编辑任务时选中需要引用的参数组

    • 库名、表名、异常数据结果存储位置，可选直接选择/参数组替换。选择参数组替换，则下拉展示引用参数组里的参数，若有相同参数则应用优先级最高的。同一质量监控任务内多个参数组内有相同参数项时，系统取排在前面的参数组的参数值。

3.质量监控异常的时候支持自动提报问题

• 功能介绍

  • 质量监控任务新建/编辑时增加整改配置，开关开启时，此任务线上调度规则异常时，自动提报成问题，可在问题管理模块进一步处理

• 功能使用注意事项

  • 提报人为监控负责人

  • 发布中心发布及导入导出场景，处理和验收流程根据名称匹配。若接收方没有同名流程，则填入默认流程；若接收方没有流程引擎，则为流程为空

• 功能详细使用步骤

  • 入口：任务列表-质量监控

功能优化

1.数据质量支持交易日函数：sys_sch_hs

• 功能介绍

  • 质量监控任务在分区配置和试跑及离线开发节点set参数中均适配sys_sch_hs函数，格式为azkaban_date_modify${schedule.exec.date.simple}','sys_sch_hs',-1, 'dd'

2.跨表跨字段模板规则比对表支持where条件

• 功能介绍

  • 跨字段跨表一致性模板规则比对表增加非分分区过滤条件

3.监控任务调度时也支持编辑异常存储配置

• 功能介绍

  • 历史版本线上调度及被离线开发引用的监控任务不可编辑异常存储配置，现放开此限制

版本：v3.4.1

新增功能

1.质量监控支持在规则代码sql里引用参数组

• 功能介绍

  • 监控任务基本信息中支持选择公共参数组，选中的参数组可在规则代码sql里应用

• 功能使用注意事项

  • 引用参数组后，当前任务SQL中可使用参数组内参数,格式${参数名}

  • 同一质量监控任务内多个参数组内有相同参数项时，系统取排在前面的参数组的参数值

  • 可前往“离线开发-公共资源”查看参数组详情或配置参数组

• 功能详细使用步骤

  • 字段级自定义规则代码、字段级自定义规则、异常SQL、表级自定义规则代码、表级自定义异常规则，可使用${}形式的参数

  • 保存时，异常SQL不针对做参数校验，如果执行时替换的参数组有问题，则报错

版本：v3.4.0

新增功能

1.质量报告订阅模板支持根据批量监控任务配置范围

• 功能介绍

  • 质量报告订阅模板支持选择数据范围覆盖方式，可以根据质量监控任务覆盖也可以根据库表范围覆盖

• 功能使用注意事项

  • 选择根据质量监控任务覆盖，支持选择报告覆盖的任务资源目录范围，联动选择目录下的任务

• 功能详细使用步骤

  • 功能入口：质量报告-报告订阅模板

2.数据质量监控支持达梦数据源（版本8.1 、8）

• 功能介绍

  • 质量监控任务支持选择达梦数据源作为监控对象，并适配规则模板

• 功能使用注意事项

  • 达梦数据源质量监控暂不支持查看异常数据样本和异常数据存储

• 功能详细使用步骤

  • 入口：任务列表-质量监控

3.质量监控、数据比对、形态探查任务负责人对接安全中心资产交接

• 功能介绍

  • 对接安全中心权限治理整体转交，实现一键修改任务负责人

• 功能使用注意事项

  • 整体转交仅项目管理员负责人可操作

• 功能详细使用步骤

  • 入口：安全中心-权限治理-整体转交-项目级 勾选相应资源，点击批量转交

功能优化

1.质量监控任务支持选择iceberg表

• 功能使用注意事项

  • iceberg表若想查询异常数据样本，必须开启异常数据存储功能且设置为同步存储

2.形态探查、数据比对、质量监控过滤struct/map/array类型的字段

• 功能介绍

  • 形态探查、数据比对、质量监控暂不支持struct/map/array类型的字段，此版本进行过滤并增加文案提示

3.监控任务详情规则列表支持根据全部、规则编码、规则名称搜索规则，并支持url跳转时可以定位到搜索后的结果

• 功能使用步骤

  • 功能入口：任务列表-质量监控-规则列表

4.异常数据支持同步存储

• 功能介绍

  • 存储异常数据样本开关打开时，展示勾选框 运行质量监控任务时同步存储异常数据

  • 勾选同步存储，将在运行质量监控任务时同步写入异常数据，写入失败会导致监控任务失败，适用于监管报送等需要依赖异常数据做进一步加工处理的场景

  • 不勾选同步存储，将在质量监控任务运行结束后写入异常数据，写入失败不影响监控任务状态，适用于传统质量稽核，不需要或者不依赖异常数据等场景

• 功能使用步骤

  • 功能入口：任务列表-质量监控

版本：v3.3.0

新增功能

1.数据质量中心对接产品访问控制

• 功能介绍

  • 对接产品访问模块的功能权限，有权限的用户/角色可以访问数据质量中心模块

• 功能使用注意事项

  • 产品访问权限控制功能受ops开关控制，如需开启此功能请联系技术支持

  • 同时对接项目组页面和项目页面访问权限，用户只要有其中一个的权限就能访问数据质量中心模块

• 功能详细使用步骤

  • 功能入口：安全中心-角色管理-项目组级/项目级-功能权限

2.质量监控任务支持按照资源目录分类

• 功能介绍

  • 通过引入资源目录来实现对质量监控任务的分类，一个资源目录的子目录可以代表一个业务领域/部门/来源系统的质量校验，资源目录方便用户对质量监控进行批量管理，以主题视角进行管理，而不是零散地配置任务和规则、调度配置等

• 功能使用注意事项

  • 导入导出和通过发布中心发布时，任务的资源目录通过目录编码匹配映射

• 功能详细使用步骤

  • a.入口：配置管理-资源目录配置 支持资源目录配置在质量监控中应用，可新增自定义目录，并选择是否在质量监控启用和必填
  • b.入口：任务列表-质量监控新建/编辑任务 新建/编辑时支持配置任务所属资源目录
  • c.入口：任务列表-质量监控 支持按照资源目录分类

3.质量监控任务支持批量设置调度

• 功能介绍

  • 持选择多个质量监控任务设置统一的调度时间

• 功能使用注意事项

  • 仅同数据源类型可批量设置调度
  • 批量设置调度 仅支持批量设置独立调度而不能与离线开发关联

功能优化

1.质量监控任务列表支持独立调度的筛选条件

2.报告订阅模板支持订阅今天的统计数据

• 功能介绍：
  • 告订阅模板的数据日期范围可以选择截止到前一天24点的一段数据还是当天数据，若选择当天，覆盖数据范围为 当天 0点 -当天发送时间

3.问题管理模块-点击处理问题/从流协点击去处理，处理方式支持下发会签即加签。工单接收人多选时为会签逻辑，都处理完即为完成

4.openapi支持远程触发质量监控任务运行

版本：v3.2.0

功能优化

1.质量监控导入导出支持导出异常数据存储信息、调度配置、跨表跨字段规则

2.数据比对任务支持配置忽略精度差异

3.外部数据源监控任务执行账号逻辑修改：

开启源系统账号映射时，使用数据源映射账号 （开启了源账号映射，如果没配映射，就是数据源没权限，运行失败）；

未开启源系统账号映射时，使用登记数据源时填写的账号。

4.任务包导入导出支持导入导出调度设置、异常数据存储、跨表跨字段规则

5.数据比对结果存储位置，支持选择测试库/非测试库，再选择具体的库

6.数据比对、形态探查、质量监控一致性规则支持kudu表任务

版本：v3.1.0

新增功能

1.数据质量对接发布中心

• 功能介绍：

数据质量监控任务支持对接发布中心实现跨环境发布，发布中心选择发布到开发模式的质量监控任务默认为开发模式。

• 功能使用注意事项

  • 发布中心选择发布到开发模式的质量监控任务默认为开发模式；

  • 没有线上态的开发态质量监控任务，提交上线后删除开发态任务，taskId沿用开发态的；

  • 有线上态的开发态任务，提交上线后覆盖原线上态任务，删除开发态任务，原线上态任务taskid不变；

  • 存在开发态的线上态质量监控任务不支持编辑，需先编辑开发态任务再提交上线；

  • 数据质量对接发布中心支持使用发布中心配置的数据源映射、hive库映射及队列映射；

  • 开发态的质量监控任务不支持设置独立调度-

2.问题管理支持从执行实例创建问题

• 功能介绍：

线上调度、运行结果为异常的实例支持 发起问题提报和关联问题详情。点击问题提报跳转至问题管理-问题提报新建态、问题自动填入基础信息和关联质量监控信息。

• 功能使用注意事项

问题提报受安全中心-角色管理-项目组级功能权限-问题提报功能权限管控

• 功能详细使用步骤

  • 功能入口：执行实例

  • 监控结果为异常的执行实例，支持点击问题提报，一键跳转到问题管理页面。

  • 已经关联问题的问题提报，支持点击关联问题详情查看关联的问题列表。

3.数据标准更新时标准推荐规则支持更新

• 功能介绍：

系统每天上午9点定时检测标准推荐规则是否与数据标准（发布态）最新质量稽核要求匹配，不匹配时支持批量更新

• 功能使用注意事项

  • 普通用户展示监控负责人为自己的待更新\待删除\带新建规则，项目管理员/负责人展示全部规则

  • 每天早上9点自动检测一次数据标准推荐规则与数据标准最新质量稽核要求不匹配，如需立即检测请点击右上角立即检测按钮

• 功能详细使用步骤

  • 功能入口：监控列表

  • 右上角展示按钮”一键更新标准推荐规则“，点击弹出待更新规则清单

  • 区分待更新、待删除及待新建三个tab，待更新和待删除页面勾选规则并点击批量更新/删除规则，可实现批量更新/删除。带新建页面，点击规则的去新建按钮可跳转至规则的新建页面

4.质量监控任务支持配置非分区过滤条件

• 功能介绍：

监控任务监控对象支持配置非分区过滤条件

功能优化

1.自定义规则规则代码增加提示文案和校验，结尾不支持输入中英文分号

2.试跑和设置调度弹窗选择队列资源内容为0时不展示资源

版本：v3.0.0

新增功能

质量问题管理模块

• 功能介绍：

  新增问题管理功能，支持用户提报质量问题，并支持关联在流程协作中心配置的问题处理流程和验收流程。支持将问题与质量监控规则或执行实例相关联，实现质量问题的发现之后的闭环处理。

功能优化

• 功能介绍：

  规则描述支持调用形式 $[ColumnName]，调取字段真实值。含义：表示动态获取 ColumnName 字段，如果值不存在则使用 defaultValue 作为默认值。查看异常数据样本 描述 列中，逐行读取该字段内容填入规则描述的相应位置。