版本：v2.19.8

新增功能

1.字段的映射血缘支持区分直接映射和间接映射

  • 功能介绍

    • 目前字段映射血缘没有区分是直接从上游引用得到下游字段，还是从上游经过加工处理后得到的下游字段。但实际业务场景中对血缘分析时，用户更加关注的是经过加工处理得到的上下游字段血缘。基本这个背景，本次产品上做了优化，支持基于字段血缘解析从而区分直接映射（即直接从上游引用得到下游字段）和间接映射（即从上游经过加工处理后得到的下游字段）。

  • 详细操作步骤

    • 进入Hive表详情页，查看字段血缘即可

2.表详情页支持设置字段安全等级

  • 功能介绍

    • 支持在Hive表详情页给字段设置安全等级

  • 详细操作步骤

    • 进入Hive表详情页，在字段列表页编辑字段安全等级即可

  • 注意事项

    • 默认仅表技术负责人、表所属项目负责人和管理员有权限设置字段安全等级

功能优化

1.表血缘下载时支持仅下载已展开的节点

  • 功能介绍

    • 之前表血缘下载默认是下载已展开层级的全部血缘，本次优化后支持下载已展开节点的血缘

  • 详细操作步骤

    • 进入Hive表详情页，在数据血缘模块下点击下载即可

2.StarRocks表详情页支持修改表描述

  • 功能介绍

    • StarRocks表详情页支持修改表描述

  • 注意事项

    • 默认仅表技术负责人、表所属项目负责人和管理员有权限修改表描述

3.表详情产出信息列表中增加任务跳转链接和节点类型

  • 功能介绍

    • Hive表详情产出信息列表中，增加任务跳转链接和任务节点类型（例如MR、SQL等）

4.首页目录导航跳转到资产目录对应路径下

  • 功能介绍

    • 之前首页点击导航目录会跳转到旧版资产目录中，本次优化为跳转到新版资产目录页

5.主题域可作为默认的资产目录

  • 功能介绍

    • 在实际业务中，有些用户在维度建模（原模型设计中心）中已经设计好了主题域目录，希望能够作为资产目录的来源目录之一，本次优化后，支持用户配置将主题域目录纳入到资产目录中，后续在做元数据采集、元数据治理中可以将元数据归属到主题域目录下，在资产目录查看时可以按照主题域目录来查看表。

  • 详细操作步骤

    • 在「配置管理-默认项配置-资产目录来源设置」中，可以勾选主题域，一旦勾选后则可以在元数据采集、元数据治理、资产目录中看到主题域目录。

  • 注意事项

    • 「配置管理-默认项配置-资产目录来源设置」的功能权限需要在安全中心分配，支持给角色或成员分配该权限。

版本：v2.19.7

新增功能

1.支持表粒度的资产共享和回收

  • 功能介绍

    • 之前支持跨项目组的资产目录共享和回收，但是目录粒度比较粗，本次在目录粒度的基础上增加了表粒度的资产共享和回收。

  • 详细操作步骤

    • 在「配置管理-资产共享配置」模块中，新建资产共享或者回收资产时，根据目录来筛选要共享或回收的表即可，审批通过后可生效

  • 注意事项

    • 表粒度的资产共享或回收审批通过后，要T+1生效

2.StarRocks表详情支持展示字段级血缘

  • 功能介绍

    • 查看StarRocks表详情时，可以查看字段粒度的上下游血缘链路

3.Doris表详情支持展示字段级血缘

  • 功能介绍

    • 查看Doris表详情时，可以查看字段粒度的上下游血缘链路

4.支持展示其他项目公开给本项目的Hive库表

  • 功能介绍

    • 在物理视图模块中，之前会展示本项目下的Hive库表，本次增加展示其他项目公开给本项目的Hive库表。具体公开操作在安全中心完成

功能优化

1.元数据采集任务支持立即运行

  • 功能介绍

    • 元数据采集任务列表增加立即运行的操作，以便用户可马上进行一次元数据采集，不用等到下次定时任务启动

2.安全中心公开的表支持在地图首页搜索

  • 功能介绍

    • 之前地图不支持搜索跨项目组的表，本次优化后跨项目组的表只要公开给某一项目后，其项目所在项目组成员均可在地图首页搜索到该表

3.支持下载字段血缘为csv文件

  • 功能介绍

    • 原来字段血缘只能在页面上查看，本次增加导出功能，可以导出字段血缘为csv文件

4.表血缘图中支持展开单个表的上下游血缘

  • 功能介绍

    • 之前表血缘只能按照层级全部展开或收缩，本次优化后可以对某张表展开上下游血缘

版本：v2.19.6

新增功能

1.标签适配超级租户

  • 功能介绍

    • 支持超级项目组用户搜索并查看所有项目组已发布的标签，并展示标签的全局统计信息。

  • 详细操作步骤

    • 平台管理模块中给某个项目组设置为超级项目组后，该超级项目组的成员进入地图首页，就能看到全局所有项目组已发布的标签资产。

2.数据服务API适配超级租户

  • 功能介绍

    • 支持超级项目组用户搜索并查看所有项目组已发布的API，并展示API的全局统计信息。

  • 详细操作步骤

    • 平台管理中给某个项目组设置为超级项目组后，该超级项目组的成员进入地图首页，就能看到全局所有项目组的数据服务API。

3.支持展示PostgreSQL表血缘

  • 功能介绍

    • 数据资产地图的PostgreSQL表详情页面支持展示数据表血缘。

  • 详细操作步骤

    • 用户从数据资产地图进入PostgreSQL表详情页面，可以查看PostgreSQL的表血缘。

4.数据传输批量创建的ODS表支持自动注册到元数据

  • 功能介绍

    • 在数据传输模块批量建表以后，支持在元数据管理中自动注册元数据。是否自动注册元数据可以在配置管理中设置。

  • 详细操作步骤

    • 默认项配置页面增加“元数据注册来源配置”，支持用户根据需求勾选，选择元数据管理、维度建模、关系建模、数据传输模块的建表行为是否触发元数据自动注册。

    • 用户可以在安全中心模块管理“元数据来源设置”的权限。

  • 注意事项

    • 元数据来源设置页面中，元数据管理、维度建模、关系建模三个选项默认置灰已勾选。

5.报表类型的血缘节点增加展示报表浏览量

  • 功能介绍

    • 数据血缘图中，针对报表类型的血缘节点，支持从有数BI获取并展示报表近7天浏览量、累计浏览量。

  • 详细操作步骤

    • 用户进入数据血缘，鼠标hover报表类型血缘节点，支持显示报表浏览量信息。

    • 用户点击报表类型的血缘节点，支持在节点信息中显示报表浏览量信息。

6.数据血缘节点增加展示表的相关信息

  • 功能介绍

    • 数据血缘图中，表类型的血缘节点支持展示表的“最近更新开始时间”、“最近更新结束时间”、“任务运行时长”信息。

  • 详细操作步骤

    • 用户进入数据血缘点击表类型的血缘节点，节点信息新增“最近更新开始时间”、“最近更新结束时间”、“任务运行时长”三个字段。

    • 用户鼠标hover表类型的血缘节点，展示“最近更新开始时间”、“最近更新结束时间”、“任务运行时长”三个字段，支持点击“刷新”按钮拉取字段信息。

  • 注意事项

    • 本次只有表类型血缘节点增加这3个信息，手工血缘和其他类型节点暂不支持展示该字段信息。

功能优化

1.表详情的数据探查页面，新增快捷执行探查任务的入口

  • 功能介绍

    • 之前查看表时，如果要运行该表的数据探查任务，需要用户自己前往数据质量中心相关模块找到任务后再运行，本次优化后用户在有权限的情况下直接点击运行，系统自动跳转并定位到该任务的运行页面，减少用户操作

2.字段血缘取消勾选的时候可以固定在当前位置

  • 功能介绍

    • 之前在“字段血缘”中，勾选/取消勾选节点中的字段后会自动滚动到节点字段列表的最上方。本次优化后，用户勾选/取消勾选字段后滚动条将固定在页面当前位置。

3.页面内数据资产卡片的展示UI美化

  • 功能介绍

    • 本次优化后，对数据查询、资产目录页面的数据资产卡片控件，进行了UI展示效果的美化。

版本：v2.19.5

新增功能

1.血缘变更通知结果记录

  • 功能介绍

    • 表血缘发送血缘变更通知后，支持用户查看通知历史和通知结果。

  • 详细操作步骤

    • 进入表详情-表血缘的【发送通知】抽屉页面，点击右上角的“查看历史通知记录”按钮，支持查看通知历史和通知结果。

2.元数据治理、发布、搜索、表详情等支持PostgreSQL

  • 功能介绍

    • 数据资产地图新增适配PostgreSQL表，具体功能包括：

      • 元数据采集、注册、治理、发布流程支持PostgreSQL表

      • 元数据导入导出支持PostgreSQL表

      • 地图首页、表搜索、表详情支持PostgreSQL表

      • 资产目录、数据专辑、默认项配置支持PostgreSQL表

      • 我收藏、浏览、订阅的表支持PostgreSQL表

  • 详细操作步骤

    • 进入数据资产地图可搜索查看PostgreSQL表

3.支持Hudi表搜索、表详情、表血缘

  • 功能介绍

    • 数据资产地图支持Hudi表，具体功能包括：

      • 元数据采集、注册、治理、发布流程适配Hudi表

      • 地图首页、表搜索、表详情、表血缘支持Hudi表

      • 资产目录、数据专辑、默认项配置支持Hudi表

      • 我收藏、浏览、订阅的表适配Hudi表

  • 详细操作步骤

    • 进入数据资产地图可搜索查看Hudi表

  • 注意事项

    • Hudi表详情页面支持功能与现有Hive表基本保持一致

4.支持嵌入部分地图页面到门户中

  • 功能介绍

    • 根据杭银理财客户需求，支持将数据资产地图部分页面嵌入企业内部的数据门户中。

功能优化

1.超级租户下，我收藏/浏览/订阅的表支持展示所有项目组下的Hive表

  • 功能介绍

    • 本次优化后，针对超级项目组用户，在我收藏/浏览/订阅的页面中，支持展示所有项目组下的Hive表，并显示该表所属的项目组和集群信息。

2.首页共享资产一级目录增加数据统计

  • 功能介绍

    • 本次优化后，地图首页资产目录导航一级目录增加数据统计，具体功能包括：

      • 针对超级项目组用户，资产目录导航一级目录支持表数量统计。

      • 针对普通项目组用户，共享资产的一级目录支持表数量统计。

  • 注意事项

    • 资产目录导航的表数量统计每6小时刷新一次。

3.启用规则&并发运行任务数&执行记录条数的上限做成可配置

  • 功能介绍

    • 之前元数据填充规则功能，启用规则&并发运行任务数&执行记录条数的上限都固定为10条。本次优化后，启用规则&并发运行任务数&执行记录条数支持用户在后台自定义配置阈值。

4.元数据注册模板增加L1-L3

  • 功能介绍

    • 元数据注册模板配置中，对于表的系统内置项新增了3个字段分别是L1主题域分组、L2主题域、L3业务对象。在新建或编辑元数据时，可根据【关联的逻辑实体】字段的内容自动填充这三个字段的信息。

    • 在元数据导入导出的excel模板中，对应新增了L1主题域分组、L2主题域、L3业务对象这3个字段。

  • 注意事项

    • 如果用户没有部署【关系建模】产品，则不显示上述新增的L1-L3这3个字段。

5.资产目录中只能查看已上线且有查看权限的业务对象

  • 功能介绍

    • 之前资产目录的业务对象页面，展示了【关系建模】中所有已上线的业务对象。本次优化加入了鉴权功能，用户仅能在资产目录中查看已上线且当前用户具有查看权限的业务对象。

  • 注意事项

    • 如果用户没有部署关系建模，则资产目录不显示业务对象Tab

6.首页搜索侧边筛选项中支持展示项目描述

  • 功能介绍

    • 之前地图首页的数据查询页面，侧边筛选栏中【项目】下拉框的选项格式为：项目名称(表数量统计)。本次优化后，支持在项目筛选时增加“项目描述”，选项格式调整为：项目名称(项目描述)(表数量统计)。

版本：v2.19.4

新增功能

1.支持预览Doris表数据，展示Doris表血缘

  • 功能介绍

    • 数据资产地图的Doris表详情支持数据预览、产出信息、数据血缘。

  • 操作步骤

    • 从数据资产地图进入Doris表详情页面，可以查看Doris表数据、产出信息、表血缘。

  • 注意事项

    • Doris表血缘解析SDK底层是复用MySQL血缘SDK，适用于MySQL语法。

2.支持展示Greenplum表字段血缘

  • 功能介绍

    • 数据资产地图的Greenplum表详情支持字段血缘。

  • 操作步骤

    • 数据资产地图进入Greenplum表详情页面，可以查看Greenplum表字段血缘。

  • 注意事项

    • Greenplum表血缘和字段血缘的来源主要包括自助分析、离线开发(开发模式和线上模式)运行的GPSQL任务。

3.支持元数据填充规则设置和自动填充

  • 功能介绍

    • 在元数据管理页面，支持用户对“字段物理名称”、“字段备注”配置正则表达式，为符合正则规则的元数据打上对应的属性标签，具体功能包括：

      • 数据资产地图-配置管理模块，新增“元数据填充规则配置”功能。

      • 元数据采集页面，支持在采集任务中对已圈选的表进行元数据自动填充，并支持查看元数据自动填充执行记录。

      • 元数据注册列表页面、元数据详情页面，支持对存量数据手动发起元数据自动填充检测，并支持查看元数据自动填充执行记录。

      • 支持在安全中心模块分别授予“元数据填充规则配置”、“元数据自动填充检测”的相关权限。

  • 操作步骤

    • 进入数据资产地图-配置管理模块，在“元数据填充规则配置”功能下，支持查看、编辑元数据填充规则。

    • 新建、编辑元数据采集任务时，用户可勾选“是否触发元数据填充规则检测”，勾选后则在本次采集任务启动时触发自动填充功能。可以在采集实例监控页面查看元数据自动填充执行记录。

    • 在元数据注册列表页面、元数据详情页面，用户可以手动对存量元数据发起自动填充检测。进入元数据属性检测记录页面可以查看元数据自动填充执行记录。

    • 进入安全中心的角色管理页面，支持对“元数据填充规则配置”、“元数据自动填充检测”进行功能授权。

4.支持跨项目组资产共享

  • 功能介绍

    • 允许本项目组向其他项目组共享数据资产，在数据资产地图首页、资产目录、数据查询页面支持查看其他项目组共享给本项目组的数据资产，具体功能包括：

      • 支持本项目组向其他项目组发起资产共享申请。

      • 支持本项目组向其他项目组申请回收已共享的资产。

      • 支持本项目组查看目前已向其他项目组共享的资产。

  • 操作步骤

    • 用户在数据资产地图首页、资产目录、数据查询页面可以切换tab，查看其他项目组共享给本项目组的数据资产

    • 进入数据资产地图-配置管理模块，可在“资产共享配置”功能下，查看本项目组的新建资产共享、回收资产共享、查看资产共享结果。

  • 注意事项

    • 如果没有其他项目组共享的资产，则不会显示切换自有资产或共享资产的tab。

5.跨项目组资产共享对接审批流和功能权限

  • 功能介绍

    • 支持设置“资产共享配置”的功能权限，并对接安全中心。

    • 资产共享的发起和回收审批流对接流程协作与通知中心。

  • 操作步骤

    • 进入安全中心，在项目组角色或成员下可授予“资产共享配置”的权限。

    • 进入流协的审批中心，可以查看并处理发起或回收资产共享的申请工单。

  • 注意事项

    • 项目组负责人和管理员默认拥有资产共享配置的权限。

功能优化

1.元数据关联实体只能选择有权限的业务对象下的实体

  • 功能介绍

    • 之前元数据治理时，在“关联的逻辑实体”下拉框，可以选择没有挂载到业务对象的逻辑实体。本次优化后，仅可以选择关系建模中，有权限的业务对象下的逻辑实体作为元数据的关联实体。

    • 调整了元数据导出excel模板中，“关联的逻辑实体”字段的相关文案。

  • 注意事项

    • “关联的逻辑实体”下拉框受到用户权限的影响，限制用户仅能查看有查看权限的业务对象及其逻辑实体。

2.StarRocks表详情支持查看DDL

  • 功能介绍

    • StarRocks表详情页面，用户可点击查看DDL信息。

3.元数据采集在大数据量时，优化性能问题

  • 功能介绍

    • 之前新建元数据采集任务，选择采集范围时，如果数据表过多，点击一键全选会出现内存溢出错误。本次优化后，一键全选功能增加条数上限，选择数据表超过1万张时禁用一键全选功能，并设置提醒文案，建议用户以整库采集元数据。

4.超级租户遗留问题优化

  • 功能介绍

    • 目前超级项目组在资产目录、表详情页面仅能查看到部分表信息，且无法搜索子项目组发布的Hive表和非Hive表。本次优化后，超级项目组能够看到子项目组的表详情和治理内容，并且可以搜索到子项目组已发布的数据资产。

5.表详情查看权限展示TDH对应的权限点

  • 功能介绍

    • 在TDH集群下，支持查看当前用户具有表的哪些权限，若没有权限则可去申请权限

版本：v2.19.3

新增功能

1.超级租户全局资产目录汇总

  • 功能介绍

    • 在平台管理中设置为超级项目组的话，则超级项目组的成员在数据资产地图就可查看所有项目组的资产目录。

  • 详细操作步骤

    • 平台管理中给某个项目组设置为超级项目组，然后超级项目组的成员进入地图首页，就能看到全局所有项目组的资产目录。

  • 注意事项

    • 仅超级项目组可查看所有项目组的资产目录，普通项目组只能查看本项目组的资产目录。

2.适配TDH Inceptor表

  • 功能介绍

    • 平台默认底座是适配网易的NDH集群，该版本新增适配第三方的TDH集群，故数据资产地图的表和血缘均做了相关兼容适配

  • 注意事项

    • TDH集群需要前期部署时运维配置好

3.元数据采集、注册、治理、表搜索、表详情支持ClickHouse

  • 功能介绍

    • 数据资产地图新增适配ClickHouse表，具体功能包括：

      • 元数据采集、注册、治理、发布流程支持ClickHouse表
      • 元数据导入导出支持ClickHouse表
      • 地图表搜索、表详情支持ClickHouse表
      • 我收藏、浏览、订阅的表支持ClickHouse表

  • 详细操作步骤

    • 进入地图可搜索查看ClickHouse表

功能优化

1.告警通知渠道对接告警中心

  • 功能介绍

    • 之前告警渠道可选范围比较固定，没有和告警中心支持的渠道打通。本次优化后，告警渠道统一取自告警中心配置的告警渠道。

2.查看表详情时，当前用户所处的项目不跟随表所属项目而变更

  • 功能介绍

    • 之前用户查看某项目的表，右上角所处的项目也会自动切换为表所属项目，不符合用户预期，本次优化后用户右上角所处项目不会随着表所属项目变化而变化，用户需要切换项目时可自主切换，系统不会主动切换用户的当前项目。

3.数仓表导引增加达梦和GaussDB，保持和模型设计一致

  • 功能介绍

    • 数仓表导引增加达梦和GaussDB表类型

版本：v2.19.2

功能优化

1.元数据注册中表名和字段名规范限制放开

  • 功能介绍

    • 多个用户反馈存量元数据由于表命名不规范，导致无法导入平台。为了灵活支持这类情况，现将元数据格式校验放宽，允许例如下划线结尾的表名可导入平台。

2.元数据采集支持iceberg

  • 功能介绍

    • 之前元数据采集时不支持选择Iceberg表，本次优化后将Iceberg作为一种特殊hive表，放开供用户采集。

版本：v2.19.1

新增功能

1.支持统计、搜索、查看业务对象

  • 功能介绍

    • 平台新增“关系建模”的子产品，支持管理业务对象，其上线的业务对象信息可同步在数据资产地图呈现。数据资产地图支持统计、搜索、浏览业务对象信息，方便用户了解公司的业务对象分布情况。具体功能包括：

      • 首页支持统计该项目组下所有已上线的业务对象数量
      • 首页支持搜索该项目组下所有已上线的业务对象，跳转查看业务对象详情信息
      • 资产目录模块支持按照主题域分组/主题域的分类目录来浏览筛选业务对象

  • 注意事项

    • 所有涉及业务对象的功能，都依赖于关系建模模块，如果企业没有开启关系建模模块，则不提供该功能

2.元数据治理，支持关联逻辑实体和逻辑实体属性，包括注册模板、导入导出等

  • 功能介绍

    • 在元数据治理时，支持用户给表关联逻辑实体，给表的字段关联逻辑实体属性信息

  • 注意事项

    • 所有涉及逻辑实体和属性的功能，都依赖于关系建模模块，如果企业没有开启关系建模模块，则不提供该功能

3.支持StarRocks元数据采集、注册、治理、发布、搜索、表血缘等

  • 功能介绍

    • 数据资产地图新增适配StarRocks表，具体功能包括：

      • 元数据采集、注册、治理、发布流程支持StarRocks表
      • 元数据导入导出支持StarRocks表
      • 地图表搜索、表详情、表血缘支持StarRocks表
      • 我收藏、浏览、订阅的表支持StarRocks表

功能优化

1.表相关OpenAPI增加关联逻辑实体和逻辑实体属性信息

  • 功能介绍

    • 表详情、字段详情的OpenAPI接口新增关联的逻辑实体、实体属性相关信息；另外新增2个OpenAPI，支持根据实体查询实体关联的表、根据实体属性查询表字段

版本：v2.19.0

新增功能

1.支持超级项目组全局资产管理

  • 功能介绍

    • 平台之前的架构是以项目组为最大隔离粒度来管理数据资产，例如网易云音乐、网易传媒等事业部各自作为一个独立的项目组，业务上完全隔离互不干扰。但对于一些集团性企业例如通威股份、兴合集团等，其企业架构是一个集团母公司和多个子公司，虽然各自可作为一个独立项目组来运转，但是集团母公司需要能查看所有子公司数据，此时项目组隔离导致无法满足。基于这种场景，需要有一个超级项目组来代表集团母公司角色，子公司都是普通项目组，母公司超级项目组能够打破项目组隔离限制，可搜索、治理、浏览全部hive集群数据。超级项目组可在「平台管理-项目组管理」模块中指定，下面具体介绍超级项目组所具备的能力：
      • 首页支持统计所有集群已治理、未治理的表数量
      • 首页支持统计所有项目组已发布的指标总数
      • 支持搜索和浏览所有项目组所有集群的hive表，支持按项目组筛选
      • 支持搜索和浏览所有项目组已发布的指标，支持按项目组筛选
      • 超级项目组支持对所有hive集群元数据进行采集和治理，普通项目组仅支持采集和治理有权限的集群的数据

  • 注意事项

    • 上述功能仅针对超级项目组，普通项目组仍存在项目组间隔离的情况

2.支持自动推荐表和字段的敏感数据分类

  • 功能介绍

    • 元数据治理流程中，新增表和字段的敏感数据分类信息，对接第三方NLP接口来自动推荐表和字段的敏感数据分类值

  • 注意事项

    • 第三方NLP接口是针对特定客户定制的

功能优化

1.资产目录表列表UI优化

  • 功能介绍

    • 优化资产目录表列表的宽度样式

2.精准搜索UI优化

  • 功能介绍

    • 将之前的精准搜索icon按钮样式优化为复选框勾选的样式，方便用户发现和使用该功能，优化交互体验

版本：v2.18.0

新增功能

1.支持Impala血缘

  • 功能介绍

    • 平台执行引擎为impala的任务，支持在地图展示对应的表血缘信息

2.提供数据资产门户相关接口

  • 功能介绍

    • 平台提供表详情相关OpenAPI，用于数据资产门户展示资产详情

功能优化

1.数据传输提供接口支持批量查询字段的静态脱敏信息

  • 功能介绍

    • 字段血缘脱敏信息查询接口优化，支持批量查询

2.GaussDB表详情支持查看DDL信息

  • 功能介绍

    • 在GaussDB表详情页，用户可直接点击查看DDL信息

3.元数据采集侧边框宽度优化

  • 功能介绍

    • 元数据采集任务侧边栏抽屉宽度加宽，方便用户操作和查看，提升用户体验

4.地图iceberg表血缘支持展示下游BI报告

  • 功能介绍

    • 在BI中登记的Doris数据源，如果doris外表关联的底层元数据为iceberg，系统支持打通BI和中台的血缘，在中台iceberg表血缘中支持查看下游的BI报表

版本：v2.17.0

新增功能

1.元数据采集发生表变更支持配置是否覆盖的策略

  • 功能介绍

    • 之前元数据采集后，默认不会更新数据库中的物理信息。但是有用户反馈数据库中表结构变更后希望下次采集元数据时可以选择是否同步更新。基于此背景，产品新增元数据采集表结构变更是否覆盖的策略，变更内容包括新增字段、删除字段、字段类型变更、表备注和字段备注更新等

  • 使用步骤

    • 在元数据采集模块，设置相应的覆盖策略即可

  • 注意事项

    • 无

2.支持在血缘图中可查看字段脱敏信息、敏感类型、安全等级

  • 功能介绍

    • 字段血缘图之前仅展示上下游字段间的血缘关系，本次新增字段属性的展示，可以按需在字段血缘图中展示上下游字段的敏感信息、脱敏规则、安全等级

  • 使用步骤

    • 查看字段血缘模块，点击勾选敏感信息、脱敏规则、安全等级的属性即可

  • 注意事项

    • 无

3.Hive表详情页支持查看数据探查内容

  • 功能介绍

    • Hive表详情页新增数据探查的模块，可以查看表的探查记录，包括总记录数、去重记录数、主键字段、枚举字段值分布、各字段最大最小值、null值数和占比等

  • 使用步骤

    • 查看Hive表详情，点击数据探查的模块即可

  • 注意事项

    • 仅Hive表支持查看数据探查内容
    • 数据探查内容需要先在数据质量中心创建过形态探查任务后，才会展示探查结果
    • 仅表所在项目的项目成员和有表读权限的人，才可查看探查内容，避免存在数据安全问题

4.适配oceanbase for MySQL/Oracle 离线开发血缘

  • 功能介绍

    • 在平台离线开发运行过的oceanbase sql节点任务后，可在oceanbase表详情页查看表血缘信息

  • 注意事项

    • 无

5.支持API搜索和查看

  • 功能介绍

    • 支持在地图首页搜索API

  • 注意事项

    • 仅支持搜索API市场中已发布的API

功能优化

1.字段列表、数据预览展示的脱敏规则和敏感信息优化

  • 功能介绍

    • 在字段列表和数据预览的页面，增加展示字段的敏感类型、脱敏规则信息

  • 使用步骤

    • 查看字段列表和数据预览的页面即可

  • 注意事项

    • 无

2.下线状态的元数据支持批量编辑

  • 功能介绍
    • 元数据注册列表，之前下线状态的元数据只能单个编辑，本次增加了批量编辑的功能

3.数据预览时支持展示“字段描述”

  • 功能介绍
    • 数据预览的表头交互优化，并增加展示字段描述信息

4.没有hms编辑权限时，新增OPS配置来禁止修改hive表的技术负责人、表描述、字段描述

  • 功能介绍
    • 在部分客户环境中，不支持项目账号更新集群的HMS信息，导致Hive相关信息无法修改，故针对这种情况增加配置功能，一旦出现不支持修改Hive相关信息时则禁用相关操作并提示用户。涉及修改的内容主要是Hive表技术负责人、表描述、字段描述信息

5.网易内部环境增加数据探查功能的埋点，对接哈勃

  • 功能介绍
    • 网易内部环境针对部分功能增加产品埋点，以便统计用户使用情况，本次新增的埋点是统计数据探查报告的使用情况，外部客户环境暂不支持对接哈勃，故不支持埋点

版本：v2.16.0

新增功能

1.支持表名搜索开启精准匹配

  • 功能介绍

    • 之前地图的搜索默认是模糊搜索，有时同一关键字可能搜出较多结果，对用户选择形成干扰。故系统增加是否精准匹配的设置项，可灵活开启，方便精确定位自己想要的数据。

  • 使用步骤

    • 在搜索框中可开启或关闭是否精准匹配的功能

2.支持展示达梦表血缘

  • 功能介绍

    • 离线开发运行达梦节点SQL任务后，支持在地图达梦表详情页查看达梦表血缘信息

  • 使用步骤

    • 离线开发运行达梦节点任务，然后在地图查看达梦表详情数据血缘信息即可

3.支持Greenplum表的元数据治理和发布流程

  • 功能介绍

    • 元数据采集、治理、发布模块新增支持Greenplum表

  • 使用步骤

    • 登记Greenplum数据源后，在具备数据源、采集、治理模块相关功能权限的基础上，创建元数据采集任务采集Greenplum表即可。

功能优化

1.支持字段血缘影响逻辑交互优化

  • 功能介绍

    • 之前查看字段血缘时，侧边栏信息较窄看不全，用户体验不好。本次优化后，扩大侧边框宽度，增加影响逻辑统计数和放大框等，提升用户体验。

  • 使用步骤

    • 进入Hive表详情页，查看字段血缘即可

版本：v2.15.0

新增功能

1.支持TiDB表的元数据采集、治理、发布、搜索和查看

  • 功能介绍

    • 系统支持TiDB表的元数据采集、注册、治理、发布、搜索和表详情查看

  • 使用步骤

    • 元数据采集模块，可以新建元数据采集任务，数据源类型可选择TiDB
    • 元数据注册模块，可以对已采集的TiDB表进行元数据治理、发布和下线等操作
    • 数据资产地图首页支持搜索TiDB表，可查看TiDB表详情，包括基本信息、字段信息、版本信息等

2.达梦表详情支持查看数据质量报告

  • 功能介绍

    • 达梦表详情页可查看表的数据质量报告

  • 使用步骤

    • 第一步：首先需要在数据质量中心给达梦表创建质量稽核任务，并执行任务；
    • 第二步：达梦表质量监控任务运行完成后，会生成质量报告，在地图中搜索并查看达梦表时，即可查看表的数据质量报告信息。

3.元数据管理增加血缘分析，展示血缘覆盖率统计信息

  • 功能介绍
    • 支持查看离线开发调度任务和节点的血缘覆盖率统计信息，支持按照平台整体、项目组、项目、集群等粒度查看血缘覆盖率情况。

  • 使用步骤

    • 进入「地图-元数据管理-元数据分析」模块，即可查看血缘分析页面。该页面可以查看昨日总调度任务数、有血缘的任务数、任务血缘覆盖率、昨日总调度节点数、有血缘的节点数、节点血缘覆盖率等，同时提供查看和下载疑似无血缘的任务和节点列表。

  • 注意事项

    • 默认平台负责人可以查看平台整体血缘覆盖率、各项目组血缘覆盖率；
    • 默认项目组负责人或者项目组管理员可以查看其所在项目组的血缘覆盖率。

功能优化

1.表血缘SDK增加参数用于跳转第三方门户表详情页

  • 功能介绍

    • 支持提供血缘SDK，在客户环境部署后可展示表血缘图。本次新增相关参数，用于客户环境自定义血缘节点跳转不同页面

  • 使用步骤

    • SDK升级后，点击血缘中的节点，查看节点的详情页即可

2.hiveOnKudu表支持查看和修改字段描述、表描述

  • 功能介绍
    • 支持查看hiveOnKudu表的表描述信息、字段描述信息，且表的技术负责人和表所属项目管理员可以编辑表描述和字段描述
  • 使用步骤
    • hiveOnKudu表详情页，直接查看表描述信息、字段描述信息即可

3.表详情页UI优化

  • 功能介绍

    • KafkaTopic、RocketMQTopic、NydusTopic、流表、Greenplum、Kudu、HBase等详情页内容UI展示优化。之前部分信息在左侧侧边栏展示，部分信息在右侧分tab展示，本次优化后统一分tab展示不同信息。

  • 使用步骤

    • 查看对应表详情页即可

4.表的产出信息中，运行中时显示的结束时间、执行时长需要优化

  • 功能介绍
    • 优化前若产出任务运行中，则结束时间和执行时长显示有误，优化后则显示空杠，待运行结束则会显示正常的结束时间和执行时长。
  • 使用步骤
    • 表详情页点击产出信息Tab，查看表的产出任务列表即可