变更合辑
版本:v3.0.2
新增功能
1.元数据列表筛选项可在模板配置
功能介绍
- 之前元数据列表支持哪些搜索项由系统内置,本次支持用户在元数据注册模板中自定义勾选需要设置的搜索项或筛选条件。注意仅支持设置表的筛选项或搜索条件,不支持设置列的筛选项或搜索条件。
详细操作步骤
- 进入【配置管理-注册模板配置】,对表的系统内置项、自定义项进行灵活勾选是否作为搜索项,设置完成后就可以在元数据列表进行搜索或者筛选。
2.元数据列表表头字段可配置
功能介绍
- 之前元数据列表能展示哪些字段都是系统固定的,本次新增了列表表头自定义的功能,用户可以选择要展示的字段及其顺序,方便用户快速查看自己关注的信息
详细操作步骤
- 点击元数据列表页右上角设置按钮即可
功能优化
1.表详情页支持快捷复制库表名
功能介绍
- 表详情页支持快速复制库表名
2.地图的邮件文案优化
功能介绍
- 地图相关的通知邮件标题中产品名称文案优化,统一从”数据地图“更改为”数据资产地图“,和产品名称保持一致
3.数据预览支持对接操作审计
功能介绍
- 用户在表详情页预览数据成功后,在安全中心操作审计中会记录为一个事件,方便审计用
4.部署提效,支持对接控制台统一域名来实现快速修改域名
功能介绍
- 非产品功能性需求,用户可不用关注。主要是运维层面进行域名的统一管理
版本:v3.0.1
新增功能
1.批量编辑支持系统内置项和自定义项
功能介绍
- 之前批量编辑元数据时,仅支持批量编辑目录和数据源信息,本次优化后可以灵活设置需要批量编辑的编辑项例如安全等级、主题域、分层、技术负责人等信息,能大大提高批量治理元数据的效率。
详细操作步骤
- 进入元数据列表页并勾选需要编辑的元数据,点击“更多”操作中的“批量编辑”操作,弹框中选择编辑项及对应值,确定后即可批量生效
注意事项
- 批量编辑的数量过多时,为了避免不同用户重复提交,故在前一个批量编辑执行过程中,不支持再次提交,系统会提示用户已存在批量更新的任务及其进度,需要稍后再操作
2.元数据采集变更内容合并及通知
功能介绍
- 之前元数据采集任务仅有失败告警,一旦元数据发生变更用户无法及时感知到。本次元数据采集新增表结构变更的提醒通知,用户可以勾选失败告警、采集后表结构变更告警,触发规则后会通过指定方式通知给相关人员。同时在每一次的元数据采集实例中针对变更表也会展示具体变更的字段信息。
详情操作步骤
进入元数据采集模块,创建采集任务,在第三步“采集设置”中可以勾选“采集后表结构变更”的告警触发条件,采集任务创建完成后,后续将根据该配置生效
在元数据采集实例中,点击查看结果,也可查看变更表的变更字段信息
功能优化
1.查看表产出任务支持跳转到任务所在项目的开发页面
功能介绍
- 之前查看表的产出任务默认跳转到离线开发当前表所属的项目中,实际表的产出任务可能在另一个项目下,导致任务查看失败。本次优化后,在查看表产出任务时,如果任务所属项目不是当前的表项目,则会提示用户是否继续跳转到任务所在项目,确认后即可跳转并查看任务信息
版本:v3.0.0
新增功能
1.支持资产打标、基于标签找数据
功能介绍
标签是用来标识数据的业务含义,可以帮助用户对资产进行分类和描述,以便于检索。本次支持对表添加标签,基于标签筛选找表,具体功能包括:
地图首页搜索结果列表的左侧,增加标签筛选条件
表详情增加标签添加功能,可查看表上已经添加的标签
资产目录列表,支持按标签筛选表,展示表已有的标签信息
专辑详情页,支持按照标签筛选表,展示表已有的标签信息
安全中心操作审计中,支持记录用户对哪个表新增或删除了什么标签
详细操作步骤
- 进入表详情,在业务信息中查看或添加表标签即可
注意事项
- 默认项目组负责人和管理员可以给自己所负责的项目组下的表打标签;项目负责人和管理员可以给自己所负责的项目下的表打标签;表技术或业务负责人可以给自己名下的表打标签。其他用户可以在安全中心授权,可授权所有用户、指定用户、指定角色可以给表打标签
功能优化
1.脱敏标签展示UI优化
功能介绍
- 原来字段列表和数据预览处字段的脱敏标签和敏感类型标签展示不明显,本次优化了图标样式,方便用户一目了然、直观清晰地看到字段脱敏和敏感信息
2.我的收藏列表表名展示优化
功能介绍
- 我收藏、订阅、浏览、负责的表列表页,增加表名换行展示和复制功能,方便用户查看和复制表名
3.查看字段血缘跳转页面优化
功能介绍
- Hive表详情字段列表页查看某个字段血缘,支持自动跳转到该字段的血缘图页面
4.表详情点击自助分析后,SQL查询语句limit 0 优化为limit 10
功能介绍
- Hive表详情点击自助分析操作后,系统会自动复制Select语句,本次优化后将limit 0 改为limit 10
5.StarRocks安全等级打通安全中心
功能介绍
- 本次将元数据治理的StarRocks安全等级信息同步至安全中心,保证平台整体使用同一套StarRocks安全等级信息
版本:v2.19.10
新增功能
1.资产目录增加表数量统计
功能介绍
- 首页和资产目录模块均增加各级目录上挂载的表数量统计
详细操作步骤
- 点击查看首页或资产目录页面即可
2.字段血缘连线上支持展示直接映射、间接映射的血缘
功能介绍
- 字段血缘我们根据字段使用方式分为“直接映射”血缘和“间接映射”血缘,其中“直接映射”血缘表示字段直接从上游表获取,不经过任何计算,“间接映射”血缘表示字段经过上游表字段的加工处理而来(例如SUM/AVG/COUNT/MIN/MAX以及UDF等SQL可解析的函数)。为了在字段血缘图上区分这两种血缘,在血缘连线上增加了标识进行区分。
详细操作步骤
- 进入表详情查看字段血缘图即可
3.批量编辑支持归属主题域目录
功能介绍
- 元数据列表页支持批量编辑时,将元数据挂载到数仓的主题域目录下,主题域目录列表拉取自维度建模模块中已定义的主题域目录列表,方便用户基于已有的主题域来快速挂载元数据表
详细操作步骤
- 元数据列表页批量勾选需要挂载的表,点击“批量操作”按钮后,选择对应主题域目录即可
4.数仓表导引支持Doris类型,类型来源取自维度建模的配置
功能介绍
- 数仓表导引模块中支持多种数据源类型,数据源类型和展示顺序均取自维度建模中的配置,方便用户灵活配置需要支持的类型和顺序。
详细操作步骤
- 在地图中点击数仓表导引模块即可查看支持的类型和顺序
5.支持PG、GP数据预览
功能介绍
- 在PG、GP表详情页面可预览数据,前提是有该表的读权限
详细操作步骤
- 查看PG、GP表详情数据预览页面即可
功能优化
1.元数据采集库名搜索优化
功能介绍
- 元数据采集任务配置时,之前搜索库名会把关键字命中的项目下面的所有库带出来,造成干扰。本次优化后仅对库名进行关键字搜索匹配。
详细操作步骤
- 在元数据采集模块创建元数据采集任务,在任务配置的第二步中搜索库名选择符合要求的库即可
2.血缘节点浮框中增加表描述信息
功能介绍
- 在Hive表血缘中,鼠标悬浮在某个表上会展示表的基本信息,本次增加表描述的展示
详细操作步骤
- 查看表血缘,鼠标放在对应表节点上即可。若表描述信息未刷新,也可以手工点击一下刷新。
版本:v2.19.9
新增功能
1.支持开启TiDB、ClickHouse手工血缘
功能介绍
- 对于某些用户来说,其TiDB、ClickHouse的血缘不在平台加工产生,而是在内部其他系统处理的,这类血缘不支持在平台上自动解析,希望能通过手工录入的方式将血缘维护在平台上。为了支持这类场景,平台支持开放TiDB、ClickHouse手工血缘,用户可以人工录入血缘并做展示。
详细操作步骤
- 进入TiDB、ClickHouse表详情页,点击数据血缘页面,手工添加上下游血缘即可
注意事项
- 需要运维在后台开启TiDB、ClickHouse血缘后,才能在页面录入和查看血缘,不支持自动解析血缘。
功能优化
1.Doris详情支持查看DDL
功能介绍
- 支持在Doris表详情查看DDL
2.当设置Hive外表过期清理策略时,优化默认选择的方式
功能介绍
- Hive外表设置生命周期时,之前的默认过期处理策略是“仅删除表元数据”,本次优化后默认为“删除表元数据和目录文件”
3.元数据目录切换时,默认按钮交互优化为右对齐常驻
功能介绍
- 元数据列表切换目录时,“设为默认”操作跟着鼠标悬浮展示,常驻在弹框右侧。
版本:v2.19.8
新增功能
1.字段的映射血缘支持区分直接映射和间接映射
功能介绍
- 目前字段映射血缘没有区分是直接从上游引用得到下游字段,还是从上游经过加工处理后得到的下游字段。但实际业务场景中对血缘分析时,用户更加关注的是经过加工处理得到的上下游字段血缘。基本这个背景,本次产品上做了优化,支持基于字段血缘解析从而区分直接映射(即直接从上游引用得到下游字段)和间接映射(即从上游经过加工处理后得到的下游字段)。
详细操作步骤
- 进入Hive表详情页,查看字段血缘即可
2.表详情页支持设置字段安全等级
功能介绍
- 支持在Hive表详情页给字段设置安全等级
详细操作步骤
- 进入Hive表详情页,在字段列表页编辑字段安全等级即可
注意事项
- 默认仅表技术负责人、表所属项目负责人和管理员有权限设置字段安全等级
功能优化
1.表血缘下载时支持仅下载已展开的节点
功能介绍
- 之前表血缘下载默认是下载已展开层级的全部血缘,本次优化后支持下载已展开节点的血缘
详细操作步骤
- 进入Hive表详情页,在数据血缘模块下点击下载即可
2.StarRocks表详情页支持修改表描述
功能介绍
- StarRocks表详情页支持修改表描述
注意事项
- 默认仅表技术负责人、表所属项目负责人和管理员有权限修改表描述
3.表详情产出信息列表中增加任务跳转链接和节点类型
功能介绍
- Hive表详情产出信息列表中,增加任务跳转链接和任务节点类型(例如MR、SQL等)
4.首页目录导航跳转到资产目录对应路径下
功能介绍
- 之前首页点击导航目录会跳转到旧版资产目录中,本次优化为跳转到新版资产目录页
5.主题域可作为默认的资产目录
功能介绍
- 在实际业务中,有些用户在维度建模(原模型设计中心)中已经设计好了主题域目录,希望能够作为资产目录的来源目录之一,本次优化后,支持用户配置将主题域目录纳入到资产目录中,后续在做元数据采集、元数据治理中可以将元数据归属到主题域目录下,在资产目录查看时可以按照主题域目录来查看表。
详细操作步骤
- 在「配置管理-默认项配置-资产目录来源设置」中,可以勾选主题域,一旦勾选后则可以在元数据采集、元数据治理、资产目录中看到主题域目录。
注意事项
- 「配置管理-默认项配置-资产目录来源设置」的功能权限需要在安全中心分配,支持给角色或成员分配该权限。
版本:v2.19.7
新增功能
1.支持表粒度的资产共享和回收
功能介绍
- 之前支持跨项目组的资产目录共享和回收,但是目录粒度比较粗,本次在目录粒度的基础上增加了表粒度的资产共享和回收。
详细操作步骤
- 在「配置管理-资产共享配置」模块中,新建资产共享或者回收资产时,根据目录来筛选要共享或回收的表即可,审批通过后可生效
2.StarRocks表详情支持展示字段级血缘
功能介绍
- 查看StarRocks表详情时,可以查看字段粒度的上下游血缘链路
3.Doris表详情支持展示字段级血缘
功能介绍
- 查看Doris表详情时,可以查看字段粒度的上下游血缘链路
4.支持展示其他项目公开给本项目的Hive库表
功能介绍
- 在物理视图模块中,之前会展示本项目下的Hive库表,本次增加展示其他项目公开给本项目的Hive库表。具体公开操作在安全中心完成
功能优化
1.元数据采集任务支持立即运行
功能介绍
- 元数据采集任务列表增加立即运行的操作,以便用户可马上进行一次元数据采集,不用等到下次定时任务启动
2.安全中心公开的表支持在地图首页搜索
功能介绍
- 之前地图不支持搜索跨项目组的表,本次优化后跨项目组的表只要公开给某一项目后,其项目所在项目组成员均可在地图首页搜索到该表
3.支持下载字段血缘为csv文件
功能介绍
- 原来字段血缘只能在页面上查看,本次增加导出功能,可以导出字段血缘为csv文件
4.表血缘图中支持展开单个表的上下游血缘
功能介绍
- 之前表血缘只能按照层级全部展开或收缩,本次优化后可以对某张表展开上下游血缘
版本:v2.19.6
新增功能
1.标签适配超级租户
功能介绍
- 支持超级项目组用户搜索并查看所有项目组已发布的标签,并展示标签的全局统计信息。
详细操作步骤
- 平台管理模块中给某个项目组设置为超级项目组后,该超级项目组的成员进入地图首页,就能看到全局所有项目组已发布的标签资产。
2.数据服务API适配超级租户
功能介绍
- 支持超级项目组用户搜索并查看所有项目组已发布的API,并展示API的全局统计信息。
详细操作步骤
- 平台管理中给某个项目组设置为超级项目组后,该超级项目组的成员进入地图首页,就能看到全局所有项目组的数据服务API。
3.支持展示PostgreSQL表血缘
功能介绍
- 数据资产地图的PostgreSQL表详情页面支持展示数据表血缘。
详细操作步骤
- 用户从数据资产地图进入PostgreSQL表详情页面,可以查看PostgreSQL的表血缘。
4.数据传输批量创建的ODS表支持自动注册到元数据
功能介绍
- 在数据传输模块批量建表以后,支持在元数据管理中自动注册元数据。是否自动注册元数据可以在配置管理中设置。
详细操作步骤
默认项配置页面增加“元数据注册来源配置”,支持用户根据需求勾选,选择元数据管理、维度建模、关系建模、数据传输模块的建表行为是否触发元数据自动注册。
用户可以在安全中心模块管理“元数据来源设置”的权限。
注意事项
- 元数据来源设置页面中,元数据管理、维度建模、关系建模三个选项默认置灰已勾选。
5.报表类型的血缘节点增加展示报表浏览量
功能介绍
- 数据血缘图中,针对报表类型的血缘节点,支持从有数BI获取并展示报表近7天浏览量、累计浏览量。
详细操作步骤
用户进入数据血缘,鼠标hover报表类型血缘节点,支持显示报表浏览量信息。
用户点击报表类型的血缘节点,支持在节点信息中显示报表浏览量信息。
6.数据血缘节点增加展示表的相关信息
功能介绍
- 数据血缘图中,表类型的血缘节点支持展示表的“最近更新开始时间”、“最近更新结束时间”、“任务运行时长”信息。
详细操作步骤
用户进入数据血缘点击表类型的血缘节点,节点信息新增“最近更新开始时间”、“最近更新结束时间”、“任务运行时长”三个字段。
用户鼠标hover表类型的血缘节点,展示“最近更新开始时间”、“最近更新结束时间”、“任务运行时长”三个字段,支持点击“刷新”按钮拉取字段信息。
注意事项
- 本次只有表类型血缘节点增加这3个信息,手工血缘和其他类型节点暂不支持展示该字段信息。
功能优化
1.表详情的数据探查页面,新增快捷执行探查任务的入口
功能介绍
- 之前查看表时,如果要运行该表的数据探查任务,需要用户自己前往数据质量中心相关模块找到任务后再运行,本次优化后用户在有权限的情况下直接点击运行,系统自动跳转并定位到该任务的运行页面,减少用户操作
2.字段血缘取消勾选的时候可以固定在当前位置
功能介绍
- 之前在“字段血缘”中,勾选/取消勾选节点中的字段后会自动滚动到节点字段列表的最上方。本次优化后,用户勾选/取消勾选字段后滚动条将固定在页面当前位置。
3.页面内数据资产卡片的展示UI美化
功能介绍
- 本次优化后,对数据查询、资产目录页面的数据资产卡片控件,进行了UI展示效果的美化。
版本:v2.19.5
新增功能
1.血缘变更通知结果记录
功能介绍
- 表血缘发送血缘变更通知后,支持用户查看通知历史和通知结果。
详细操作步骤
- 进入表详情-表血缘的【发送通知】抽屉页面,点击右上角的“查看历史通知记录”按钮,支持查看通知历史和通知结果。
2.元数据治理、发布、搜索、表详情等支持PostgreSQL
功能介绍
数据资产地图新增适配PostgreSQL表,具体功能包括:
元数据采集、注册、治理、发布流程支持PostgreSQL表
元数据导入导出支持PostgreSQL表
地图首页、表搜索、表详情支持PostgreSQL表
资产目录、数据专辑、默认项配置支持PostgreSQL表
我收藏、浏览、订阅的表支持PostgreSQL表
详细操作步骤
- 进入数据资产地图可搜索查看PostgreSQL表
3.支持Hudi表搜索、表详情、表血缘
功能介绍
数据资产地图支持Hudi表,具体功能包括:
元数据采集、注册、治理、发布流程适配Hudi表
地图首页、表搜索、表详情、表血缘支持Hudi表
资产目录、数据专辑、默认项配置支持Hudi表
我收藏、浏览、订阅的表适配Hudi表
详细操作步骤
- 进入数据资产地图可搜索查看Hudi表
注意事项
- Hudi表详情页面支持功能与现有Hive表基本保持一致
4.支持嵌入部分地图页面到门户中
功能介绍
- 根据杭银理财客户需求,支持将数据资产地图部分页面嵌入企业内部的数据门户中。
功能优化
1.超级租户下,我收藏/浏览/订阅的表支持展示所有项目组下的Hive表
功能介绍
- 本次优化后,针对超级项目组用户,在我收藏/浏览/订阅的页面中,支持展示所有项目组下的Hive表,并显示该表所属的项目组和集群信息。
2.首页共享资产一级目录增加数据统计
功能介绍
本次优化后,地图首页资产目录导航一级目录增加数据统计,具体功能包括:
针对超级项目组用户,资产目录导航一级目录支持表数量统计。
针对普通项目组用户,共享资产的一级目录支持表数量统计。
注意事项
- 资产目录导航的表数量统计每6小时刷新一次。
3.启用规则&并发运行任务数&执行记录条数的上限做成可配置
功能介绍
- 之前元数据填充规则功能,启用规则&并发运行任务数&执行记录条数的上限都固定为10条。本次优化后,启用规则&并发运行任务数&执行记录条数支持用户在后台自定义配置阈值。
4.元数据注册模板增加L1-L3
功能介绍
元数据注册模板配置中,对于表的系统内置项新增了3个字段分别是L1主题域分组、L2主题域、L3业务对象。在新建或编辑元数据时,可根据【关联的逻辑实体】字段的内容自动填充这三个字段的信息。
在元数据导入导出的excel模板中,对应新增了L1主题域分组、L2主题域、L3业务对象这3个字段。
注意事项
- 如果用户没有部署【关系建模】产品,则不显示上述新增的L1-L3这3个字段。
5.资产目录中只能查看已上线且有查看权限的业务对象
功能介绍
- 之前资产目录的业务对象页面,展示了【关系建模】中所有已上线的业务对象。本次优化加入了鉴权功能,用户仅能在资产目录中查看已上线且当前用户具有查看权限的业务对象。
注意事项
- 如果用户没有部署关系建模,则资产目录不显示业务对象Tab
6.首页搜索侧边筛选项中支持展示项目描述
功能介绍
- 之前地图首页的数据查询页面,侧边筛选栏中【项目】下拉框的选项格式为:项目名称(表数量统计)。本次优化后,支持在项目筛选时增加“项目描述”,选项格式调整为:项目名称(项目描述)(表数量统计)。
版本:v2.19.4
新增功能
1.支持预览Doris表数据,展示Doris表血缘
功能介绍
- 数据资产地图的Doris表详情支持数据预览、产出信息、数据血缘。
操作步骤
- 从数据资产地图进入Doris表详情页面,可以查看Doris表数据、产出信息、表血缘。
注意事项
- Doris表血缘解析SDK底层是复用MySQL血缘SDK,适用于MySQL语法。
2.支持展示Greenplum表字段血缘
功能介绍
- 数据资产地图的Greenplum表详情支持字段血缘。
操作步骤
- 数据资产地图进入Greenplum表详情页面,可以查看Greenplum表字段血缘。
注意事项
- Greenplum表血缘和字段血缘的来源主要包括自助分析、离线开发(开发模式和线上模式)运行的GPSQL任务。
3.支持元数据填充规则设置和自动填充
功能介绍
在元数据管理页面,支持用户对“字段物理名称”、“字段备注”配置正则表达式,为符合正则规则的元数据打上对应的属性标签,具体功能包括:
数据资产地图-配置管理模块,新增“元数据填充规则配置”功能。
元数据采集页面,支持在采集任务中对已圈选的表进行元数据自动填充,并支持查看元数据自动填充执行记录。
元数据注册列表页面、元数据详情页面,支持对存量数据手动发起元数据自动填充检测,并支持查看元数据自动填充执行记录。
支持在安全中心模块分别授予“元数据填充规则配置”、“元数据自动填充检测”的相关权限。
操作步骤
进入数据资产地图-配置管理模块,在“元数据填充规则配置”功能下,支持查看、编辑元数据填充规则。
新建、编辑元数据采集任务时,用户可勾选“是否触发元数据填充规则检测”,勾选后则在本次采集任务启动时触发自动填充功能。可以在采集实例监控页面查看元数据自动填充执行记录。
在元数据注册列表页面、元数据详情页面,用户可以手动对存量元数据发起自动填充检测。进入元数据属性检测记录页面可以查看元数据自动填充执行记录。
进入安全中心的角色管理页面,支持对“元数据填充规则配置”、“元数据自动填充检测”进行功能授权。
4.支持跨项目组资产共享
功能介绍
允许本项目组向其他项目组共享数据资产,在数据资产地图首页、资产目录、数据查询页面支持查看其他项目组共享给本项目组的数据资产,具体功能包括:
支持本项目组向其他项目组发起资产共享申请。
支持本项目组向其他项目组申请回收已共享的资产。
支持本项目组查看目前已向其他项目组共享的资产。
操作步骤
用户在数据资产地图首页、资产目录、数据查询页面可以切换tab,查看其他项目组共享给本项目组的数据资产
进入数据资产地图-配置管理模块,可在“资产共享配置”功能下,查看本项目组的新建资产共享、回收资产共享、查看资产共享结果。
注意事项
- 如果没有其他项目组共享的资产,则不会显示切换自有资产或共享资产的tab。
5.跨项目组资产共享对接审批流和功能权限
功能介绍
支持设置“资产共享配置”的功能权限,并对接安全中心。
资产共享的发起和回收审批流对接流程协作与通知中心。
操作步骤
进入安全中心,在项目组角色或成员下可授予“资产共享配置”的权限。
进入流协的审批中心,可以查看并处理发起或回收资产共享的申请工单。
注意事项
- 项目组负责人和管理员默认拥有资产共享配置的权限。
功能优化
1.元数据关联实体只能选择有权限的业务对象下的实体
功能介绍
之前元数据治理时,在“关联的逻辑实体”下拉框,可以选择没有挂载到业务对象的逻辑实体。本次优化后,仅可以选择关系建模中,有权限的业务对象下的逻辑实体作为元数据的关联实体。
调整了元数据导出excel模板中,“关联的逻辑实体”字段的相关文案。
注意事项
- “关联的逻辑实体”下拉框受到用户权限的影响,限制用户仅能查看有查看权限的业务对象及其逻辑实体。
2.StarRocks表详情支持查看DDL
功能介绍
- StarRocks表详情页面,用户可点击查看DDL信息。
3.元数据采集在大数据量时,优化性能问题
功能介绍
- 之前新建元数据采集任务,选择采集范围时,如果数据表过多,点击一键全选会出现内存溢出错误。本次优化后,一键全选功能增加条数上限,选择数据表超过1万张时禁用一键全选功能,并设置提醒文案,建议用户以整库采集元数据。
4.超级租户遗留问题优化
功能介绍
- 目前超级项目组在资产目录、表详情页面仅能查看到部分表信息,且无法搜索子项目组发布的Hive表和非Hive表。本次优化后,超级项目组能够看到子项目组的表详情和治理内容,并且可以搜索到子项目组已发布的数据资产。
5.表详情查看权限展示TDH对应的权限点
功能介绍
- 在TDH集群下,支持查看当前用户具有表的哪些权限,若没有权限则可去申请权限
版本:v2.19.3
新增功能
1.超级租户全局资产目录汇总
功能介绍
- 在平台管理中设置为超级项目组的话,则超级项目组的成员在数据资产地图就可查看所有项目组的资产目录。
详细操作步骤
- 平台管理中给某个项目组设置为超级项目组,然后超级项目组的成员进入地图首页,就能看到全局所有项目组的资产目录。
注意事项
- 仅超级项目组可查看所有项目组的资产目录,普通项目组只能查看本项目组的资产目录。
2.适配TDH Inceptor表
功能介绍
- 平台默认底座是适配网易的NDH集群,该版本新增适配第三方的TDH集群,故数据资产地图的表和血缘均做了相关兼容适配
注意事项
- TDH集群需要前期部署时运维配置好
3.元数据采集、注册、治理、表搜索、表详情支持ClickHouse
功能介绍
数据资产地图新增适配ClickHouse表,具体功能包括:
- 元数据采集、注册、治理、发布流程支持ClickHouse表
- 元数据导入导出支持ClickHouse表
- 地图表搜索、表详情支持ClickHouse表
- 我收藏、浏览、订阅的表支持ClickHouse表
详细操作步骤
- 进入地图可搜索查看ClickHouse表
功能优化
1.告警通知渠道对接告警中心
功能介绍
- 之前告警渠道可选范围比较固定,没有和告警中心支持的渠道打通。本次优化后,告警渠道统一取自告警中心配置的告警渠道。
2.查看表详情时,当前用户所处的项目不跟随表所属项目而变更
功能介绍
- 之前用户查看某项目的表,右上角所处的项目也会自动切换为表所属项目,不符合用户预期,本次优化后用户右上角所处项目不会随着表所属项目变化而变化,用户需要切换项目时可自主切换,系统不会主动切换用户的当前项目。
3.数仓表导引增加达梦和GaussDB,保持和模型设计一致
功能介绍
- 数仓表导引增加达梦和GaussDB表类型
版本:v2.19.2
功能优化
1.元数据注册中表名和字段名规范限制放开
功能介绍
- 多个用户反馈存量元数据由于表命名不规范,导致无法导入平台。为了灵活支持这类情况,现将元数据格式校验放宽,允许例如下划线结尾的表名可导入平台。
2.元数据采集支持iceberg
功能介绍
- 之前元数据采集时不支持选择Iceberg表,本次优化后将Iceberg作为一种特殊hive表,放开供用户采集。
版本:v2.19.1
新增功能
1.支持统计、搜索、查看业务对象
功能介绍
平台新增“关系建模”的子产品,支持管理业务对象,其上线的业务对象信息可同步在数据资产地图呈现。数据资产地图支持统计、搜索、浏览业务对象信息,方便用户了解公司的业务对象分布情况。具体功能包括:
- 首页支持统计该项目组下所有已上线的业务对象数量
- 首页支持搜索该项目组下所有已上线的业务对象,跳转查看业务对象详情信息
- 资产目录模块支持按照主题域分组/主题域的分类目录来浏览筛选业务对象
注意事项
- 所有涉及业务对象的功能,都依赖于关系建模模块,如果企业没有开启关系建模模块,则不提供该功能
2.元数据治理,支持关联逻辑实体和逻辑实体属性,包括注册模板、导入导出等
功能介绍
- 在元数据治理时,支持用户给表关联逻辑实体,给表的字段关联逻辑实体属性信息
注意事项
- 所有涉及逻辑实体和属性的功能,都依赖于关系建模模块,如果企业没有开启关系建模模块,则不提供该功能
3.支持StarRocks元数据采集、注册、治理、发布、搜索、表血缘等
功能介绍
数据资产地图新增适配StarRocks表,具体功能包括:
- 元数据采集、注册、治理、发布流程支持StarRocks表
- 元数据导入导出支持StarRocks表
- 地图表搜索、表详情、表血缘支持StarRocks表
- 我收藏、浏览、订阅的表支持StarRocks表
功能优化
1.表相关OpenAPI增加关联逻辑实体和逻辑实体属性信息
功能介绍
- 表详情、字段详情的OpenAPI接口新增关联的逻辑实体、实体属性相关信息;另外新增2个OpenAPI,支持根据实体查询实体关联的表、根据实体属性查询表字段
版本:v2.19.0
新增功能
1.支持超级项目组全局资产管理
功能介绍
- 平台之前的架构是以项目组为最大隔离粒度来管理数据资产,例如网易云音乐、网易传媒等事业部各自作为一个独立的项目组,业务上完全隔离互不干扰。但对于一些集团性企业例如通威股份、兴合集团等,其企业架构是一个集团母公司和多个子公司,虽然各自可作为一个独立项目组来运转,但是集团母公司需要能查看所有子公司数据,此时项目组隔离导致无法满足。基于这种场景,需要有一个超级项目组来代表集团母公司角色,子公司都是普通项目组,母公司超级项目组能够打破项目组隔离限制,可搜索、治理、浏览全部hive集群数据。超级项目组可在「平台管理-项目组管理」模块中指定,下面具体介绍超级项目组所具备的能力:
- 首页支持统计所有集群已治理、未治理的表数量
- 首页支持统计所有项目组已发布的指标总数
- 支持搜索和浏览所有项目组所有集群的hive表,支持按项目组筛选
- 支持搜索和浏览所有项目组已发布的指标,支持按项目组筛选
- 超级项目组支持对所有hive集群元数据进行采集和治理,普通项目组仅支持采集和治理有权限的集群的数据
- 平台之前的架构是以项目组为最大隔离粒度来管理数据资产,例如网易云音乐、网易传媒等事业部各自作为一个独立的项目组,业务上完全隔离互不干扰。但对于一些集团性企业例如通威股份、兴合集团等,其企业架构是一个集团母公司和多个子公司,虽然各自可作为一个独立项目组来运转,但是集团母公司需要能查看所有子公司数据,此时项目组隔离导致无法满足。基于这种场景,需要有一个超级项目组来代表集团母公司角色,子公司都是普通项目组,母公司超级项目组能够打破项目组隔离限制,可搜索、治理、浏览全部hive集群数据。超级项目组可在「平台管理-项目组管理」模块中指定,下面具体介绍超级项目组所具备的能力:
注意事项
- 上述功能仅针对超级项目组,普通项目组仍存在项目组间隔离的情况
2.支持自动推荐表和字段的敏感数据分类
功能介绍
- 元数据治理流程中,新增表和字段的敏感数据分类信息,对接第三方NLP接口来自动推荐表和字段的敏感数据分类值
注意事项
- 第三方NLP接口是针对特定客户定制的
功能优化
1.资产目录表列表UI优化
功能介绍
- 优化资产目录表列表的宽度样式
2.精准搜索UI优化
功能介绍
- 将之前的精准搜索icon按钮样式优化为复选框勾选的样式,方便用户发现和使用该功能,优化交互体验
版本:v2.18.0
新增功能
1.支持Impala血缘
功能介绍
- 平台执行引擎为impala的任务,支持在地图展示对应的表血缘信息
2.提供数据资产门户相关接口
功能介绍
- 平台提供表详情相关OpenAPI,用于数据资产门户展示资产详情
功能优化
1.数据传输提供接口支持批量查询字段的静态脱敏信息
功能介绍
- 字段血缘脱敏信息查询接口优化,支持批量查询
2.GaussDB表详情支持查看DDL信息
功能介绍
- 在GaussDB表详情页,用户可直接点击查看DDL信息
3.元数据采集侧边框宽度优化
功能介绍
- 元数据采集任务侧边栏抽屉宽度加宽,方便用户操作和查看,提升用户体验
4.地图iceberg表血缘支持展示下游BI报告
功能介绍
- 在BI中登记的Doris数据源,如果doris外表关联的底层元数据为iceberg,系统支持打通BI和中台的血缘,在中台iceberg表血缘中支持查看下游的BI报表
版本:v2.17.0
新增功能
1.元数据采集发生表变更支持配置是否覆盖的策略
功能介绍
- 之前元数据采集后,默认不会更新数据库中的物理信息。但是有用户反馈数据库中表结构变更后希望下次采集元数据时可以选择是否同步更新。基于此背景,产品新增元数据采集表结构变更是否覆盖的策略,变更内容包括新增字段、删除字段、字段类型变更、表备注和字段备注更新等
使用步骤
- 在元数据采集模块,设置相应的覆盖策略即可
注意事项
- 无
2.支持在血缘图中可查看字段脱敏信息、敏感类型、安全等级
功能介绍
- 字段血缘图之前仅展示上下游字段间的血缘关系,本次新增字段属性的展示,可以按需在字段血缘图中展示上下游字段的敏感信息、脱敏规则、安全等级
使用步骤
- 查看字段血缘模块,点击勾选敏感信息、脱敏规则、安全等级的属性即可
注意事项
- 无
3.Hive表详情页支持查看数据探查内容
功能介绍
- Hive表详情页新增数据探查的模块,可以查看表的探查记录,包括总记录数、去重记录数、主键字段、枚举字段值分布、各字段最大最小值、null值数和占比等
使用步骤
- 查看Hive表详情,点击数据探查的模块即可
注意事项
- 仅Hive表支持查看数据探查内容
- 数据探查内容需要先在数据质量中心创建过形态探查任务后,才会展示探查结果
- 仅表所在项目的项目成员和有表读权限的人,才可查看探查内容,避免存在数据安全问题
4.适配oceanbase for MySQL/Oracle 离线开发血缘
功能介绍
- 在平台离线开发运行过的oceanbase sql节点任务后,可在oceanbase表详情页查看表血缘信息
注意事项
- 无
5.支持API搜索和查看
功能介绍
- 支持在地图首页搜索API
注意事项
- 仅支持搜索API市场中已发布的API
功能优化
1.字段列表、数据预览展示的脱敏规则和敏感信息优化
功能介绍
- 在字段列表和数据预览的页面,增加展示字段的敏感类型、脱敏规则信息
使用步骤
- 查看字段列表和数据预览的页面即可
注意事项
- 无
2.下线状态的元数据支持批量编辑
- 功能介绍
- 元数据注册列表,之前下线状态的元数据只能单个编辑,本次增加了批量编辑的功能
3.数据预览时支持展示“字段描述”
- 功能介绍
- 数据预览的表头交互优化,并增加展示字段描述信息
4.没有hms编辑权限时,新增OPS配置来禁止修改hive表的技术负责人、表描述、字段描述
- 功能介绍
- 在部分客户环境中,不支持项目账号更新集群的HMS信息,导致Hive相关信息无法修改,故针对这种情况增加配置功能,一旦出现不支持修改Hive相关信息时则禁用相关操作并提示用户。涉及修改的内容主要是Hive表技术负责人、表描述、字段描述信息
5.网易内部环境增加数据探查功能的埋点,对接哈勃
- 功能介绍
- 网易内部环境针对部分功能增加产品埋点,以便统计用户使用情况,本次新增的埋点是统计数据探查报告的使用情况,外部客户环境暂不支持对接哈勃,故不支持埋点
版本:v2.16.0
新增功能
1.支持表名搜索开启精准匹配
功能介绍
- 之前地图的搜索默认是模糊搜索,有时同一关键字可能搜出较多结果,对用户选择形成干扰。故系统增加是否精准匹配的设置项,可灵活开启,方便精确定位自己想要的数据。
使用步骤
- 在搜索框中可开启或关闭是否精准匹配的功能
- 在搜索框中可开启或关闭是否精准匹配的功能
2.支持展示达梦表血缘
功能介绍
- 离线开发运行达梦节点SQL任务后,支持在地图达梦表详情页查看达梦表血缘信息
使用步骤
- 离线开发运行达梦节点任务,然后在地图查看达梦表详情数据血缘信息即可
3.支持Greenplum表的元数据治理和发布流程
功能介绍
- 元数据采集、治理、发布模块新增支持Greenplum表
使用步骤
- 登记Greenplum数据源后,在具备数据源、采集、治理模块相关功能权限的基础上,创建元数据采集任务采集Greenplum表即可。
- 登记Greenplum数据源后,在具备数据源、采集、治理模块相关功能权限的基础上,创建元数据采集任务采集Greenplum表即可。
功能优化
1.支持字段血缘影响逻辑交互优化
功能介绍
- 之前查看字段血缘时,侧边栏信息较窄看不全,用户体验不好。本次优化后,扩大侧边框宽度,增加影响逻辑统计数和放大框等,提升用户体验。
使用步骤
- 进入Hive表详情页,查看字段血缘即可
版本:v2.15.0
新增功能
1.支持TiDB表的元数据采集、治理、发布、搜索和查看
功能介绍
- 系统支持TiDB表的元数据采集、注册、治理、发布、搜索和表详情查看
使用步骤
- 元数据采集模块,可以新建元数据采集任务,数据源类型可选择TiDB
- 元数据注册模块,可以对已采集的TiDB表进行元数据治理、发布和下线等操作
- 数据资产地图首页支持搜索TiDB表,可查看TiDB表详情,包括基本信息、字段信息、版本信息等
2.达梦表详情支持查看数据质量报告
功能介绍
- 达梦表详情页可查看表的数据质量报告
使用步骤
- 第一步:首先需要在数据质量中心给达梦表创建质量稽核任务,并执行任务;
- 第二步:达梦表质量监控任务运行完成后,会生成质量报告,在地图中搜索并查看达梦表时,即可查看表的数据质量报告信息。
3.元数据管理增加血缘分析,展示血缘覆盖率统计信息
- 功能介绍
- 支持查看离线开发调度任务和节点的血缘覆盖率统计信息,支持按照平台整体、项目组、项目、集群等粒度查看血缘覆盖率情况。
使用步骤
- 进入「地图-元数据管理-元数据分析」模块,即可查看血缘分析页面。该页面可以查看昨日总调度任务数、有血缘的任务数、任务血缘覆盖率、昨日总调度节点数、有血缘的节点数、节点血缘覆盖率等,同时提供查看和下载疑似无血缘的任务和节点列表。
注意事项
- 默认平台负责人可以查看平台整体血缘覆盖率、各项目组血缘覆盖率;
- 默认项目组负责人或者项目组管理员可以查看其所在项目组的血缘覆盖率。
功能优化
1.表血缘SDK增加参数用于跳转第三方门户表详情页
功能介绍
- 支持提供血缘SDK,在客户环境部署后可展示表血缘图。本次新增相关参数,用于客户环境自定义血缘节点跳转不同页面
使用步骤
- SDK升级后,点击血缘中的节点,查看节点的详情页即可
2.hiveOnKudu表支持查看和修改字段描述、表描述
- 功能介绍
- 支持查看hiveOnKudu表的表描述信息、字段描述信息,且表的技术负责人和表所属项目管理员可以编辑表描述和字段描述
- 使用步骤
- hiveOnKudu表详情页,直接查看表描述信息、字段描述信息即可
3.表详情页UI优化
功能介绍
- KafkaTopic、RocketMQTopic、NydusTopic、流表、Greenplum、Kudu、HBase等详情页内容UI展示优化。之前部分信息在左侧侧边栏展示,部分信息在右侧分tab展示,本次优化后统一分tab展示不同信息。
使用步骤
- 查看对应表详情页即可
4.表的产出信息中,运行中时显示的结束时间、执行时长需要优化
- 功能介绍
- 优化前若产出任务运行中,则结束时间和执行时长显示有误,优化后则显示空杠,待运行结束则会显示正常的结束时间和执行时长。
- 使用步骤
- 表详情页点击产出信息Tab,查看表的产出任务列表即可
版本:v2.14.0
新增功能
1.支持元数据大批量异步导出
功能介绍
- 之前元数据列表单次导出最多支持100条记录,不满足大数据量的导出场景。为了解决该问题,系统新增支持大批量元数据异步导出功能,即用户单次可导出2000条数据,系统后台执行导出任务,不影响用户做其他操作,并且用户还可查看元数据历史导出记录和导出进度。
使用步骤
- 第一步:批量勾选元数据并点击批量导出按钮
- 第二步:进入“元数据导出记录”页面,可查看元数据导出记录、导出进度、导出文件下载等
2.支持OceanBase表采集、治理、发布和搜索查看
功能介绍
- 系统支持OceanBase表的元数据采集、注册、治理、发布、搜索和表详情查看
使用步骤
- 元数据采集模块,可以新建元数据采集任务,数据源类型可选择OceanBase
- 元数据注册模块,可以对已采集的OceanBase表进行元数据治理、发布和下线等操作
- 数据资产地图首页支持搜索OceanBase表,可查看OceanBase表详情,包括基本信息、字段信息、版本信息等
3.支持Doris表采集、治理、发布和搜索查看
功能介绍
- 系统支持Doris表的元数据采集、注册、治理、发布、搜索和表详情查看
使用步骤
- 元数据采集模块,可以新建元数据采集任务,数据源类型可选择Doris
- 元数据注册模块,可以对已采集的Doris表进行元数据治理、发布和下线等操作
- 数据资产地图首页支持搜索Doris表,可查看Doris表详情,包括基本信息、字段信息、版本信息等
4.表字段支持设置顺序和是否隐藏
功能介绍
- 数据资产地图的表详情页中,之前字段列表的表头是固定展示列内容和列顺序,用户反馈字段列表中部分列不需要或者部分列顺序想要调整,故产品新增支持设置列是否隐藏、列顺序调整的功能,以便灵活展示需要的信息。
注意事项
项目组负责人和项目组管理员默认支持设置表头字段是否展示及展示顺序,设置后项目组内统一生效
未治理表和已治理表由于字段列表属性有差异,故需要分别设置
使用步骤
- 项目组负责人和项目组管理员可以在“配置管理-默认项配置”模块中设置各数据源类型表字段列表的表头设置信息
- 其他人员在安全中心授权后,也可设置表的字段列表表头信息
- 字段列表中不需要展示的列,可以点击“隐藏”按钮
- 字段列表中需要调整字段顺序时,可以拖动字段来达到调整顺序的目的
5.支持流表血缘
功能介绍
- 实时计算的任务上报血缘信息给元数据中心后,用户可在数据资产地图的流表详情页展示对应的流表血缘数据,以便知晓流表数据的全链路血缘信息
注意事项
本次流表血缘支持的流表类型有:
- 通过消息队列注册生成的流表:流表(Kafka)、流表(RocketMQ)、流表(Nydus)
- 通过物理表注册生成的流表:流表(MySQL)、流表(Oracle)、流表(HBase)、流表(Kudu)、流表(ES)
本次流表血缘支持的物理表节点有:MySQL、Oracle、Postgresql、Kudu、TiDB、Elasticsearch、HBase、Redis、Kafka、Pulsar、RocketMQ、Hive、Starrocks、Doris等。由于实时计算上报的物理表可能是纯DDL定义的,非数据源登记,故部分节点仅支持纯文本展示节点信息,不提供跳转详情页。
流表血缘目前仅支持读取和写入为流表的血缘,不支持串联读取或写入为流表对应的物理表血缘。
使用步骤
- 前提:实时计算有配置正确实时计算任务,并且上报血缘信息。在此前提下,用户搜索流表后,在流表详情页点击“数据血缘”模块,可查看数据血缘信息
功能优化
1.批量勾选优化
- 功能介绍
- 之前元数据注册模块的列表页多次批量勾选元数据后,不知道总计勾选了多少条,也不方便取消勾选。本次优化后,支持统计已勾选条数、取消已勾选记录。
- 使用步骤
- 元数据注册列表,勾选元数据即可。
2.元数据管理数据源选择范围优化
功能介绍
- 之前元数据注册页下拉可选择的数据源列表是当前用户有读或写权限的数据源,由于元数据信息是支持多人协作补充的,导致其他用户没有该数据源权限时,无法编辑保存、导入该元数据信息。为了解决该问题,故产品上放开该限制,支持用户下拉选择全部数据源,这里数据源仅作为展示信息用,不涉及数据内容的读写。
使用步骤
- 添加或编辑元数据时,可下拉单选任一数据源。
3.搜索推荐展示内容优化
- 功能介绍
- 之前首页搜索输入关键字后,推荐列表中没有展示表描述信息、外部数据源名称等,不方便用户选择和区分表,本次优化后会在搜索关键字后的推荐列表中增加展示表描述信息、外部数据源名称等。
- 使用步骤
- 进入首页,输入关键字,查看推荐列表信息,可查看到表描述信息、外部数据源名称等。
4.数据传输上报的血缘扩展适配更多的数据源类型
功能介绍
之前数据传输上报的血缘仅包含来源或者去向为Hive的血缘,且已调度的传输任务。本次迭代后新增了2个优化点:
1、数据传输会将所有的数据源类型均上报。在地图的支持范围内可展示的传输血缘类型更加丰富,例如MySQL写入Oracle,Oracle写入Vertica,Vertica写入Greenplum等。
2、除了已调度的传输血缘,还增加试运行状态的传输任务血缘。已调度的传输血缘在地图中展示为活跃血缘,用实线连接;试运行的传输任务血缘,在地图中展示为静默血缘,用虚线连接。
- 使用步骤
- 前提是在数据传输模块已创建并试运行传输任务,然后在地图的表详情页查看数据血缘即可。
版本:v2.13.0
新增功能
1.支持GaussDB表采集、治理、发布、搜索和查看详情
功能介绍
- 新增GaussDB数据源类型的适配,包括GaussDB元数据采集、治理、发布、导入导出、搜索和表详情查看。
使用步骤
- 先需要登记GaussDB数据源,然后可创建元数据采集任务,在地图可搜索和查看GaussDB表。
- 先需要登记GaussDB数据源,然后可创建元数据采集任务,在地图可搜索和查看GaussDB表。
2.元数据注册页支持数据元、标准字典搜索
- 功能介绍
- 添加、编辑元数据时,支持搜索数据元、标准字典。
- 添加、编辑元数据时,支持搜索数据元、标准字典。
3.元数据注册列表支持是否精准搜索
- 功能介绍
- 元数据注册列表页,默认支持模糊搜索,如果需要精准搜索可以勾选“精准搜索”,以便过滤相似表名的结果。
- 元数据注册列表页,默认支持模糊搜索,如果需要精准搜索可以勾选“精准搜索”,以便过滤相似表名的结果。
功能优化
1.元数据注册模块性能优化
- 功能介绍
- 之前元数据注册相关页面打开响应较慢,本次做了技术层面的性能优化,提升用户体验。
2.元数据注册列表支持按照最近更新时间排序
- 功能介绍
- 元数据注册列表页新增一列“更新时间”,方便用户按照更新时间来升降序查看数据。
- 元数据注册列表页新增一列“更新时间”,方便用户按照更新时间来升降序查看数据。
3.hiveOnKudu表增加标识,区分于Hive标识
- 功能介绍
- 之前表详情页用户很难区分hive表和hiveOnKudu表,本次对hiveOnKudu表新增了标识。
- 之前表详情页用户很难区分hive表和hiveOnKudu表,本次对hiveOnKudu表新增了标识。
4.BI报告血缘添加优化
- 功能介绍
- 手工血缘添加有数BI报告时,优化了BI报告和中台项目组的底层映射配置。
5.表详情页字段列表的展示UI优化
- 功能介绍
- 页面UI展示优化,之前表格字段内容过大时展示效果不友好,本次优化后控制了最大行高和列高,并增加浮框文案。
版本:v2.12.0
新增功能
1.支持手工录入表血缘
功能介绍
- 之前平台仅支持展示任务执行后自动解析的Hive动态血缘和SDK解析的静态血缘,在某些非SQL任务类型或者SQL语法不支持解析的场景下,此时血缘无法完整地展示出来。为了能够支持这类场景,平台新增手工录入血缘的功能,通过手工录入血缘,可以将一些表、指标、标签、API等节点挂载在表上,方便查看完整的血缘链路。
注意事项
- 仅支持给表添加上下游的手工血缘,暂不支持给指标、标签、API等类型的节点添加手工血缘
- 表的上游血缘可以添加表节点、业务系统节点,表的下游血缘可以添加表节点、指标节点、标签节点、API节点
- 默认仅表的技术负责人、表所属项目管理员和项目负责人、项目组管理员和项目组负责人可手工添加血缘,其他人员或角色则需要在安全中心授权后才能添加或删除手工血缘
- 暂仅支持对Hive、MySQL、Oracle、Vertica、Greenplum表添加手工血缘
使用步骤
- 当表没有血缘时,可以点击“添加上游”、“添加下游”按钮来添加手工血缘;当表有血缘时,支持选择指定表后,可以在右侧弹框中添加上游血缘、添加下游血缘、删除手工血缘。
- 当表没有血缘时,可以点击“添加上游”、“添加下游”按钮来添加手工血缘;当表有血缘时,支持选择指定表后,可以在右侧弹框中添加上游血缘、添加下游血缘、删除手工血缘。
2.字段血缘支持指标、标签、API
功能介绍
- 之前字段血缘仅支持展示hive字段和字段之间的血缘,本次新增字段和指标、标签、API之间的血缘,方便用户洞察字段的完整血缘信息。
注意事项
- 无
使用步骤
- 打开表详情,点击查看字段血缘即可。
3.表和字段血缘OpenAPI支持指标、标签、API等
功能介绍
- 之前血缘OpenAPI仅支持查看上下游表或者字段的血缘,本次血缘OpenAPI返回内容出来表字段,还支持返回已有的指标、标签、API等血缘信息。
注意事项
- 无
使用步骤
- 具体请查看OpenAPI文档。
4.表血缘变更通知对象支持指标、标签、API、报告等负责人
功能介绍
- 之前血缘变更通知对象仅支持1层下游的表负责人,在血缘集成指标、标签、API、报告等功能后,血缘变更通知对象也同时支持下游的指标、标签、API、报告相关人员。除了新增通知对象外,本次还支持自定义指定通知人员,方便通知不在下游范围内的其他人员。
注意事项
- 无
使用步骤
- 表详情页点击发送变更通知,弹框里查看下游通知对象名单,且可增加指定通知对象,如下图所示:
- 表详情页点击发送变更通知,弹框里查看下游通知对象名单,且可增加指定通知对象,如下图所示:
5.元数据采集报告
功能介绍
- 元数据采集后,可以通过采集报告来查看某段时间内的采集任务实例数、采集业务系统数、采集表总数、采集变更表总数及其明细等。通过采集报告可以让用户了解采集的情况,并且根据变更的表明细来通知相关人员评估变更影响等。
注意事项
- 功能初次上线,历史数据可能会展示空,只要经过一段时间运行就能正常统计采集的数据情况
- 有元数据采集任务或者实例权限的用户,才能查看采集报告
使用步骤
- 进入元数据采集模块,点击查看采集报告即可。
- 进入元数据采集模块,点击查看采集报告即可。
6.搜索偏好设置
功能介绍
- 地图首页搜索时,用户希望能够基于关键字匹配,并且优先推荐热门读取、热门搜索或者元数据质量评分高的数据。故本次平台在ES分词检索的基础上,提供了搜索偏好设置的功能,管理员可调整各项权重因子,优化搜索推荐的功能和体验。
注意事项
- 默认仅项目组负责人和项目组管理员可以设置搜索偏好,其他人员需要在安全中心授权后才能操作。
使用步骤
- 进入配置管理页,点击搜索偏好设置菜单,设置并保存后立即生效,可在首页搜索查看返回结果的推荐顺序。
- 进入配置管理页,点击搜索偏好设置菜单,设置并保存后立即生效,可在首页搜索查看返回结果的推荐顺序。
7.数据资产统计
功能介绍
- 增加数据资产统计功能,方便了解平台的各类资产分布情况。
注意事项
- 无
使用步骤
- 查看首页即可。
功能优化
1.表负责人拆分技术负责人和业务负责人
功能介绍
- 之前表详情页顶部默认仅展示表负责人,实际某些用户场景中需要将表负责人进一步细化区分为技术负责人和业务负责人。本次将表负责人拆分为技术负责人和业务负责人,原来的负责人默认为技术负责人,业务负责人需要在模型建表时指定,或者在元数据治理时指定。
注意事项
- 系统默认原来的表负责人为技术负责人,历史存量已发布过的元数据中的技术负责人信息不会刷新到新的技术负责人中,如果要覆盖历史数据可以在页面上再次批量触发一下元数据发布流程即可。
使用步骤
- 查看表详情页,即可查看到表技术负责人和业务负责人信息。
- 查看表详情页,即可查看到表技术负责人和业务负责人信息。
2.表详情支持加入和展示专辑
功能介绍
- 表详情页支持查看表已经加入到了哪些专辑中,并且用户可以随时将当前表加入到自己的专辑里,该功能方便了用户对表和专辑的管理和信息互通。
注意事项
- 无
使用步骤
- 进入表详情页,查看表已加入的专辑,或者将表加入到自己的专辑中。
- 进入表详情页,查看表已加入的专辑,或者将表加入到自己的专辑中。
3.专辑添加表交互优化
功能介绍
- 之前专辑仅支持添加hive类型的表,本次支持专辑添加所有类型的表,并且支持全局检索表。
注意事项
- 添加和搜索的表范围是T+1的,新建的表可能不能实时检索到,需要次日才能加入专辑。或者需要手工采集后,才能立即加入专辑。
- 使用步骤
- 进入某专辑详情页,批量添加表到专辑中,弹框如下:
- 进入某专辑详情页,批量添加表到专辑中,弹框如下:
版本:v2.11.0
新增功能
1.支持全链路血缘,打通表、业务系统、指标、标签、API和报告血缘
- 功能介绍:
- 之前的表血缘支持展示表和表、API、报告的血缘,本次升级后打通了表的全链路血缘,表血缘可以向上追溯到表的业务系统,向下可以下钻到最终的应用如API和报告,另外也可在血缘图中查看表和指标、标签的血缘。若表在模型设计中心或者元数据管理模块中,用户给表字段绑定了指标,则血缘图中可展示表下游关联的指标;若表在标签画像或者元数据管理模块中,用户给表字段绑定了标签,则血缘图中可展示表下游关联的标签。通过在血缘图中查看表的上下游关联信息,用户可以评估表的血缘来源和下游影响范围。
- 使用步骤:
- 在地图搜索查看某张表,点击查看数据血缘tab页,即可查看表血缘。
- 在地图搜索查看某张表,点击查看数据血缘tab页,即可查看表血缘。
2.字段血缘支持可视化DAG模式和展示多层上下游血缘
功能介绍:
之前旧版字段血缘仅能查看上下游1层血缘,不满足用户多层血缘探查的需求,且没有直观的DAG图来展示字段血缘关系。另外旧版血缘中默认展示断言血缘容易误导用户,综上,需要对旧版字段血缘进行重构。本次新版字段血缘重构后主要功能如下:
- 支持可视化DAG图模式来清晰直观地展示字段间的血缘关系
- 支持展开上下游多层字段血缘,方便用户追溯来源和下游影响链路
- 支持默认查看映射血缘,也可以开启查看断言血缘,并且断言血缘有标识区分
- 支持查看字段间的影响逻辑,可展示断言和映射的血缘逻辑
- 支持按照表分组展示关联的字段血缘,可以展开和收起表
使用步骤:
- 在地图搜索查看某张Hive表,点击查看数据血缘tab页下的字段血缘,即可查看字段血缘信息。
- 在地图搜索查看某张Hive表,点击查看数据血缘tab页下的字段血缘,即可查看字段血缘信息。
3.资产目录新版重构
功能介绍:
旧版资产目录页面承载的信息量不足(最多查看6个二级目录),且不支持搜索目录和按目录交叉筛选数据,无法满足用户需求,故对资产目录进行改版。新版的资产目录主要功能包括:
- 支持查看和搜索目录
- 支持多套目录间组合交叉筛选表资产
- 资产目录仅包括已发布的资产,方便业务人员查看和使用质量高的表资产
使用步骤:
- 在管理人员已经构建好资产目录且挂载相应的表资产后,地图的所有用户均可直接查看资产目录信息。
- 在管理人员已经构建好资产目录且挂载相应的表资产后,地图的所有用户均可直接查看资产目录信息。
功能优化
1.元数据治理OpenAPI增强
功能介绍:
- 元数据治理OpenAPI支持批量新建和更新表的安全等级等属性,本次新增支持更新表和字段的更多属性信息,方便用户对存量数据快速通过OpenAPI来进行治理。
注意事项:
- 不同更新策略需要传入参数不同,更新表和字段的不同属性传入参数要求也略有不同,具体需要仔细参考OpenAPI文档。
使用步骤:
- 详见OpenAPI文档。
版本:v2.10.0
新增功能
1.血缘图支持整合BI报告
功能介绍:
- 表血缘图中,如果下游有基于该表生成BI报告,则支持展示下游报告信息,可以点击报告名称跳转查看报告详情页。
注意事项:
- 版本升级后需要运维执行SQL脚本触发推送历史全量的报告血缘数据给元数据中心,执行脚本已附在升级文档中。
使用步骤:
点击查看表的数据血缘即可,根据实际是否有报告生成来展示血缘。
血缘图中点击报告节点,则右侧会弹框展示报告信息及产出报表,点击报告名称可以新开页面跳转到BI报告详情页。
2.支持DM表搜索、详情展示、元数据采集发布流程
- 功能介绍:
- 支持DM表的元数据采集、治理和发布,并且可在地图搜索和查看DM表。
使用步骤:
平台登记了DM数据源后,可以在元数据采集模块创建采集任务,采集的DM表会展示在元数据注册模块中,以便后续对DM表和字段信息进行治理补充。
采集后的DM数据会展示在元数据注册列表中,支持对DM表进行治理、发布等。
支持在地图首页搜索和查看DM表
功能优化
1.元数据管理页面性能优化
- 功能介绍:
- 有用户反馈元数据管理模块的元数据列表页、编辑页、详情页等多个页面打开较慢,本版本通过前后端代码改造优化后,提升了页面性能。
2.元数据下线状态增加编辑操作
功能介绍:
- 之前元数据下线状态不支持编辑,有编辑权限的人需要派发治理工单来完成编辑比较麻烦。故这次优化后,有编辑权限的人,可以直接对下线状态的元数据进行编辑补充信息。
使用步骤:
- 在已经授权元数据编辑的前提下,可以对下线状态的元数据进行编辑。
- 在已经授权元数据编辑的前提下,可以对下线状态的元数据进行编辑。
3.导入成功/失败列表展示优化
功能介绍:
- 之前导入后不论成功或者失败均会展示“成功”和“失败”的页签,容易对用户形成干扰。本次优化后,若全部成功则仅展示导入成功的结果列表,若全部失败则仅展示导入失败的结果列表,若部分成功部分失败,则同时展示成功的结果列表和失败的结果列表。
使用步骤:
进入元数据注册模块,点击“批量导入”,上传文件后查看导入结果信息即可。
全部导入成功,页面如图:
部分导入成功,部分导入失败,页面如图:
全部导入失败,页面如图:
4.原始字典填写优化
功能介绍:
用户在录入字段的原始字典码值时,存在一些交互体验的问题,本次主要是优化体验问题,优化内容包括:
点击“立即解析”后,则校验是否有重复项,并且有操作成功的message提示文案
如果有重复项,则手工删除重复项后,去掉原来的红色警示框
填写表格输入框当鼠标失焦后,需要校验重复项、是否为空
列表中点击“添加”按钮后,自动滚动到最后添加的那一行
文本解析默认展开
清空按钮位置优化,之前用户反馈有歧义,以为是清空文本解析的内容。本次将清空按钮位置挪到表格处,且点击清空按钮后有二次弹框确认“是否确定清空,清空后不可恢复”
使用步骤:
- 进入元数据注册页面,点击某字段的“配置字典值”,即可输入字典内容。
- 进入元数据注册页面,点击某字段的“配置字典值”,即可输入字典内容。
5.页面字段展示内容列宽优化
- 功能介绍:
- 之前元数据详情页某些列内容较多,导致页面需要横向滚动很远,影响用户体验。本次优化后会固定最大列宽,超出则省略,支持鼠标悬浮展示完整信息。
6.数据查询筛选项目时需要和库联动
功能介绍:
- 搜索时当用户选择了某项目后,再选择库时。支持根据已选的项目筛选该项目下的库。
使用步骤:
- 搜索页,支持先选项目,在选择该项目下的库。
- 搜索页,支持先选项目,在选择该项目下的库。
7.血缘图表名过长展示优化
- 功能介绍:
- 之前血缘图中库表名是合并在一行展示,当名称较长时容易看不全。本次优化后将库名和表名分开两行展示,以便尽量展示更长的内容。
- 之前血缘图中库表名是合并在一行展示,当名称较长时容易看不全。本次优化后将库名和表名分开两行展示,以便尽量展示更长的内容。
8.表详情页无字段编辑权限时增加提示文案
- 功能介绍:
- 查看表详情页时,若没有字段的编辑权限时,需要增加提示文案。
- 查看表详情页时,若没有字段的编辑权限时,需要增加提示文案。
版本:v2.9.2
功能优化
1.数据血缘支持以SDK形式集成到第三方门户系统中。
- 功能介绍:
- 客户内部自有门户系统,需要将地图中数据血缘模块以SDK形式集成到内部门户系统中,以便在客户的门户中可查看数据血缘信息。
版本:v2.9.1
新增功能
1.表血缘支持下载
- 功能介绍:
- 表血缘查看页面,支持下载当前页面的表血缘到Excel中。
功能优化
1.新建目录时不支持首尾存在空格
功能介绍:
- 之前存在用户新建目录时不小心输入了空格,导致在导入元数据时系统检测到Excel中目录没有空格,和页面上有空格的目录不一致,最终无法导入元数据。为了优化该类问题,故在新建目录时提醒用户不支持收尾存在多余的空格,保障导入导出目录名称的一致性。
使用步骤
- 在「配置管理-目录配置」中,新建自定义目录时若收尾存在多余的空格,系统会提示用户去掉空格。
2.页面性能提升
- 功能介绍:
- 之前有用户反馈元数据管理模块的页面打开性能较慢,故平台进行了代码优化后来提升页面打开的性能。
3.元数据归属多目录时,导出后支持导入
- 功能介绍:
- 之前元数据归属目录页面上和导入校验时均只支持单选,后来页面支持归属目录多选。 本次优化后在导入场景中也支持元数据归属多个目录。
4.元数据更新的OpenAPI在更新安全等级后需要同步给安全中心
- 功能介绍:
- 元数据更新的OpenAPI支持更新表和字段的安全等级,之前更新后若元数据是发布态,没有支持将更新后的安全等级推送给安全中心,本次优化后支持通过OpenAPI更新的安全等级可实时推送给安全中心,保证安全等级的一致性。
版本:v2.9.0
新增功能
1.血缘图支持API节点
- 功能介绍:
- 如果表有生成API,则表血缘中能够展示该表的下游API节点
- 注意事项:
- 表和API的血缘关系通过数据服务推送生成,数据服务中通过表生成草稿(已创建)/已发布/已下线的API,均会在地图的血缘图中展示该API信息。目前仅支持数据服务中通过向导模式生成的API血缘,脚本模式生成的API,血缘图暂不支持展示。
- 之前查看表的下游影响,展示的只有已发布的API,本次迭代后只要表和API建立血缘关系,均可在下游影响里查看到,并且会标注API状态,API状态包括草稿(已创建)、已发布、已下线。
- 使用步骤:
- 在数据服务模块中新建API,并选择某表,基于该表的API创建完成后,能够在地图血缘图中查看到表的下游包含API信息
2.支持根据采集的数据源归属的业务系统自动按业务系统名称进行元数据归类
- 功能介绍:
- 数据源登记时支持用户填写该数据源的业务系统信息,元数据采集了对应的数据源后,系统支持根据数据源所在的业务系统名称自动分类展示该数据源下的表,在元数据注册模块自动创建的目录结构为「业务系统名称-数据库名称」,通过该目录结构方便用户快速查看对应业务系统下对应库下的表列表。
- 使用步骤:
- 第一步:登记或编辑已有的数据源,补充数据源的业务系统信息例如人力管理系统;
- 第二步:新建元数据采集任务,采集上一步登记的数据源下的库表;
- 第三步:元数据采集完成后,可以在元数据注册模块,查看「系统目录-业务系统-人力管理系统」下的库表列表。
3.元数据注册时支持原始字典的表格式输入、文本解析、批量导入
- 功能介绍:
- 之前元数据注册时,仅支持在文本框里手动填写原始字典信息,用户反馈填写格式经常出错和查看不方便。本次迭代新增支持多种方式来维护原始字典信息,包括表格式一行行输入码值、文本粘贴批量展示多行码值、Excel导入批量上传码值等,提升字典维护的效率。
- 注意事项:
- 之前版本查看原始字典是一段码值文案,本次迭代后查看原始字典则会弹框展示表格,表格形式展示字典的码值列表,方便用户查看。
- 使用步骤:
- 第一步:进入元数据注册页面,点击字段信息中原始字典的“配置字典值”按钮
- 第二步:在配置页面中,可以手工一行行输入字典码值,也可以文本粘贴批量解析出字典码值,同时也支持Excel导入字典码值。
4.支持元数据大批量异步导入,且可实时展示导入进度
- 功能介绍:
- 之前元数据单次导入仅支持50张表600个字段,用户反馈表多的情况下例如几千张表导入比较麻烦,且每个sheet页记录一张表,不方便对表进行批量编辑和查看,也不方便逐个sheet找表。综合这些原因,本版本对元数据导入导出模板进行了调整,并且导入量级做了较大提升,从原来的单次导入50张表优化成了单次支持导入2000张表,同时导入后可随时查看导入进度,导入过程中可离开导入页面做其他操作。
- 注意事项:
- 之前元数据导入模板是一张表一个sheet页,本次模板调整后所有表都汇总在同一个sheet页中。考虑到历史基于旧模板已经导出的数据的兼容,平台支持新旧模板的导入,后续增量的数据仅支持基于新模板导出和导入。
- 使用步骤:
- 第一步:在元数据注册页面点击“批量导入”,进入到导入流程页
- 第二步:可预览新旧模板,根据实际情况上传并导入,可以随时查看导入的实时进度
- 第三步:查看导入进度,导入完成后可查看导入成功或导入失败的列表,导入失败的列表可以下载到本地
5.元数据采集时支持设置将字段描述自动填充为字段中文名
- 功能介绍:
- 在创建元数据采集任务时,用户希望能默认将采集到的字段备注填充为字段中文名称,故在采集任务中增加该配置项,这样可以批量获取字段的中文名称初始值,减少一些人工维护成本。
- 使用步骤:
- 在元数据采集任务的配置中,开启该项配置项,采集完成后查看元数据字段信息即可。
6.元数据中的字段关联标准数据元后,支持自动填充字段相关标准信息
- 功能介绍:
- 用户在数据标准中维护了数据元的中英文名称、字段类型、数据格式、取值范围等信息后,在元数据管理中对字段关联了该数据元后,需要能将数据元的规范信息能够自动同步到该表的字段上,实现标准信息和元数据信息的打通,保障信息的规范性和一致性。本次优化后,字段关联某数据元后系统会弹框提示相关信息是否需要同步覆盖,勾选确认后即可覆盖标准信息到元数据中。后续若需要再同步更新数据元信息,可以按需点击数据元后的对比按钮来实现信息同步。
- 使用步骤:
- 数据标准模块中发布了相关的数据元,元数据编辑时给字段关联相应的数据元后,即可按需勾选需要同步的信息。
功能优化
1.元数据注册时支持表和字段的中文名称重复
- 功能介绍:
- 某些客户的业务场景需要支持同一库下表存在相同的中文名称,同一张表里字段存在相同的中文名称,为了满足该场景产品上不做重名限制,允许重复的中文名称。
- 使用步骤:
- 元数据编辑时,可填写重复的表中文名称和字段中文名称。
2.元数据采集支持获取字段的精度
- 功能介绍:
- 元数据采集后支持获取表的物理信息例如表物理名称、表描述、字段物理名称、字段描述等,在此基础上某些字段有长度精度信息,也需要能够采集并且展示在元数据信息中。
- 使用步骤:
- 元数据采集后,根据实际字段类型中的精度来展示在元数据中即可。
3.元数据关联的数据元名称变更后,支持同步更新
- 功能介绍:
- 之前用户反馈过数据元重命名后,在地图表详情中查看仍显示旧名称。本次优化后只要数据元有重命名,地图的表字段信息中会实时展示最新的名称。
- 使用步骤:
- 在数据标准中更新数据元名称并发布后,查看地图表详情字段关联的数据元为最新名称。
4.菜单展示优化
- 功能介绍:
- 之前地图首页侧边栏菜单默认会折叠,用户反馈经常查看其他菜单模块需要手动展开比较麻烦。本次优化后默认菜单展开,且系统会记住用户上次的展开/折叠状态。
5.表描述搜索命中后支持高亮显示
- 功能介绍:
- 关键字搜索名中表描述后,搜索结果中的描述文案支持高亮展示。
版本:v2.8.2
功能优化
1.查看表详情OpenAPI,新增支持hive视图表类型
- 功能介绍:
- 之前查看表详情的OpenAPI没有支持hive视图表,本次适配hive视图表。
版本:v2.8.0
新增功能
1.支持新版数据血缘
- 功能介绍:
- 之前表血缘存在展示性能较慢、展开收缩交互不友好、页面节点空间利用率低、节点上下游无统计信息等问题,故产品设计了一套新版表血缘UI交互,方便用户查看血缘。新版血缘支持节点上下滚动、每层层数统计、每层节点数统计、点击节点链路高亮、搜索节点并定位等。
2.支持Hive视图表血缘
- 功能介绍:
- Hive视图表支持查看数据血缘,帮助用户了解hive视图表的上下游使用情况
3.支持iceberg表搜索及表血缘
- 功能介绍:
- 支持用户在地图搜索iceberg表,并且查看iceberg表详情及表血缘
4.支持设置默认目录
- 功能介绍:
- 元数据注册模块支持按照目录来分类查看元数据,之前默认显示第一个分类目录,用户经常需要手动切换到关注的目录上,故平台新增默认目录偏好设置,方便用户快捷找到常用目录
5.支持数据专辑
- 功能介绍:
- 新增数据专辑模块,用户可以自由创建数据专辑,将自己常用的数据表按照业务场景收纳到不同的专辑中,并且专辑可以设置私有或公开,专辑可帮助用户快速收纳常用表,交流分享数据专辑。
6.元数据采集和地图检索的元数据范围打通
- 功能介绍:
- 之前用户登记过数据源后,地图就默认可搜索该数据源下的所有库表,导致地图上存在很多不需要的表,给部分用户搜表带来了不便,地图可搜索的表范围没有选择空间。故平台增加了开关配置,历史用户可以保持地图全量表的搜索体验不变,如果不需要搜全量表的客户可以通过运维后台来关闭全量元数据检索,关闭后只有地图创建过元数据采集任务范围内的库表才可在地图上检索。
功能优化
1.跨项目申请表权限跳转优化
- 功能介绍:
- 之前用户在地图查看其他项目下的表并点击申请权限时,跳转到安全中心后当前项目会被切换为表所在项目,本次优化后用户跳转安全中心申请其他项目表权限时,当前导航栏项目不变
2.元数据注册时,列中文名称放开格式限制
- 功能介绍:
- 之前用户注册或导入元数据时,列中文名称可能存在括号等字符,导致格式校验异常无法注册,本次优化后放开特殊字符的限制,允许用户注册
3.资产目录分tab展示表、指标、标签等各类资产
- 功能介绍:
- 之前资产目录展示的数据包含表、指标、标签的总和,本次优化后会将表、指标、标签分别用不同的tab来区分展示,方便用户更直观地查看不同类型资产的数据
4.提供分类目录接口给安全中心,用于分类分级
- 功能介绍:
- 提供接口给安全中心,用于支撑安全中心分类分级的需求
5.元数据和安全中心打通表安全等级
- 功能介绍:
- 之前元数据维护了表安全等级后,没有同步给安全中心,导致两边表安全等级存在不一致情况,本次优化后会将元数据维护的表安全等级经过元数据发布后更新到安全中心,保障平台使用的表安全等级口径一致
6.表数据预览交互优化,支持冻结表头、横向滚动条底部常驻、列宽优化、字段名称和类型显示区分
- 功能介绍:
- 之前用户反馈数据预览的一些体验优化类需求,本次优化后数据预览支持冻结表头、横向滚动条底部常驻、列宽优化、字段名称和类型显示区分等
7.支持元数据归属目录多选
- 功能介绍:
- 元数据归属目录支持多选,例如可选业务系统/交易线/订单、业务系统/交易线/商品等
8.支持元数据归属主题域多选
- 功能介绍:
- 元数据归属目录支持多选,例如交易域/订单域、交易域/商品域等
版本:v2.7.4
功能优化
1.元数据的字段安全等级和安全中心打通
- 功能介绍
- 之前元数据维护了字段安全等级后,没有同步给安全中心,导致两边字段安全等级存在不一致情况,本次优化后会将元数据维护的字段安全等级经过元数据发布后更新到安全中心,保障平台使用的字段安全等级口径一致。
2.查看和编辑元数据时,支持右键打开新页面,默认点击也是新开页面
- 功能介绍
- 之前元数据注册页面,点击查看或者编辑元数据后,会在当前页打开,经过调研后大多用户习惯于新开页面,故产品优化为默认新开页面。
3.物理视图中,没有表删除权限的人,删除按钮应该置灰
- 功能介绍
- 之前物理视图表列表中,用户没有删除表权限时,删除按钮没有置灰禁用,导致用户可能存在误操作,故产品优化为若没有表删除权限则删除按钮置灰不可点击。