EasyData-V7.0-Update09

数据标准

版本：v2.1.2

1.字典支持展示关联的元数据信息并且可跳转到元数据详情页

• 功能介绍
  • 支持在原始字典及标准字典详情页展示引用该字典的字段列表；其中，原始字典支持展示引用的字段详情，标准字典支持展示引用的字段详情以及数据元详情

2.支持字典批量分类挂载以及字典查询openapi

• 功能介绍
  • 可通过api的方式批量给字典挂载分类，支持查看字典码值

3.支持数据质量中心（DQC）引用标准资源目录

• 功能介绍
  • DQC可按照资源目录仅任务分类

1.数据标准产品访问权限对接安全中心

• 功能介绍
  • 支持控制产品页面访问权限

2.查找数据元时应优先显示与输入最匹配的结果

• 功能介绍
  • 查找数据元时应优先显示与输入最匹配的结果，按照返回结果的长度进行倒排，长度越短代表匹配度越高

3.查看字典详情再回退后保留筛选条件

• 功能介绍
  • 在字典列表页面进入字典详情后，再进行返回，会保留筛选条件

4.标准拾取数据源列表展示名称而不是展示catelog

• 功能介绍
  • 标准拾取数据源列表展示的为数据源id，应当展示数据源名称，具备可读性

指标系统

版本：v2.8.5

1.支持配置允许非发布态指标依赖，满足灵活的治理需求

• 功能介绍
  • 派生指标和复合指标的注册和治理不依赖于原子指标是否已发布，但派生指标和复合指标的发布需要校验原子指标是否已发布

1.指标系统产品访问权限对接安全中心

• 功能介绍
  • 支持控制产品页面访问权限

2.指标系统业务口径展示优化

• 功能介绍
  • 支持通过侧边抽屉展示源格式的业务口径

模型设计中心

版本：v1.8.3

1.基于现有的多物理表快速填充生成新模型

• 功能介绍
  • 支持建表是基于现有表字段勾选后生成新的字段信息

2.第一个批量导入模板支持修改扩展属性

• 功能介绍
  • 第一个模板之前仅支持新增不支持修改，现支持修改，且导入数量限制提升至50

3.批量导入支持修改主题域和分层

• 功能介绍
  • 当表存在的时候且没有划分主题域时，能够导入时进行修改

4.模型设计中心支持批量审批

• 功能介绍
  • 模型工单支持批量审批

1.模型设计中心新建表表的字段名等取消规则限制

• 功能介绍
  • 字段名称和数据元中、英名称需要支持负号（-）和小数点（.）；字段描述信息无限制条件。

2.模型设计中心产品功能权限及访问权限对接安全中心

• 功能介绍
  • 支持通过安全中心控制产品页面访问权限

离线开发

版本：v7.1.0

1.代码扫描新增规则类型

• 功能介绍：

  • 离线开发和自助分析中增加4种代码扫描规则，分别是表跨层依赖、表关联使用full join、表关联过滤条件使用不当、分区字段和过滤条件类型不匹配。

• 规则说明：

  • 表跨层依赖：指ods层的表，被跨层依赖。一般来说，ods层的一级下游表为明细层（dwd）或维表（dim），如果含有其他表，则该ods层表被认为是跨层依赖。此处跨层依赖的定义实际受到模型设计中心跨层依赖评估的控制。

  • 表关联使用full join：指表关联中使用了full join，建议使用union all优化。

  • 表关联过滤条件使用不当：指使用left join时，左表的过滤条件没有写在 where 中或写子查询，右表的过滤条件没有写在on里面或写子查询。使用right join时，左表的过滤条件没有写在on中或写子查询，右表的过滤条件没有写在where里面或写子查询。

  • 分区字段和过滤条件类型不匹配：指针对SparkSQL，表的分区字段类型为string，过滤条件类型为date，该情况会导致全量分区扫描。

2.离线开发支持代码自动恢复

• 功能介绍：
  • 离线开发的SQL、VerticaSQL、MySQL、OracleSQL、GPSQL节点支持代码的自动缓存，当编辑的代码未保存退出页面，再次打开编辑的页面会出现代码恢复的弹窗，支持展示编辑器中保存的代码以及系统自动保存的代码，支持查看代码的对比，可以选择使用编辑器已保存的代码或自动保存的代码。

3.离线开发节点内支持直接运行代码

• 功能介绍：

  • SQL节点以及MySQL、Oracle SQL等节点在编辑代码时支持立即运行代码，支持点击运行设置进行运行参数配置，包括执行引擎、执行参照时间等。用户可以在编辑页面下方查看执行SQL、执行日志以及结果；支持选中多段SQL语句同时执行。

• 注意事项：

  • 目前暂不支持设置运行参数，默认会使用“其他设置”中添加的参数。

1.注册队列和资源详情中支持查看可用容量区间绝对值信息

• 功能介绍：
  • 对于CS队列，注册队列时，选择完队列标签，支持查看实际最大可用CPU配额和实际最大可用内存配额，原来的最大并行任务数由页面上的设置改为默认配置项。

2.自助分析产品访问权限支持对接安全中心

• 功能介绍：
  • 自助分析的产品访问权限支持在安全中心中设置，如果在产品页面中未勾选自助分析，则对应的角色或成员无自助分析的访问权限；如果产品页面中勾选了自助分析，自助分析的集群访问权限中仅勾选了部分集群，则对应的角色或成员只有勾选集群的访问权限。

3.数据源选择权限优化

• 功能介绍：
  • 离线开发和自助分析选择执行数据源时，由原来的需要同时有数据源的“读”和“写”权限调整为有数据源的“读”或“写”任意一个权限就可以选择。

4.轮询节点的最大时长支持10天

• 功能介绍：
  • 轮询节点的轮询总时长由原来的最大支持1天改为最大支持10天

版本：v7.0.15

1.离线开发支持数据识别节点

• 功能介绍：
  • 离线开发新增数据识别节点，支持对安全中心的数据识别任务进行调度。
• 功能使用步骤：
  • 步骤一：首先在安全中心的数据保护中新建数据识别任务
  • 步骤二：在离线开发的任务节点中增加“数据识别”节点
  • 步骤三：节点详情中，支持选择安全中心的数据识别任务，将会对数据识别任务进行调度。

1.离线开发任务的版本对比中增加数据识别节点的对比

• 功能介绍：
  • 任务的版本对比中支持对比数据识别节点，支持查看节点的新增、删除和修改详情。

UDF Studio

版本：v1.1.0

1.对接安全中心访问控制权限

• 功能介绍：

  • 在安全中心项目组级，产品页面中支持是否开放UDF Studio的产品访问功能，若针对某角色或成员未授权"UDF Studio"的产品页面访问权限，则进入产品后将提示无权限。

• 功能使用注意事项：

  • 需要在安全中心授权产品页面访问权限后，才可以针对UDF Studio再授权其他功能的权限。

2.适用产品支持数据传输

• 功能介绍：

  • 适用产品支持数据传输，可统一管理数据传输产品使用UDF的场景，并可在UDF详情页查看在数据传输任务中的引用详情。

3.支持批量选择函数进行变更

• 功能介绍：

  • 函数列表可批量选择非系统函数进行函数变更操作。

• 功能使用注意事项：

  • 未上线的函数、没有对函数的变更权限、已存在测试态函数、资源未发生变化情况下，不支持函数资源变更；若选中的函数没有被子产品所引用，则变更无需审批；若选中的函数已经被子产品任务所引用，则变更需要项目组管理员、项目组负责人或有审批权限的用户进行审批。

1.资源列表和函数列表增加引用数量

• 功能介绍：

  • 资源列表和函数列表，均增加引用数量字段，不需要具体点击到详情页面也可以大概了解资源或函数有没有被使用。

安全中心

版本：v3.9.9

1.安全中心对接产品访问控制

• 功能介绍

  • 对接产品访问模块的功能权限，有权限的用户/角色可以访问安全中心模块

• 功能使用注意事项

  • 产品访问权限控制功能受ops开关控制，如需开启此功能请联系技术支持

  • 同时对接项目组页面和项目页面访问权限，用户只要有其中一个的权限就能访问安全中心

  • 默认项目组负责人、项目组管理员、项目负责人、项目管理员 永远有安全中心的访问权限，走特判的逻辑

  • 存量用户和角色将预置安全中心访问权限，不影响现有使用逻辑

• 功能详细使用步骤

  • 功能入口：安全中心-角色管理-项目组级/项目级-功能权限

1.数据识别支持ICEBERG表

• 功能介绍：
  • 可针对ICEBERG表配置数据识别任务，识别敏感字段并打标

版本：v3.9.8

1.数据识别任务支持周期调度和实例查看

• 功能介绍

  • 数据识别任务作为特殊节点支持在离线开发任务中引用并配置调度，支持在安全中心识别任务的查看历史执行实例和识别结果

• 功能使用注意事项

  • 数据识别任务若有多个执行实例，则仅最新结果可确认，历史实例的结果仅作为展示

• 功能详细使用步骤

  • a.功能入口：安全中心-数据保护-数据识别 创建数据识别任务，填写任务的基本信息
  • b.功能入口：离线开发 在任务中配置数据识别任务节点，并提交上线设置调度
  • c.功能入口：安全中心-数据保护-数据识别 点击具体识别任务的实例列表，查看某次执行实例的具体识别结果。点击引用详情，可查看识别任务在离线开发任务中的引用情况

1.openapi支持查询数据识别结果

2.权限申请和数据批量授权展示表描述

3.新增项目组内置角色“全部成员”

• 功能介绍
  • “全部成员”为项目组下全部成员的统一集合，如想给项目组下的每个成员授予某个权限，可授予给此角色

4.冻结目录支持 countsummary操作，生效路径支持输入多个路径，用“，”分隔

• 功能介绍

  • 大路径下进行count/du操作可能会造成卡顿，冻结目录条件类型选择路径匹配支持 countsummary操作，配置后指定路径下不可进行count/du操作

数据资产地图

版本：v2.10.0

1.血缘图支持整合BI报告

• 功能介绍：

  • 表血缘图中，如果下游有基于该表生成BI报告，则支持展示下游报告信息，可以点击报告名称跳转查看报告详情页。

• 注意事项：

  • 版本升级后需要运维执行SQL脚本触发推送历史全量的报告血缘数据给元数据中心，执行脚本已附在升级文档中。

• 使用步骤：

  • 点击查看表的数据血缘即可，根据实际是否有报告生成来展示血缘。
    

  • 血缘图中点击报告节点，则右侧会弹框展示报告信息及产出报表，点击报告名称可以新开页面跳转到BI报告详情页。
    

2.支持DM表搜索、详情展示、元数据采集发布流程

• 功能介绍：

  • 支持DM表的元数据采集、治理和发布，并且可在地图搜索和查看DM表。

• 使用步骤：

  • 平台登记了DM数据源后，可以在元数据采集模块创建采集任务，采集的DM表会展示在元数据注册模块中，以便后续对DM表和字段信息进行治理补充。
    

  • 采集后的DM数据会展示在元数据注册列表中，支持对DM表进行治理、发布等。
    

  • 支持在地图首页搜索和查看DM表

1.元数据管理页面性能优化

• 功能介绍：
  • 有用户反馈元数据管理模块的元数据列表页、编辑页、详情页等多个页面打开较慢，本版本通过前后端代码改造优化后，提升了页面性能。

2.元数据下线状态增加编辑操作

• 功能介绍：

  • 之前元数据下线状态不支持编辑，有编辑权限的人需要派发治理工单来完成编辑比较麻烦。故这次优化后，有编辑权限的人，可以直接对下线状态的元数据进行编辑补充信息。

• 使用步骤：

  • 在已经授权元数据编辑的前提下，可以对下线状态的元数据进行编辑。
    

3.导入成功/失败列表展示优化

• 功能介绍：

  • 之前导入后不论成功或者失败均会展示“成功”和“失败”的页签，容易对用户形成干扰。本次优化后，若全部成功则仅展示导入成功的结果列表，若全部失败则仅展示导入失败的结果列表，若部分成功部分失败，则同时展示成功的结果列表和失败的结果列表。

• 使用步骤：

  • 进入元数据注册模块，点击“批量导入”，上传文件后查看导入结果信息即可。

  • 全部导入成功，页面如图：
    

  • 部分导入成功，部分导入失败，页面如图：
    

  • 全部导入失败，页面如图：
    

4.原始字典填写优化

• 功能介绍：

  • 用户在录入字段的原始字典码值时，存在一些交互体验的问题，本次主要是优化体验问题，优化内容包括：

    • 点击“立即解析”后，则校验是否有重复项，并且有操作成功的message提示文案

    • 如果有重复项，则手工删除重复项后，去掉原来的红色警示框

    • 填写表格输入框当鼠标失焦后，需要校验重复项、是否为空

    • 列表中点击“添加”按钮后，自动滚动到最后添加的那一行

    • 文本解析默认展开

    • 清空按钮位置优化，之前用户反馈有歧义，以为是清空文本解析的内容。本次将清空按钮位置挪到表格处，且点击清空按钮后有二次弹框确认“是否确定清空，清空后不可恢复”

• 使用步骤：

  • 进入元数据注册页面，点击某字段的“配置字典值”，即可输入字典内容。
    

5.页面字段展示内容列宽优化

• 功能介绍：
  • 之前元数据详情页某些列内容较多，导致页面需要横向滚动很远，影响用户体验。本次优化后会固定最大列宽，超出则省略，支持鼠标悬浮展示完整信息。

6.数据查询筛选项目时需要和库联动

• 功能介绍：

  • 搜索时当用户选择了某项目后，再选择库时。支持根据已选的项目筛选该项目下的库。

• 使用步骤：

  • 搜索页，支持先选项目，在选择该项目下的库。

7.血缘图表名过长展示优化

• 功能介绍：
  • 之前血缘图中库表名是合并在一行展示，当名称较长时容易看不全。本次优化后将库名和表名分开两行展示，以便尽量展示更长的内容。
    

8.表详情页无字段编辑权限时增加提示文案

• 功能介绍：
  • 查看表详情页时，若没有字段的编辑权限时，需要增加提示文案。
    

数据治理360

版本：v3.0.8

1.对接安全中心的访问功能权限配置

• 功能介绍：

  • 在安全中心项目级，产品页面中支持是否开放治理360的产品访问功能，若针对某角色或成员未授权"数据治理360"的产品页面访问权限，则进入治理360产品后将提示无权限。

• 功能使用注意事项：

  • 需要在安全中心授权产品页面访问权限后，才可以针对治理360再授权其他功能的权限。

2.对外私有化部署支持多集群

• 功能介绍：

  • 通过easyops部署数据治理360，原本仅支持单个集群的数据展示，优化为支持多个集群的数仓内容采集和产品功能展示。

1.小文件治理文案更新

• 功能介绍：
  • 小文件治理，合并最近修改时间xx天之前的数据文案进行更新。

2.hive表详情和生命周期诊断，筛选条件的重置功能优化

• 功能介绍：
  • 对于表文件是否规范和表/分区是否设置生命周期的条件筛选，重置功能不生效的功能优化。

数据质量中心

版本：v3.3.0

1.数据质量中心对接产品访问控制

• 功能介绍

  • 对接产品访问模块的功能权限，有权限的用户/角色可以访问数据质量中心模块

• 功能使用注意事项

  • 产品访问权限控制功能受ops开关控制，如需开启此功能请联系技术支持

  • 同时对接项目组页面和项目页面访问权限，用户只要有其中一个的权限就能访问数据质量中心模块

• 功能详细使用步骤

  • 功能入口：安全中心-角色管理-项目组级/项目级-功能权限

2.质量监控任务支持按照资源目录分类

• 功能介绍

  • 通过引入资源目录来实现对质量监控任务的分类，一个资源目录的子目录可以代表一个业务领域/部门/来源系统的质量校验，资源目录方便用户对质量监控进行批量管理，以主题视角进行管理，而不是零散地配置任务和规则、调度配置等

• 功能使用注意事项

  • 导入导出和通过发布中心发布时，任务的资源目录通过目录编码匹配映射

• 功能详细使用步骤

  • a.入口：配置管理-资源目录配置 支持资源目录配置在质量监控中应用，可新增自定义目录，并选择是否在质量监控启用和必填
  • b.入口：任务列表-质量监控新建/编辑任务 新建/编辑时支持配置任务所属资源目录
  • c.入口：任务列表-质量监控 支持按照资源目录分类

3.质量监控任务支持批量设置调度

• 功能介绍

  • 持选择多个质量监控任务设置统一的调度时间

• 功能使用注意事项

  • 仅同数据源类型可批量设置调度
  • 批量设置调度 仅支持批量设置独立调度而不能与离线开发关联

1.质量监控任务列表支持独立调度的筛选条件

2.报告订阅模板支持订阅今天的统计数据

• 功能介绍：
  • 告订阅模板的数据日期范围可以选择截止到前一天24点的一段数据还是当天数据，若选择当天，覆盖数据范围为 当天 0点 -当天发送时间

3.问题管理模块-点击处理问题/从流协点击去处理，处理方式支持下发会签即加签。工单接收人多选时为会签逻辑，都处理完即为完成

4.openapi支持远程触发质量监控任务运行

数据服务

版本：v1.6.5

1.对接安全中心访问控制权限。

• 功能介绍：

  • 在安全中心的项目级别，数据服务对接访问控制权限，只有赋权访问权限后，才可查看数据服务相关页面。

• 功能使用注意事项：

  • 若没有赋权访问控制权限，直接点击"数据服务"导航栏将提示无权限，在授权API新建、编辑等权限前，需要先赋权数据服务访问权限。

1.数据源引用详情，由项目级别调整为项目组级别

• 功能介绍：

  • 在控制台查看引用详情时，若该数据源被API所使用，由原本只返回当前项目下的引用信息，变更为返回整个项目组下所有项目的引用信息。

发布中心

版本：v1.0.6

1.发布中心支持整个产品页面不可访问

• 功能介绍：
  • 安全中心项目粒度，可控制成员或角色不可访问发布中心。取消访问权限后，用户访问发布中心的任何页面均会提示“抱歉，您无权限访问当前页面”。

控制台

版本：v1.3.4

1.【数据源管理】数据源支持定期测试连接

• 功能介绍：
  • 在项目组配置模块，支持由项目组负责人或项目组管理员在项目组配置-数据源管理-定期测试连接默认配置：新增数据源测试连接策略和定期自动测试连接默认配置。
    新增数据源测试连接策略：指项目组后续新增数据源时，测试连接策略默认为仅手动测试连接还是定期自动测试连接，不针对历史已登记的数据源生效。
    定期自动测试连接默认配置：针对单个数据源设置定期测试连接的测试连接配置和批量设置测试连接策略的测试连接配置的默认值均从此取值。
    
  • 支持针对单个数据源或数据源批量设置测试连接策略。
    
    

1.【数据源管理】新增数据源类型：TDSQL、Vastbase G100、DM、StarRocks支持源系统账号鉴权

2.【数据源管理】Kudu新增版本：1.16.x

• 功能使用注意事项：已登记的数据源版本置为空，会路由至默认驱动，不影响数据源使用。

3.【数据源管理】数据源登记-传值单选类型的自定义项的更新频率支持小时级

4.【数据源管理】数据源引用详情支持展示子产品在项目组下所有项目的引用详情