EasyData-V8.0-Update09

控制台

版本：v1.13.0

1.【项目中心（新）】新增“资源运维”模块，支持查看Yarn队列的资源使用情况并设置报警，以及支持针对队列下的实例进行终止和资源诊断

• 功能介绍
  • “资源运维”为项目粒度的产品模块，tab栏选择集群后支持展示该项目-集群的Yarn队列列表，查看各队列的内存/CPU配额和使用率，并支持对队列的内存使用率、CPU使用率、排队中作业数设置报警。
  • 队列详情页，支持查看指定时间范围的运行中实例列表和队列资源监控，并支持终止实例，以及查看MR、Spark、SQL（执行引擎为Spark或Hive）节点的资源诊断。
  • 资源诊断页，支持查看节点下各application的资源使用情况和诊断结果，针对Spark类节点支持提供内存参数调优建议。
  • 权限说明：仅项目负责人/项目管理员支持设置报警，仅有实例的终止权限的用户支持终止实例，其余查看类型的操作项目内任意成员均可操作。

2.【数据源登记】新增数据源类型：S3

• 功能介绍 新增数据源类型：S3，用于数据传输读写

3.【数据源登记】支持批量移交数据源负责人和数据源管理员

• 功能介绍
  • 权限说明：仅当用户有数据源的编辑权限（数据源负责人、数据源管理员、项目组负责人、项目组管理员有编辑权限）时，才可批量移交数据源负责人和数据源管理员。
  • 移交内容支持选择负责人和管理员。
  • 新数据源负责人支持选择项目组成员。设置新数据源负责人后，选中的数据源的负责人均移交至该成员。
  • 新数据源管理员支持选择被移交人和接收对象。数据源的管理员如包含被转交人，会将被转交人改为接收对象，其余管理员保持不变；如接收对象为空，则仅从数据源管理员中删除被移交人。

1.【首页】产品模块名称由“模型设计中心”更名为“维度建模”。

版本：v1.12.0

1.【数据源登记】GaussDB新增版本：5.1(OpenGauss)

• 功能介绍：
  • 版本为5.1(OpenGauss)，格式为：jdbc:opengauss://ServerIP:Port/Database，若存在多个ServerIP:Port以,相连
  • 版本为8.1(GaussDB)，格式为：jdbc:postgresql://ServerIP:Port/Database，若存在多个ServerIP:Port以“,”相连

数据传输

版本：v3.21.0

1.【离线】来源和去向新增支持S3数据源类型

• 功能介绍：
  • 来源为S3时，支持结构化方式读取S3的txt、csv、excel、parquet文件；去向为S3时，支持向S3结构化写入text、csv、excel、json、parquet文件。

2.【实时】数据去向支持Paimon

• 功能介绍：
  • 数据去向支持Paimon，支持选择内置集群下归属于当前项目的Paimon表和公开给当前项目的Paimon表。此外，权限控制上，仅支持选择当前用户有写权限的Paimon表。
  • 写入规则上，如Paimon表有主键则写入规则为Change-log，如Paimon表无主键则写入规则为Append-only。

1.【离线】来源为PostgreSQL时支持SQL模式

数据标准

版本：v2.2.2

1.安全中心授权数据元、标准字典、原始字典时，目录交互优化

• 功能介绍

  • 之前授权页面目录列表都是打平平铺的，展示不友好，本次优化后在授权时可以按照目录层级逐层查看子目录和资源

2.数据元、标准字典、原始字典在新建/编辑/展示时过滤掉没有权限的目录

• 功能介绍

  • 之前数据元、标准字典、原始字典在新建或编辑时可以挂到任意目录下，本次优化后仅能挂到有权限的目录下

3.数据元导入增加关联项格式校验的报错文案

• 功能介绍

  • 之前数据元导入时没有校验关联项格式导致报错难以理解，本次增加格式校验后能够友好地检测并提醒用户格式是否正确

4.标准字段类型增加string

• 功能介绍

  • 标准字段类型之前没有string，本次增加string

5.数据元新建/编辑页支持搜索值域标准字典

• 功能介绍

  • 数据元新建或编辑时，当值域为标准字典时，选择标准字典处本次增加搜索字典的功能

6.数据元分类支持按目录授权

• 功能介绍

  • 之前数据元分类的功能仅支持整体授权，本次优化后支持选中指定的数据元分类进行授权，用户只能对部分有授权的数据元分类进行操作

7.数据元、标准字典、原始字典支持按照指定目录范围进行授权

• 功能介绍

  • 之前数据元、标准字典、原始字典只能整体授权，本次优化后可以对指定目录范围内的数据元、标准字典、原始字典进行授权

指标平台

版本：v2.5.0

1. 指标平台首页改版；
2. 指标支持归因分析；
3. 指标平台支持批量创建来源于指标系统的指标；
4. 指标支持跨环境导入导出；

1. 指标平台前往BI分析或表格分析时，创建的报告/表格不会自动保存为草稿，用户可自由选择是否需要保存；

版本：v2.4.0

1. 指标平台支持创建来源于指标系统的指标，且指标信息融合打通；

1. 指标目录支持批量选中编辑；
2. 计算指标表达式必须包含聚合才能保存；
3. 原子指标支持维度聚合；
4. 模型分区信息可配置查询范围；
5. 指标支持查看查询SQL；

维度建模（原模型设计中心）

版本：v1.9.5

1.建表页面支持标准检测

• 功能介绍

  • 模型建表时，在字段设计页面中，对于没有关联数据元的字段会进行中英文检测推荐可引用的数据元，对于已引用数据元的字段会检测字段相关信息是否和数据元保持一致。

• 操作步骤

  • 进入建表的字段设计页面，点击”标准检测“后，系统会自动检测并提供检测结果供用户确认。

2.模型导入支持配置是否自动检测并关联标准

• 功能介绍

  • 模型导入时，若选择的导入模板是”批量建表（单sheet）“和”批量建表（多sheet）“，支持用户选择是否开启标准检测和关联，默认不开启，一旦开启后导入成功的表会自动检测字段匹配的数据元并进行关联。

• 注意事项

  • ”批量建表&数据传输任务（ODS层）“和”批量建表&离线开发任务（DWD、DWS、DIM、ADS）“两个模板暂不支持自动检测并关联数据元。

1.模型相关工单泡泡通知中，将“项目组id”统一都改为“项目组名称”

• 功能介绍

  • 之前模型相关工单通知文案中显示了项目组id信息，用户看不懂，本次优化后将项目组id改为项目组名称

2.“模型设计中心”改名为“维度建模”

• 功能介绍

  • “模型设计中心”改名为“维度建模”

关系建模

版本：v1.0.3

1.安全中心授权模型时，模型目录交互优化

• 功能介绍

  • 之前安全中心授权模型时，目录是平铺展示，体验不友好，本次优化后目录支持按照层级展示，且可逐层下钻

2.选择同步模型范围时，模型目录交互优化且过滤掉没有权限的目录

• 功能介绍

  • 之前同步DDM模型到中台时，展示DDM中全量的模型目录，本次优化后仅展示当前用户有权限的模型目录

3.数语对接适配ddm6.0.03

• 功能介绍

  • 纯底层版本适配，用户侧无需关注

离线开发&自助分析

版本：v7.11.0

1.离线开发支持拉取git上的任务

• 功能介绍：
  • 离线开发任务在“离线开发配置”中，支持配置“集成git”，实现任务提交上线时，将任务推送至git；
  • 目前版本，支持从推送的git，或者另行配置拉取git仓库地址，支持从git上按照任务标识/任务名称匹配方式，拉取节点代码，目前支持拉取SQL、Shell、Perl、逻辑数据源节点的代码。

2.离线开发的分钟调度支持设置可执行的小时范围

• 功能介绍：
  • 调度周期为1-60分钟时，新增支持指定生效的分钟时间范围，比如09:30-15:30，没10分钟执行1次；
  • 该设置下，可同时叠加调度日历； -设置规则如下：用‘,’表示多个范围、用‘-’表示开始和结束时间。比如输入：08:00,15:00-16:00，调度生效时间设置：2024-01-01 08:00，调度周期为30分钟，则08:00、15:00、15:30、16:00这4个时刻，任务会执行。

3.离线开发新增DB2、SQLServer节点

• 功能介绍：
  • 离线开发新增DB2和SQLServer节点，支持通过该节点直连DB2和SQLSerever数据源进行操作。
  • 此类节点默认不可见和不可用，如需使用，涉及商务场景，可联系售前。

4.离线开发的轮询节点新增DB2、SQLServer节点，及前端页面改造

• 功能介绍：
  • 轮询节点，新增支持DB2、SQLServer数据源类型，使用前提是离线开发已启用DB2、SQLServer节点；
  • 轮询节点前端页面优化，支持直接执行，支持和任务内其它节点一起，在顶部进行tab切换。

5.离线开发的小时调度当天全部的实例支持依赖上游当天的那个实例

• 功能介绍：
  • 任务的调度设置类型为“常规设置”时，支持设置“同周期依赖”，原先仅支持开启和关闭，当前版本对“同周期依赖”进行功能，支持3种设置：“按上游周期生效”、“按小周期生效”、“不生效”；
  • 按上游周期生效：针对上下游不同周期时，按照被依赖上游任务的周期单位进行同周期判断。设置为该项，则比如下游是1小时调度周期，上游是1天调度周期，则当天1小时调度的所有实例均依赖1天调度当天的那个实例；比如下游是1天调度周期，上游是1月调度周期，则当月1天调度的所有实例均依赖1月调度当月的那个实例；该设置即为原本同周期依赖打开的效果。
  • 按小周期生效：针对上下游不同周期时，按照当前任务和被依赖上游任务中周期较小者进行同周期判断。设置为该项，则比如下游是3小时调度周期，每小时的05分调度（假设00:05为首次），上游是1天调度周期，每天的03:10调度，此时同周期按照同1个小时判断，3小时调度的实例中，当天00:05的依赖1天调度前一天的03:10实例，当天03:05及之后的实例均依赖1天调度当天03:10实例。再比如下游是1天调度周期，每天03:05调度，上游是1月调度周期，每月3号03:10调度，此时同周期按照同1天判断依赖，1天调度的实例中，当月1号03:05、2号03:05均依赖1月调度前一天的03:10实例，当月3号03:05及之后的实例均依赖1月调度当月3号03:10实例；
  • 不生效：表示不开启同周期依赖，按照下游实例寻找上游最近一个实例的默认依赖；
  • 更多关于同周期的说明和案例，请参见用户手册对应章节。

6.离线开发任务中有下游的节点删除或禁用时，支持记录查看“自动解除依赖的下游”

• 功能介绍：
  • 离线开发任务的开发模式下，存在下游依赖的节点被删除和禁用时，在修改历史中会记录下游的依赖快照。

7.离线开发的任务版本比对支持快捷切换有差异的节点

• 功能介绍：
  • 版本比对的节点信息，支持任务双击，查看节点信息，在查看弹框汇总，支持快速切换查看新增、修改、删除、无差异的节点。

8.自助分析的执行数据源支持权限控制

• 功能介绍：
  • 自助分析Query中，支持选择数据源，包括默认类型和部分逻辑数据源。当前版本新增支持在安全中心通过权限控制，控制角色和成员查看的数据源类型范围。

9.自助分析的代码扫描支持“alter”关键字

• 功能介绍：
  • 针对代码扫描，新增了“使用“alter”关键字”的规则。

10.项目的存储配额报警支持不同配额设置不同报警

• 功能介绍： -针对项目所在集群下，存储资源减少时，支持配置在小于某个水位时进行报警；
  • 目前，支持最多启用3个规则，每个规则可独立配置触发规则、接受人、接收方式。

1.项目中心-资源管理中针对CS（容量调度）的集群支持显示实际最大可用的核数和内存

• 功能介绍：
  • 针对CS（容量调度）的集群，当前版本优化了展示，调整显示为最大可用CPU配额和内存配额。

2.自助分析对负责人和管理员的部分权限由默认支持改为走安全中心权限控制

• 功能介绍：
  • 自助分析目前大部分功能已经对接安全中心的权限，对于这部分功能权限，项目负责人和管理员默认都具有；
  • 当前版本，取消了这个默认逻辑，将权限统一到安全中心；
  • 权限包括：页面访问权限、个人和项目级共享Query的“复制结果、分享、下载”权限、项目级共享Query的“新建、查看、编辑、运行、复制结果”等权限、数据源选择并执行权限权限、执行引擎使用权限。

3.自助分析在队列、引擎失效时的提醒优化

• 功能介绍：
  • 针对已有Query执行时，如果已配置的队列或引擎失效，支持提醒。

1.离线开发的未上线任务不可查看修改历史问题修复

• 功能介绍：
  • 修复未提交上线的离线开发任务不支持查看修改历史的问题

任务运维中心

版本：v1.17.0

1.任务调度信息展示中分钟调度支持展示生效分钟数据

• 功能介绍：
  • 离线开发调度设置中，针对1-60分钟调度的分钟调度，支持设置生效分钟，任务运维中心对此做了适配。

2.任务节点支持展示DB2和SQLServer节点

• 功能介绍：
  • 离线开发新增支持了DB2和SQLServer节点，任务运维的查看节点进行了展示适配。

3.轮询节点支持显示所选数据源名称的类型

4.任务血缘中同周期依赖内容展示调整

• 功能介绍：
  • 离线开发调度设置中，针对同周期依赖，由开关改为单选配置项，包括“按上游周期生效”、“按小周期生效”、“不生效”，任务运维处做了适配。

实时开发

版本：v4.8.0

1.【实时开发】流表新增数据源类型：Paimon，引擎版本支持Flink1.18

• 功能介绍：
  • 流表新增数据源类型：Paimon，引擎版本支持Flink1.18，支持作为源表、维表、目标表

2.【实时开发】流表新增数据源类型：Hive，引擎版本支持Flink1.14、1.18

• 功能介绍：
  • 流表新增数据源类型：Hive，引擎版本支持Flink1.14、1.18，支持作为源表、维表、目标表

3.【实时开发+实时运维】报警的个人报警接收人支持选择值班组

• 功能介绍：
  • 由于值班组的配置入口是在任务运维中心，故仅当客户环境部署任务运维中心时，才支持选择值班组。
  • 个人报警接受人由单选改为多选，支持同时向报警人、报警组、值班组发送报警。
  • 在设置报警中选择值班组后，支持选择是否启用值班组的主备通知分级策略。如不启用，则仅向值班组的主值班人发送报警；如启用，在报警间隔时间点持续触发报警时，系统按照所选策略，会依次发送给对应顺序的人。当在实时运维-任务报警记录页开启响应报警开关后，任务发送报警时仅会发送给响应人，响应报警到期后，下一次再向值班组发送报警时，会按照值班组配置的”主备通知分级策略”发送给第一级通知人。示例：选择“主-备”，首次发送报警时间是00:00，报警间隔为5分钟，且固定报警间隔检测时任务均满足报警规则。若在00:10前未开启报警抑制或关闭报警功能，则00:05发送报警时会发送给备值班人员，00:10发送报警时会发送给主值班人员。后续若一直未开启报警抑制或关闭报警功能，则循环上面的报警。若在00:07开启响应报警开关并设置响应时间为10分钟，则00:10和00:15发送报警时会发送给响应人，由于00:17响应报警已到期，00:20发送报警时会发送给主值班人。期间，如开启报警抑制或关闭报警功能，则不再发送报警。
  • 在实时运维-任务详情页-报警记录页，支持开启或关闭响应报警开关，默认关闭。响应报警开关打开期间，任务发送报警时仅会发送给响应人；响应报警到期后，下一次再向值班组发送报警时，需要安排值班组配置的”主备通知分级策略”发送给第一级通知人。

安全中心

版本：v4.1.3

1.权限到期通知支持用户配置

• 功能介绍：
  • 支持根据到期时间来配置不同的报警通道，例如还剩30天到期邮件通知，还剩1天到期则转为电话通知。
  • 支持开启基于任务调度的通知方式，开启之后如果任务调度使用的账号权限到期将会通知任务的负责人。

数据资产地图

版本：v2.19.6

1.标签适配超级租户

• 功能介绍

  • 支持超级项目组用户搜索并查看所有项目组已发布的标签，并展示标签的全局统计信息。

• 详细操作步骤

  • 平台管理模块中给某个项目组设置为超级项目组后，该超级项目组的成员进入地图首页，就能看到全局所有项目组已发布的标签资产。

2.数据服务API适配超级租户

• 功能介绍

  • 支持超级项目组用户搜索并查看所有项目组已发布的API，并展示API的全局统计信息。

• 详细操作步骤

  • 平台管理中给某个项目组设置为超级项目组后，该超级项目组的成员进入地图首页，就能看到全局所有项目组的数据服务API。

3.支持展示PostgreSQL表血缘

• 功能介绍

  • 数据资产地图的PostgreSQL表详情页面支持展示数据表血缘。

• 详细操作步骤

  • 用户从数据资产地图进入PostgreSQL表详情页面，可以查看PostgreSQL的表血缘。

4.数据传输批量创建的ODS表支持自动注册到元数据

• 功能介绍

  • 在数据传输模块批量建表以后，支持在元数据管理中自动注册元数据。是否自动注册元数据可以在配置管理中设置。

• 详细操作步骤

  • 默认项配置页面增加“元数据注册来源配置”，支持用户根据需求勾选，选择元数据管理、维度建模、关系建模、数据传输模块的建表行为是否触发元数据自动注册。

  • 用户可以在安全中心模块管理“元数据来源设置”的权限。

• 注意事项

  • 元数据来源设置页面中，元数据管理、维度建模、关系建模三个选项默认置灰已勾选。

5.报表类型的血缘节点增加展示报表浏览量

• 功能介绍

  • 数据血缘图中，针对报表类型的血缘节点，支持从有数BI获取并展示报表近7天浏览量、累计浏览量。

• 详细操作步骤

  • 用户进入数据血缘，鼠标hover报表类型血缘节点，支持显示报表浏览量信息。

  • 用户点击报表类型的血缘节点，支持在节点信息中显示报表浏览量信息。

6.数据血缘节点增加展示表的相关信息

• 功能介绍

  • 数据血缘图中，表类型的血缘节点支持展示表的“最近更新开始时间”、“最近更新结束时间”、“任务运行时长”信息。

• 详细操作步骤

  • 用户进入数据血缘点击表类型的血缘节点，节点信息新增“最近更新开始时间”、“最近更新结束时间”、“任务运行时长”三个字段。

  • 用户鼠标hover表类型的血缘节点，展示“最近更新开始时间”、“最近更新结束时间”、“任务运行时长”三个字段，支持点击“刷新”按钮拉取字段信息。

• 注意事项

  • 本次只有表类型血缘节点增加这3个信息，手工血缘和其他类型节点暂不支持展示该字段信息。

1.表详情的数据探查页面，新增快捷执行探查任务的入口

• 功能介绍

  • 之前查看表时，如果要运行该表的数据探查任务，需要用户自己前往数据质量中心相关模块找到任务后再运行，本次优化后用户在有权限的情况下直接点击运行，系统自动跳转并定位到该任务的运行页面，减少用户操作

2.字段血缘取消勾选的时候可以固定在当前位置

• 功能介绍

  • 之前在“字段血缘”中，勾选/取消勾选节点中的字段后会自动滚动到节点字段列表的最上方。本次优化后，用户勾选/取消勾选字段后滚动条将固定在页面当前位置。

3.页面内数据资产卡片的展示UI美化

• 功能介绍

  • 本次优化后，对数据查询、资产目录页面的数据资产卡片控件，进行了UI展示效果的美化。

数据服务

版本：v1.12.0

1.注册API支持超时时间为180s

• 功能介绍
  • 在注册API类型下，支持填写超时时间由原本的60s增大到180s。

2.提供指标中台数据服务API接口需求

• 功能介绍
  • 配合指标中台首页功能，可展示通过指标生成的API相关信息。

3.数据服务API适配超级租户

• 功能介绍
  • 配合数据资产地图功能，在超级租户的用户视角下，适配超级租户，包括首页统计、搜索、我收藏、浏览和订阅等场景。

1.批量修改保存位置时，需要校验用户是否有编辑权限，当有编辑权限时，支持对API批量修改保存位置。