EasyData-V8.0-Update07

数据传输

版本：3.20.0

1.【离线】在离线开发支持新建、编辑、提交、删除离线同步任务

• 功能介绍：

  • 此前，离线同步任务的使用流程为在数据传输-离线同步任务新建、编辑和提交任务，并在离线开发-离线同步节点中选择节点引用的离线同步任务。离线开发任务线上模式引用传输线上模式的任务配置，离线开发任务开发模式引用传输开发模式的任务配置。此模式带来的问题是：1、操作链路长：离线同步节点需要在传输侧新建和提交，操作繁琐；2、容易出事故：新建任务时，如漏提交离线同步任务，离线开发任务线上调度时会报错；3、无法复用离线开发的提交上线卡点：修改传输任务后，传输侧提交即可针对下一次调度生效，无需前往离线开发提交离线开发任务，不受提交上线卡点管控。由此，此版本进行了整体使用流程的优化。
  • 支持在离线同步节点新建和编辑离线同步任务，保存离线开发任务时触发保存离线同步任务。同时，仍保留数据传输侧的新建、批量新建、编辑任务的入口。
  • 离线同步任务提交的入口由数据传输侧移至离线开发，不再需要在数据传输提交上线任务。离线开发任务提交上线任务包时，会同步将引用的离线同步任务也提交上线。
  • 删除离线开发任务时，支持选择是否一并删除引用的离线同步任务。同时，仍保留数据传输侧的删除任务的入口。

• 功能使用注意事项：

  • 如果同一离线同步任务被多个离线开发任务，保存任务：任一离线开发任务保存，引用的离线同步任务即会保存。
  • 如果同一离线同步任务被多个离线开发任务，提交任务：任一离线开发任务提交上线，引用的离线同步任务即会提交上线。同时，会给其余离线开发任务负责人发送通知，提醒任务线上模式发生变更。
  • 如果同一离线同步任务被多个离线开发任务，删除任务：删除离线开发任务时，不支持删除引用的离线同步任务。仅当离线同步任务未被离线开发任务引用时，方可删除离线同步任务。

2.【离线】数据来源新增数据源类型：WebService

• 功能介绍：
  • 数据来源新增数据源类型：WebService

3.【离线】数据来源为Hive和StarRocks时，支持根据安全中心数据识别结果自动推荐来源表字段和脱敏规则

• 功能介绍：
  • 数据来源为Hive和StarRocks时，点击“自动推荐”按钮，会在数据脱敏配置中自动添加安全中心数据识别结果中识别的来源表敏感字段和脱敏规则。
  • 如数据识别结果中仅包含敏感字段、敏感类型，未确认脱敏规则，则会从安全中心脱敏规则列表中自动推荐该敏感类型对应的脱敏规则，如同一敏感类型存在多个脱敏规则则取引用数最多的脱敏规则。
  • 如数据识别结果中仅包含敏感字段，未确认敏感类型和脱敏规则，则仅在脱敏配置中自动添加敏感字段，脱敏规则由用户手动选择。
  • 页面形式批量新建任务-数据脱敏中，支持基于单个来源表自动推荐，支持批量自动推荐。

1.【离线】数据去向为PostgreSQL时，新增写入规则：On conflict key update

• 功能介绍：
  • On conflict key update的写入规则，指遇更新键冲突，更新原记录，未映射字段值不变。
  • 更新键支持多选，建议选择主键或区分度较大的字段作为更新键。
  • 仅当版本>9.5时，该写入规则可用。

2.【离线】PostgreSQL作为来源和去向新增支持版本：12.8

3.【离线】Greenplum作为来源和去向新增支持版本：6.16

4.【离线】去向为Doris和StarRocks时，写入规则新增支持：Merge、Delete

• 功能介绍：
  • 导入方式为stream load时：如写入规则为Merge，会删除满足删除条件的原记录，追加不满足删除条件的记录；如写入规则为Delete，会删除与导入数据 key 列值相同的原记录。
  • 导入方式为borker load时：如写入规则为Merge，会删除表中满足删除条件的原记录，追加写入其余记录；如写入规则为Delete，本次导入的所有数据皆为删除数据。注意：仅当表类型为Unique Key 模型表，可以选择Merge和Delete。

5.【离线】来源和去向为clickhouse时，适配认证方式为SSL认证的Clickhouse数据源

6.【离线】来源为API时，字段解析功能不过滤空字段

7.【离线】页面形式批量新建任务，数据来源新增支持Clickhouse数据源

8.【离线】来源为clickhouse时，适配SQL模式

9.【离线】发布中心“参数组引用”和“Hive表检测“的检测逻辑优化

• 功能介绍：
  • 如任务引用的参数组在接收方不存在时，会再检测发布包内是否存在该参数组，如发布包中也不存在则强规则检测不通过。
  • 如任务引用的Hive表在接收方查询时，发现接收方存在同名库、不存在同名表、需要新建，会再检测发布方的发布包内是否存在同名Hive库表，如发布包中也不存在则则弱规则检测不通过。

控制台

版本：1.11.0

1.平台项目组级别支持集群管理

• 功能说明：

  • 新增当前项目组下所有项目的已开通集群合集的页面。若集群下有配置Presto集群，支持进入查看配置的Presto集群列表。若Presto集群中有多种数据源类型，且需要在离线开发、自助分析等产品使用，为获得这些外部数据源的表血缘数据源，需要在Presto集群中配置catalog和平台具体数据源的映射关系。在SQL中使用三元组操作库表时，系统可基于此处的配置，将Presto集群的catalog和本平台的数据源的catalog进行替换，从而识别并记录血缘数据。

2.【数据源登记】数据源类型新增：WebService

• 功能说明：
  • 数据源类型新增WebService，用于数据传输。

3.【平台管理】平台级别支持集群管理

• 功能说明：
  • 新增当前平台下所有已开通集群合集的页面。若集群下有配置Spark引擎，支持进入查看配置的Spark引擎列表。若Spark引擎版本为3.3，支持在引擎下针对表格式登记Catalog。离线传输基于Spark引擎使用三元组读写对应表格式的数据时，将使用此处登记的该Spark引擎该表格式的Catalog。
  • 同一集群下，Catalog名称不可重复。同一Spark引擎下，针对某一表格式仅支持登记一个Catalog。

1.【数据源登记】数据源类型为Clickhouse时，认证方式支持SSL认证

• 功能说明：
  • 历史数据源的认证方式默认为无认证，不影响历史数据源。

数据标准

版本：v2.2.1

1.创建人默认有对应词根的所有操作权限

• 功能介绍

  • 之前词根权限要权限才可操作，对应创建人来说不方便，本次优化后创建人默认有自己创建的词根所有操作权限，包括查看、删除、编辑等

2.提供标准引用检测接口

• 功能介绍

  • 提供接口用于模型设计中心批量进行字段标准检测

3.提供根据标识批量获取已发布数据元接口

• 功能介绍

  • 提供接口用于模型设计中心获取已发布数据元，进行字段核标用途

1.数据元、标准字典和原始字典引用处增加表中文名称、字段中文名称

• 功能介绍

  • 数据元、标准字典和原始字典引用详情列表，增加两列字段分别是表中文名称、字段中文名称

2.标准工单通知文案优化

• 功能介绍

  • 标准工单通知里原来展示的是项目组id，本次优化后改为展示项目组名称，用户理解更方便

3.标准无权限页面提示文案优化

• 功能介绍

  • 当没有相关页面权限时，能提示无权限，方便用户理解

指标系统

版本：v2.8.11.1.1

1.修复已知BUG。

指标平台

版本：v2.3.1

1. 创建模型时：支持同一张表的自关联，关联字段支持选择「时间」字段；
2. 指标定义的优化：原子指标和计算指标均支持数据筛选；

版本：v2.3.0

1. 指标平台支持创建指标树进行目标管理；
2. 指标平台实现了和有数BI-数据表格的对接，指标血缘节点下游增加数据表格展示；

版本：v2.2.2

1. 支持新建指标API，可通过api查询指标的上下游血缘关系与同环比数据；
2. 物化指标支持基于模型的依赖调度；

1. 优化指标跳转BI分析的权限功能；
2. 模型右侧指标列表显示指标状态；
3. 指标血缘图展示优化；
4. 支持按照指标目录粒度配置权限；

关系建模

版本：v1.0.2

1.表物化支持PostgreSQL类型

• 功能介绍

  • 模型表物化时，支持物化引擎类型为PostgreSQL

• 详细操作步骤

  • 点击进入「模型列表-模型详情-表」页面，选择需要物化的PostgreSQL表即可

2.支持全部L1列表、批量导入导出L1

• 功能介绍

  • 支持查看全部的L1主题域分组列表，并且增加导入导出操作

• 注意事项

  • 有权限的人员才可以导入导出

3.支持全部L2列表、批量导入导出L2

• 功能介绍

  • 支持查看全部的L2主题域列表，并且增加导入导出操作

• 注意事项

  • 有权限的人员才可以导入导出

4.新增业务对象配置模板，支持设置数据owner部门、数据owner、数据管家、业务来源系统名称

• 功能介绍

  • 新增业务对象模板配置的功能，支持设置各字段是否必填、是否启用、移动顺序、设置枚举值域列表等，方便用户灵活设置业务对象的表单内容

• 注意事项

  • 有权限的人员才可配置业务对象配置信息，权限可在安全中心授权

1.表列表支持展示已删除的标识

• 功能介绍

  • 在查看逻辑实体关联的表列表、模型物化的表列表时，对于已删除的表增加”已删除“的标识

2.L1-L2默认查看的tab优化

• 功能介绍

  • L1主题域分组详情页和L2主题域详情页，优化默认展示的Tab页。L1主题域分组详情页默认展示子主题列表，L2主题域详情页默认展示业务对象列表

3.模型物化支持Hive外表类型

• 功能介绍

  • Hive表物化时可以执行外表ddl

离线开发&自助分析

版本：v7.10.0

1.离线开发&自助分析新增StarRocks、Doris数据源的代码扫描支持

• 功能介绍：
  • 新增2种数据源类型，支持在离线开发提交上线时，扫描StarRocks、Doris节点的代码，进行阻断提交和提醒等功能，支持在自助分析执行时，进行阻断执行和提醒等功能。

2.离线开发&自助分析适配轻量化（去Hadoop）

• 功能介绍：
  • 平台私有化部署时，支持不部署Hadoop相关组件，可支持基于StarRocks、Doris等数据源作为大数据开发的数据来源的轻量化部署方案，离线开发&自助分析等进行了页面去Hadoop元素适配。

3.离线开发质量监控支持“自动重试策略”

• 功能介绍：
  • “自动重试策略”指当前质量监控的强规则检测结果为“异常”（节点会失败），所属节点或任务有配置自动重试时，自动重试的生效策略。支持设置为立即失效活继续生效。立即失效：指节点停止重试，将节点状态置为失败；继续生效：指节点会继续重试，直到节点运行成功或达到重试次数。
  • 使用场景说明：一种场景是，期望质量监控失败后，节点即使有自动重试，也期望节点立即失败，另一种场景是，期望通过质量监控失败，来实现上游数据等待的功能，因此期望质量监控失败后，节点继续进行重试。

4.离线开发针对已提交上线锁定的任务支持刷新功能

• 功能介绍：
  • 离线开发任务支持提交上线时走工单审批，工单审批通过后，任务列表不会自动刷新，此次新增了鼠标移动到任务上，显示刷新图标，右键菜单中也增加了“刷新”按钮，支持刷新被锁定的任务。如果工单已被审批通过，则刷新后，会解锁该任务。

1.已开通离线开发任务提交上线自动提交git的场景下，修复了“调度设置中保存并提交调度”、“报警设置中保存并提交报警”不会触发git提交的问题

任务运维中心

版本：v1.16.0

1.任务运维适配轻量化（去Hadoop）

• 功能介绍：
  • 平台私有化部署时，支持不部署Hadoop相关组件，可支持基于StarRocks、Doris等数据源作为大数据开发的数据来源的轻量化部署方案，任务运维等进行了页面去Hadoop元素适配。

1.任务运维在重跑、补数据等选择Yarn队列、Impala队列时增加了顶部提示语

• 功能介绍：
  • Yarn队列和Impala队列支持“适用场景”设置，针对任务运维队列选择时，顶部增加了“仅展示当前场景可用的队列”的提醒，避免因用户产生发现项目下存在队列，但是队列下拉列表中不显示的疑问。

实时开发

版本：v4.7.0

1.【实时开发】实时开发任务、流表、实时开发文件对接发布中心

• 功能介绍：
  • 发布中心支持发布实时开发任务、流表、实时开发文件。
  • 实时开发任务（含SQL任务、Jar任务）：支持发布当前项目-集群下已提交上线的任务。支持通过发布中心发布到开发模式和线上模式
  • 流表：支持发布本项目-集群流表和归属于本项目-集群的公共流表。流表不区分开发模式和线上模式，在发布中心选择发布到开发模式时，会由“无模式资源类型执行发布”是否勾选流表决定是否发布流表；在发布中心选择发布到线上模式时，默认会发布流表。
  • 实时开发任务：支持发布当前项目-集群下的文件。文件不区分开发模式和线上模式，在发布中心选择发布到开发模式时，会由“无模式资源类型执行发布”是否勾选文件决定是否发布文件；在发布中心选择发布到线上模式时，默认会发布文件。
  • 同一发布包执行发布时，资源发布顺序为：参数组->Hive表->实时开发文件->流表->质量监控任务->离线同步任务->数据服务API->离线开发任务->实时开发任务

UDF Studio

版本：v1.1.5.3

1.tomcat漏洞修复。

安全中心

版本：v4.1.2

1.数据识别支持配置分区规则

• 功能介绍：
  • 数据识别任务对于全库进行扫描时可以配置分区规则指定每张表需要扫描的分区。

2.新增对TDH的支持

• 功能介绍：
  • 在底座是TDH环境时可以实现权限申请和权限的生命周期等权限管理功能。

数据资产地图

版本：v2.19.5

1.血缘变更通知结果记录

• 功能介绍

  • 表血缘发送血缘变更通知后，支持用户查看通知历史和通知结果。

• 详细操作步骤

  • 进入表详情-表血缘的【发送通知】抽屉页面，点击右上角的“查看历史通知记录”按钮，支持查看通知历史和通知结果。

2.元数据治理、发布、搜索、表详情等支持PostgreSQL

• 功能介绍

  • 数据资产地图新增适配PostgreSQL表，具体功能包括：

    • 元数据采集、注册、治理、发布流程支持PostgreSQL表

    • 元数据导入导出支持PostgreSQL表

    • 地图首页、表搜索、表详情支持PostgreSQL表

    • 资产目录、数据专辑、默认项配置支持PostgreSQL表

    • 我收藏、浏览、订阅的表支持PostgreSQL表

• 详细操作步骤

  • 进入数据资产地图可搜索查看PostgreSQL表

3.支持Hudi表搜索、表详情、表血缘

• 功能介绍

  • 数据资产地图支持Hudi表，具体功能包括：

    • 元数据采集、注册、治理、发布流程适配Hudi表

    • 地图首页、表搜索、表详情、表血缘支持Hudi表

    • 资产目录、数据专辑、默认项配置支持Hudi表

    • 我收藏、浏览、订阅的表适配Hudi表

• 详细操作步骤

  • 进入数据资产地图可搜索查看Hudi表

• 注意事项

  • Hudi表详情页面支持功能与现有Hive表基本保持一致

4.支持嵌入部分地图页面到门户中

• 功能介绍

  • 根据杭银理财客户需求，支持将数据资产地图部分页面嵌入企业内部的数据门户中。

1.超级租户下，我收藏/浏览/订阅的表支持展示所有项目组下的Hive表

• 功能介绍

  • 本次优化后，针对超级项目组用户，在我收藏/浏览/订阅的页面中，支持展示所有项目组下的Hive表，并显示该表所属的项目组和集群信息。

2.首页共享资产一级目录增加数据统计

• 功能介绍

  • 本次优化后，地图首页资产目录导航一级目录增加数据统计，具体功能包括：

    • 针对超级项目组用户，资产目录导航一级目录支持表数量统计。

    • 针对普通项目组用户，共享资产的一级目录支持表数量统计。

• 注意事项

  • 资产目录导航的表数量统计每6小时刷新一次。

3.启用规则&并发运行任务数&执行记录条数的上限做成可配置

• 功能介绍

  • 之前元数据填充规则功能，启用规则&并发运行任务数&执行记录条数的上限都固定为10条。本次优化后，启用规则&并发运行任务数&执行记录条数支持用户在后台自定义配置阈值。

4.元数据注册模板增加L1-L3

• 功能介绍

  • 元数据注册模板配置中，对于表的系统内置项新增了3个字段分别是L1主题域分组、L2主题域、L3业务对象。在新建或编辑元数据时，可根据【关联的逻辑实体】字段的内容自动填充这三个字段的信息。

  • 在元数据导入导出的excel模板中，对应新增了L1主题域分组、L2主题域、L3业务对象这3个字段。

• 注意事项

  • 如果用户没有部署【关系建模】产品，则不显示上述新增的L1-L3这3个字段。

5.资产目录中只能查看已上线且有查看权限的业务对象

• 功能介绍

  • 之前资产目录的业务对象页面，展示了【关系建模】中所有已上线的业务对象。本次优化加入了鉴权功能，用户仅能在资产目录中查看已上线且当前用户具有查看权限的业务对象。

• 注意事项

  • 如果用户没有部署关系建模，则资产目录不显示业务对象Tab

6.首页搜索侧边筛选项中支持展示项目描述

• 功能介绍

  • 之前地图首页的数据查询页面，侧边筛选栏中【项目】下拉框的选项格式为：项目名称(表数量统计)。本次优化后，支持在项目筛选时增加“项目描述”，选项格式调整为：项目名称(项目描述)(表数量统计)。

数据治理360

版本：v3.2.1

1.tomcat漏洞修复。

数据质量中心

版本：v3.8.6.1

1.修复已知BUG。

数据服务

版本：v1.11.0

1.API类型为新建API且数据源类型为Hive时，查询引擎适配Inceptor引擎和Presto引擎

• 功能介绍
  • 仅当客户环境部署Inceptor引擎/Presto引擎时，查询引擎才会展示并支持选择对应引擎。

2.API类型为注册API时，支持填写API path

• 功能介绍
  • 注册API场景下，部分客户会存在大量url相同仅路径不同的API需要在数据服务注册API。此前，登记API数据源时会要求用户登记url+路径，进而会需要用户注册大量API数据源。由此，此版本在API类型为注册API时，支持填写API path。优化后，用户仅需在登记API数据源时填写url，在数据服务注册API时登记API具体的路径，实现API数据源的复用。
  • API path为选填项，如不填时会使用API数据源登记处填写的url，故不影响历史API的使用。

3.API类型为注册API、请求方式为POST时，Body支持脚本模式

• 功能介绍
  • API类型为注册API、请求方式为POST时，Body支持选择采用表单模式或脚本模式，以支持嵌套类型的Body参数。
  • 历史API均默认为表单模式，不影响历史API的使用

1.Doris适配2.1版本

1.发布中心发布API时，如API类型为新建API且数据源类型为Hive，支持使用发布策略的平台内置数据源映射，解决API发布后配置信息清空的问题。

版本：v1.10.0

1.新增“指标API”

• 功能介绍
  • API类型新增“指标API"，仅当客户环境部署指标平台时此功能可用。

发布中心

版本：v1.5.0

1.新增资源类型，支持发布实时开发任务、流表、实时开发文件

• 功能介绍：
  • 新增资源类型，支持发布实时开发任务、流表、实时开发文件。
• 功能使用注意事项
  • 实时开发任务（含SQL任务、Jar任务）：支持发布当前项目-集群下已提交上线的任务。支持通过发布中心发布到开发模式和线上模式
  • 流表：支持发布本项目-集群流表和归属于本项目-集群的公共流表。流表不区分开发模式和线上模式，在发布中心选择发布到开发模式时，会由“无模式资源类型执行发布”是否勾选流表决定是否发布流表；在发布中心选择发布到线上模式时，默认会发布流表。
  • 实时开发任务：支持发布当前项目-集群下的文件。文件不区分开发模式和线上模式，在发布中心选择发布到开发模式时，会由“无模式资源类型执行发布”是否勾选文件决定是否发布文件；在发布中心选择发布到线上模式时，默认会发布文件。
  • 同一发布包执行发布时，资源发布顺序为：参数组->Hive表->实时开发文件->流表->质量监控任务->离线同步任务->数据服务API->离线开发任务->实时开发任务

标签画像

版本：v3.7.2.6.1

1.tomcat漏洞修复。