EasyData-V7.0-Update16

数据传输

版本：v3.14.0

1.【实时】数据来源为MySQL时支持针对来源表结构变更发送报警

• 功能介绍：
  • 实时同步任务数据来源为MySQL时，针对来源表新增字段、删除字段、修改字段三类表结构变更场景，支持配置是否发送报警。此外，针对数据来源为MySQL的任务，支持前往“查看来源表结构变更信息”页面查看表结构变更相关具体信息。
  • 来源表结构变更采集范围：
    • 任务起始位点为全量初始化时，采集任务开始运行后来源表产生的DDL日志信息。
    • 任务执行增量同步时，采集从传输起始位点开始来源表产生的DDL日志信息。
• 功能使用注意事项
  • 如果同一条SQL语句中同时对应于多项DDL变更，目前无法完全准确识别表结构变更。示例：ALTER TABLE ndi.t_rg_source_table_change_strategy_02 modify COLUMN addcolumn_rename VARCHAR(200), modify COLUMN name VARCHAR(300)
• 功能详细使用步骤
  • 数据传输-配置管理-实时同步任务-来源表结构变更策略：支持按照项目粒度配置任务表结构变更的报警接收方式和报警接收人。
    
  • 实时同步任务详情页：支持勾选来源表新增字段、删除字段、修改字段是否需发送报警。
    
  • 实时同步任务-查看来源表结构变更信息页面：支持查看任务的来源表结构变更具体信息。
    
    

2.【实时】支持任务目录管理

• 功能介绍：
  • 实时同步任务模块支持目录的新建、重命名和删除，支持将任务保存在指定目录下，支持按照目录结构展示任务。
• 功能使用注意事项
  • 最多支持新建三级目录。
  • 已创建的历史任务的保存位置默认为“/根目录”，在列表页会展示在“未分组”目录下。如需修改历史任务的保存位置，可通过“批量修改保存位置”来批量修改任务的保存位置。
  • 仅支持由项目负责人、项目管理员新建目录、删除目录和重命名目录。
  • 如目录下存在子目录或任务，则目录不可删除。
  • 实时任务导入时，会判断导入方是否存在导出方任务保存位置对应的目录，如导入方存在该目录的话任务的保存位置保持不变，会继续放在该目录下；如导入方不存在该目录，则自动在接收方先新建目录，再导入任务。

3.【离线】支持读写版本为2.1.x-CDH6.3.x、认证方式为Kerberos认证的Hive数据源

• 功能介绍：
  • 支持读写版本为2.1.x-CDH6.3.x、认证方式为Kerberos认证的Hive数据源
• 功能使用注意事项
  • 仅当用户环境部署Spark3、且已打通平台内置的NDH Hive和该CDH Hive的互信后方可使用此功能。
  • 执行任务时，会使用任务执行账号访问该CDH Hive。

1.【实时】字段映射页面视觉优化

离线开发&自助分析

版本：v7.2.3

1.项目中心-角色管理，角色支持重命名

• 功能介绍：
  • 项目负责人、管理员，或获取项目中心“角色管理”页面权限的成员，可对非系统预制角色进行重命名操作
• 功能详细使用步骤：
  • a.功能入口：项目中心-角色管理，具体非系统预制角色，右键
    
    

2.项目中心-项目信息，支持对项目重新生成项目keytab

• 功能介绍：
  • 该功能仅针对数据平台底座为NDH才支持，且默认不开启，可由运维人员按需开启
    开启后，在项目中心-项目信息中，“kerberos keytab”配置项中，仅项目负责人可查看到“重新生成keytab”按钮，并触发重生生成keytab
    重新生成keytab后，原keytab默认继续生效7天，且可查看具体的principal和失效时间
• 功能详细使用步骤：
  • a.功能入口：项目中心-项目信息，“kerberos keytab”配置项右侧
    

3.新增TiDB节点、OceanBase节点

• 功能介绍：
  • 支持在离线开发中新增TiDB、OceanBase节点，对相应数据源进行SQL代码开发。
• 功能使用注意事项：
  • TiDB、OceanBase节点为外部数据源节点，默认不在画布显示，使用时需要有运维人员开启。

1.达梦节点支持运行存储过程

实时计算

版本：v4.1.0

1.实时流表支持Iceberg。

• 功能介绍：
  • 新增支持Iceberg流表登记、展示和使用。

2.实时任务支持脏数据管理。

• 功能介绍：
  • 为了应对上游（源端）SCHEMA变更，导致下游任务运行异常情况，实时任务目前已支持脏数据管理：
  • 1. 任务出现脏数据时可以配置不挂掉，能够持续运行；
    2. 通过配置合理的管理策略，脏数据能打印到日志，并产生报警；
    3. 能够在运维页面查看脏数据内容；
    4. 能够自定义配置脏数据报警规则（统计周期、脏数据量、报警间隔）。

1.优化Submitter运行时信息更新逻辑，减少binlog数据量。

任务运维中心

版本：v1.9.11

1.新增节点支持修改平均运行时长

• 功能介绍：
  • 原先在任务运维中心仅支持运行成功的节点修改平均运行时长，从而避免因一些异常运行导致基线计算任务的预计完成时间出现预警或破线的情况，打扰到值班人员，此次升级后，任务新增节点无需在线上调度执行，也支持修改平均运行时长，方便运维人员提前避免告警打扰。

2.配合离线开发新增TiDB、OceanBase节点运维操作

• 功能介绍：
  • 离线开发现已支持TiDB、OceanBase节点的代码开发，将节点提交上线进行周期调度后，可在任务运维中心查看相应节点的实例日志、运行情况等信息。

安全中心

版本：v4.0.3

1.风险事件规则

• 功能介绍：
  • 管理员针对数据访问事件的命中规则和命中频率配置风险事件规则，对于每个风险事件规则可以配置报警通道进行报警。

2.风险事件记录

• 功能介绍：
  • 管理针对风险事件进行查看和处理。

数据资产地图

版本：v2.16.0

1.支持表名搜索开启精准匹配

• 功能介绍

  • 之前地图的搜索默认是模糊搜索，有时同一关键字可能搜出较多结果，对用户选择形成干扰。故系统增加是否精准匹配的设置项，可灵活开启，方便精确定位自己想要的数据。

• 使用步骤

  • 在搜索框中可开启或关闭是否精准匹配的功能
    

2.支持展示达梦表血缘

• 功能介绍

  • 离线开发运行达梦节点SQL任务后，支持在地图达梦表详情页查看达梦表血缘信息

• 使用步骤

  • 离线开发运行达梦节点任务，然后在地图查看达梦表详情数据血缘信息即可

3.支持Greenplum表的元数据治理和发布流程

• 功能介绍

  • 元数据采集、治理、发布模块新增支持Greenplum表

• 使用步骤

  • 登记Greenplum数据源后，在具备数据源、采集、治理模块相关功能权限的基础上，创建元数据采集任务采集Greenplum表即可。
    

1.支持字段血缘影响逻辑交互优化

• 功能介绍

  • 之前查看字段血缘时，侧边栏信息较窄看不全，用户体验不好。本次优化后，扩大侧边框宽度，增加影响逻辑统计数和放大框等，提升用户体验。

• 使用步骤

  • 进入Hive表详情页，查看字段血缘即可

数据质量中心

版本：v3.8.1

1.数据质量支持ocenbase-mysql版本：v3.2.4

• 功能介绍：

  • 质量监控：数据源类型-新增oceanbase，新建监控支持oceanbase
    
  • 执行实例：数据源类型-新增oceanbase
    
  • 规则模板：适用数据表类型，新增oceanbase，会有规则适配工作量
    
  • 规则列表：适用数据源类型，新增oceanbase
    
  • 表级质量报告：项目级和项目组级，数据源类型，新增oceanbase
    
  • 报告订阅模板：新增oceanbase-mysql
    
  • 质量大屏：数据源类型新增oceanbase
    

• 功能使用注意事项 ：

  • 无

2.数据质量支持Tidb版本：v6.1.2

• 功能介绍：

  • 质量监控：数据源类型-新增tidb，新建监控支持tidb
    
  • 执行实例：数据源类型-新增tidb
    
  • 规则模板：适用数据表类型，新增tidb，会有规则适配工作量
    
  • 规则列表：适用数据源类型，新增tidb
    
  • 表级质量报告：项目级和项目组级，数据源类型，新增tidb
    
  • 报告订阅模板：
    
  • 质量大屏：数据源类型新增tidb
    

• 功能使用注意事项 ：

  • 无

数据服务

版本：v1.7.1

1.支持熔断策略新建和管理。

• 功能介绍：

  • 策略管理中，增加熔断策略，为了防止在极端情况下某一个API不可用而拖垮整个系统，支持配置熔断策略以保障服务的高可用；

• 功能使用注意事项：

  • 支持配置错误率和慢查询(占比)的熔断类型；
  • 为保证性能，限制单位统计时长和熔断时长不小于5秒；
  • 使用方式同其他策略类型，一个API只能绑定某种策略的其中一个，若原本API已绑定策略，重新选择将覆盖.

2.监控功能合并，即从本版本起，默认打开细粒度监控，不再支持粗粒度监控；

• 功能介绍：

  • 后端优化，监控功能进行合并，仅支持细粒度监控；

• 功能使用注意事项：

  • 新部署当前版本或从之前老版本升级到当前版本，不再支持粗粒度监控，仅支持展示细粒度监控数据；

1.数据服务测试功能支持https协议。

• 功能介绍：

  • 功能增强，测试功能支持https协议。

2.API文档下载内容优化

• 功能介绍：

  • 若API的入参含有函数入参，在下载的API文档中将不展示。

3.编排API调用原子API的超时时间调整

• 功能介绍：

  • 编排API调用原子API的超时时间，由原本的10s调整为60s。

4.API管理列表的交互优化

• 功能介绍：

  • 调整表头展示后，API管理列表的错位展示问题优化。

5.API绑定应用弹窗和下拉框，均支持根据应用名称搜索定位

• 功能介绍：

  • API详情页面，API绑定应用的弹窗，增加根据应用名称搜索的功能；
  • API集市，申请API绑定应用的下拉框，同样增加根据应用名称搜索的功能。

发布中心

版本：1.1.5

1.离线开发任务发布内容支持勾选任务包、调度配置、报警配置

• 功能介绍：
  • 离线开发任务发布内容支持勾选任务包、调度配置、报警配置。
• 功能使用注意事项：
  • 如果接收方任务不存在，不可仅导入调度配置或报警配置。
  • 如果发布方和接收方跨平台且任一平台的发布中心未升级至1.1.5版本，请注意查看以下兼容说明：
    （1）发布模式：在线发布
    当前平台作为发布方：如果接收方平台的发布中心版本低于1.1.5，则在接收方发布离线开发任务时，将忽略发布包发布时离线开发任务勾选的“发布内容”，会将离线开发任务的任务包、调度配置和报警配置一并发布。
    当前平台作为接收方：如果发布方平台的发布中心版本低于1.1.5，发布离线开发任务时，仅支持将离线开发任务的任务包、调度配置和报警配置一并发布。
    （2）发布模式：离线发布
    当前平台作为发布方：如果接收方平台的发布中心版本低于1.1.5，发布离线开发任务时，仅支持将离线开发任务的任务包、调度配置和报警配置一并发布。
    当前平台作为接收方：如果发布方平台的发布中心版本低于1.1.5，此功能可正常使用。

1、离线开发任务“任务负责人”任务检测项逻辑变更

• 变更说明：
  • 发布时会根据发布包发布时“资源负责人设置”和“已有资源负责人保持”的设置，判断接收方对应账号是否存在。此前，如接收方不存在对应账号，会按照先接收方工单审批人（如有）、再按项目负责人的顺序进行兜底设置；此版本改为：如接收方不存在对应账号，则强规则检测不通过，发布到开发/线上模式时发布失败。

2、Hive表“表负责人”任务检测项逻辑变更

• 变更说明：
  • 发布时会根据发布包发布时“资源负责人设置”和“已有资源负责人保持”的设置，判断接收方对应账号是否存在。此前，如接收方不存在对应账号，会按照先接收方工单审批人（如有）、再按项目负责人的顺序进行兜底设置；此版本改为：如接收方不存在对应账号，则强规则检测不通过，发布到开发/线上模式时发布失败。

流程协作与通知中心

版本：v2.4.0

1.支持自动审批

• 功能介绍：
  • 流程设计画布中，审批节点的审批类型新增“自动通过”和“自动终止”。建议用户配合网关节点一起使用，可以实现当流转工单满足某些条件时自动审批通过或审批终止的场景需求。

2.工单支持驳回到指定审批节点

• 功能介绍：
  • 当当前节点非第一个审批节点时，审批操作支持驳回（即第一个审批节点不支持驳回），可以指定驳回到审批链路上的任一节点。

1.老流协跳转入口关闭

• 功能介绍：
  • 目前平台上所有工单审批都已迁移到新流协（flow），老流协入口关闭，不再支持跳转到老流协进行审批操作，原先老流协中未审批结束以及审批异常的工单已自动撤回。

2.切换项目时支持显示项目描述

• 功能介绍：
  • 在流协页面中点击右上角切换项目集群按钮时，支持显示项目描述。

控制台

版本：v1.4.2

1.【数据源管理】Hive版本为：2.1.x-CDH6.3.x时，认证模式新增支持Kerberos认证

• 功能介绍：
  • Hive版本为：2.1.x-CDH6.3.x时，认证模式新增支持Kerberos认证
• 功能使用注意事项
  • HDFS认证方式是Kerberos认证时，如需在离线同步任务使用，请先配置该HDFS集群和平台内置HDFS集群的互信。配置互信后，离线同步任务会使用任务执行账号去访问该HDFS集群，此处无需再上传认证文件。