EasyData-V8.0-Update01

数据传输

版本：v3.15.0

1.【离线+实时+数据导入】实时同步任务和数据导入对接安全中心功能权限，离线同步任务由 安全中心旧版功能权限迁移至新版功能权限

• 功能介绍：
  • 离线同步任务、实时同步任务、数据导入模块的功能权限对接安全中心功能权限。功能权限配置入口在安全中心-安全管理-角色管理-项目级-数据传输。
• 功能使用注意事项
  • 默认仅任务负责人和安全中心授予任务操作权限的用户可操作任务。此外，安全中心可配置是否默认给项目负责人和项目管理员预置任务操作权限。
  • 离线同步任务的功能权限原配置入口在安全中心-安全管理-权限管理-功能权限模块，此次配置入口变更系统会自动迁移权限数据。
  • 各操作的功能权限要求详见数据传输-功能权限整体说明章节。

2.【离线】离线同步任务来源和去向新增数据源类型：Clickzetta

• 功能介绍：
  • 离线同步任务来源和去向新增数据源类型：Clickzetta
• 功能使用注意事项
  • 数据去向为Clickzetta时，由于Clickzetta提供的SDK限制，暂不支持int8字段类型。

3.【实时】实时传输对接安全中心审计日志

1.【离线】Clickhouse作为来源和去向时新增支持22.3版本

2.【离线+实时】数据来源为Kafka时支持指定GroupID是由系统生成还是自定义设置groupid

3.【离线】Hive作为来源和去向时新增支持3.1.0版本、Simple认证

数据标准

版本：v2.1.5

1.模型建字段提供标准字段类型推荐

• 功能介绍
  • 模型设计中心建表时，如果字段有引用数据标准的数据元，则字段类型可自动引用数据元推荐的类型

1.模型引入标准建字段，搜索时过滤掉已废止的标准

• 功能介绍
  • 模型设计中心建表，引用标准数据元建字段时，在搜索数据元时支持过滤掉已废止的标准

指标系统

版本：v2.8.10

1.指标操作历史提供审批工单跳转

• 功能介绍

  • 指标系统新建、编辑指标后会记录操作历史，提供审批工单跳转

• 注意事项

  • 无

1.批量导入功能支持部分导入

• 功能介绍

  • 指标系统批量导入功能提供解析成功部分导入功能

• 注意事项

  • 无

模型设计中心

版本：v1.8.8

1.DWD、DWS、DIM、ADS导入模板，新增调度配置信息

• 功能介绍
  • DWD、DWS、DIM、ADS导入模板中，新增离线加工任务节点调度信息的配置，系统根据解析调度配置来构建任务节点间的依赖关系，从而大大减少人为设置的工作量，达到提效降本的目的

2.模型设计中心，新建GP表后，自动注册至元数据中心

• 功能介绍
  • 模型设计中心新建GP表后，自动触发元数据注册，从而在元数据管理模块可以查看到该表的记录，方便后续对GP表做后续的治理工作

1.支持自动生成ETL代码头部和建表语句

• 功能介绍
  • 系统自动建表的DDL语句，默认增加头部注释信息，注释信息包括创建时间、创建人、表描述、更新时间、更新人等

2.自动生成ETL代码，规范代码逻辑

• 功能介绍
  • 系统自动创建的加工任务SQL代码优化，来源表过滤逻辑用子查询方式实现

3.ODS层支持从源库抓取表结构

• 功能介绍
  • ODS导入模板，用户可自行自定义ODS表结构，也可以不定义ODS表结构，此时系统将自动拉取源库表的表结构信息自动生成ODS表

4.DWD、DWS、DIM、ADS模板细节优化

• 功能介绍
  • 模板中去掉部分冗余列信息，同时优化个别列的展示顺序

版本：v1.8.7

1.导入时新增DWD、DWS、DIM、ADS模板，支持自动创建表和离线加工任务

• 功能介绍
  • 导入时新增DWD、DWS、DIM、ADS模板，该模板可填写DWD、DWS、DIM、ADS表结构信息、离线加工任务信息，导入后系统支持自动创建DWD、DWS、DIM、ADS表、离线加工任务和节点，通过该功能可以简化数据开发人员重复建表和建离线加工任务的工作，达到提效降本的目的。

2.物化引擎支持Hive、Greenplum类型

• 功能介绍

  • 导入时支持物化引擎为Hive、Greenplum类型，最终建表为hive表或者Greenplum表

• 注意事项

  • 目前Hive类型支持4种导入模板，Greenplum类型仅支持2种模板，选择模板时请注意

版本：v1.8.6

1.导入时新增ODS模板，支持自动创建ODS表和数据传输任务

• 功能介绍
  • 导入时新增ODS模板，该模板可填写源库信息、ODS表结构信息、数据传输任务信息，导入后系统支持自动创建ODS表、数据传输任务，通过该功能可以简化数据开发人员重复建表和建传输任务的工作，达到提效降本的目的。

离线开发&自助分析

版本：v7.4.0

1.离线开发任务“同周期依赖”功能扩展

• 功能介绍：
  • 离线开发任务已有的“同周期依赖”，仅针对上下游都是常规调度，且调度周期都是1天，且上下游需要有相同的调度日历和日历生效模式。
  • 当前版本针对“同周期依赖”功能做了扩展，对于新创建的离线开发任务，当前任务的调度设置类型为“常规设置”时，会显示“同周期依赖”开关，且默认为开。切换到其它类型时，自动隐藏。对于新老任务，只要满足后图表格中列举的调度周期依赖场景，都支持同周期依赖。
  • 已有的任务，保持原本的同周期依赖逻辑。提交上线时，系统检测到存在新的满足同周期依赖的场景，则会在检测页面提示：提交上线后上游依赖任务同周期依赖变为生效状态。
  • 在任务调度设置页面，及线上模式下，调度依赖信息中会展示“同周期依赖生效”标记。

2.自助分析选择GaussDB后支持使用“脚本模式”运行SQL

• 功能介绍：
  • 自助分析选择GaussDB数据源后，会在数据源右侧出现“脚本模式”勾选框。勾选后，再运行SQL时，多语句的SQL会作为整体进行编译和提交，可用于存储过程定义等需要同时执行多条SQL的场景。
  • 未选中“脚本模式”时，系统会按照封号切割SQL语句执行，针对存储过程中存在封号的场景，运行会失败。

3.自助分析下载支持项目组级角色审批

• 功能介绍：

  • 自助分析下载结果支持设置项目级审批人员，当前版本新增支持在项目组级别配置审批角色。
  • 当自助分析的结果下载时，系统会获取项目组和项目级配置的审批策略，按照策略优先级进行策略匹配，然后再获取对应审批人员。优先级：安全等级的策略（S4>S3>S2>S1）>下载行数超过上限的策略>所有数据的策略。
    • 举例：项目级仅设置了“安全等级为S3的策略”的审批人，项目组级仅设置了“安全等级为S4的策略”的审批人”，则自助分析下载数据中包含S4等级的数据时，命中“安全等级为S4的审批”，审批人为项目组级人员。

• 功能详细使用步骤：

  • a.功能入口： 项目组负责人或管理员，可通过页面右上角“项目中心（新）”-左下角“项目组配置”-配置管理-自助分析下载强制项目组人员审批控制，进入到项目组粒度审批配置页面。

版本：v7.3.0

1.离线开发任务的开发模式提交上线支持提交全部、仅提交任务包、仅提交调度、仅提交报警4种

• 功能介绍：
  • 提交上线此次新增了针对任务的任务包、调度、报警，单独提交上线的功能。
  • 针对开发模式下，任务包、调度、报警的相关修改，对应的提交按钮上会显示小红点。比如仅修改了报警，则“提交全部”、“提交部分”和“仅提交报警”都会有小红点。

2.离线开发任务的开发模式调度设置和报警设置时同时支持提交上线

• 功能介绍：
  • 调度设置和报警设置时，可以选择保存，或保存并仅提交调度，或保存并提交全部。

3.离线开发任务的提交上线检测页面支持7大类检测

• 功能介绍：
  • 离线开发任务提交上线时，支持7大类检测，包括引用资源的有效性检测、强制开发模式测试检测、节点代码扫描检测、调度设置检测、报警设置检测、通用风险项检测和是否需要走工单审批检测。
  • 提交上线检测结束后，会有提交上线、提交工单或不可提交3种结果。
  • 检测结果中，包含通过、存在风险和未通过3种，如果未通过时，不可提交上线或提交工单；未通过和存在风险时，提交人需要关注对应的提示。

4.离线开发的任务调度设置中新增Quartz Cron调度类型

• 功能介绍：
  • 针对离线开发任务需要月末最后一天调度的场景，原本的常规设置和Crontab调度类型都无法满足，本次新增了Quartz Cron调度类型，支持更丰富的调度周期设置，比如支持月末最后一天调度。

5.离线开发的SQL节点新增Impala执行引擎

• 功能介绍：
  • 如果为NDH底座，且集群中包含Impala集群时，支持SQL节点的“其他设置”中，支持设置Impala执行引擎。
  • 在离线开发设置中，SQL节点默认执行引擎中，增加了Impala选项。

6.离线开发的SQL类型的节点增加快捷操作提醒

• 功能介绍：
  • 节点中一些快捷操作，之前的版本中已经支持，此次增加了这些快捷操作的说明文案。

7.自助分析下载的xls文件支持加水印

• 功能介绍：
  • 自助分析的配置管理中，支持设置自助分析下载内容的水印设置。自助分析的文件下载后，即可加上下载人员和下载时间的水印信息。

1.离线开发的修改历史、版本列表等内容优化

• 功能介绍：
  • 前序版本支持了调度和报警前置，当前版本讲任务开发模式的修改记录和修改历史进行了合并，所有开发模式和线上模式的修改，均会记录到修改历史中。并且，在操作类型和操作内容上都做了内容展示优化。

2.离线开发的GPSQL节点的血缘解析逻辑优化

• 功能介绍：
  • GPSQL节点中，官方语法说明中with语句需要写在insert into之前，但是有客户将with写在insert into和select语句中间，并且执行成功，因此当前版本针对该种场景做了适配，支持该种写法的表血缘。
  • 第二种场景为，使用符号“::”进行转换格式的场景，当前版本也做了语法适配。

版本：v7.2.4

1.离线开发任务python节点新增pyspark执行方式，可在线编写pyspark

• 功能介绍：
  • 原先离线开发运行pyspark需要使用spark节点，在节点中上传jar包。调整代码的时，需要在本地开发、打包、任务中上传文件等操作，比较繁琐。此次在python节点中增加了直接编辑pyspark的方式。

2.离线开发任务SQL节点内增加编辑器快捷键说明

• 功能介绍：
  • 任务内SQL类节点支持诸多快捷键操作，此次增加了快捷键使用的说明

3.质量监控节点支持使用任务的参数组参数

• 功能介绍：
  • 离线开发任务节点配置的质量监控，支持设置“参数透传”，支持将任务的参数组传递给质量监控节点。

4.自助分析支持引擎功能权限控制

• 功能介绍：
  • 自助分析可通过安全中心，控制项目角色或成员是否可在某个项目-集群下使用某个执行引擎

5.任务组任务支持“节点状态还原”

• 功能介绍：
  • 离线开发任务调度设置和报警设置前置后，线上模式节点的调度开启开关不再支持，需要由开发模式对节点右键进行禁用。对于任务组任务（商业化外部客户不支持该类型），原本都在本地维护，且节点不调度的设置方式都是提交任务包后，在线上模式不设置调度开启。调度设置和报警设置前置后，为适配任务组现有的使用场景，增加了“节点状态还原”功能。 使用方式：任务组任务，对于已在线上调度的任务，上传任务包后，点击“节点状态还原”，可将线上模式不调度的节点状态更新到开发模式的节点中，再将任务提交即可实现将线上节点不调度状态和开发模式的保持一致。对于新任务，建议直接在编辑时设置上节点禁用的逻辑。

1.任务修改历史中增加任务运维“修改调度生效时间”的修改记录

• 功能介绍：
  • 任务修改历史中，原本未记录任务运维的“修改调度生效时间”的操作，本版本补充了该类型的操作记录

2.SQL编辑器支持表别名和字段别名提醒

• 功能介绍：
  • 编辑器中，针对查询表或字段设置别名后，在外层语句中支持按照新的别名提示。

3.多节点任务内节点支持直接删除

• 功能介绍：
  • 多节点任务的画布中，如果需要删除某个节点，原先需要先删除节点下方的连线，再删除节点。本次优化为可可直接删除节点，同时会删除节点上下游的连线（如有）。

4.任务开发模式的提交上线小红点逻辑优化

• 功能介绍：
  • 任务增删节点或修改节点内容后保存、资源及配置中修改作业资源、修改资源组、修改参数组、修改数据源、修改调度设置、修改报警设置时，提交上线会出现小红点。

5.任务部分节点为空时支持保存，以及回滚时引用失效时依然支持回滚

• 功能介绍：
  • 离线开发任务的数据识别，原本在拖入画布后，未选择数据识别任务时，不可保存，当前版本改为可以保存。
  • 针对历史任务回滚时，如果引用的资源失效，当前版本也改为支持保存。具体资源类型包括：离线同步节点引用的离线同步任务、数据识别节点引用的数据识别任务、低代码节点存储的对应任务、数据源等。

6.项目中心下载项目keytab时增加安全中心审计日志

• 功能介绍：
  • 用户在项目中心下载keytab时，会进入安全中心的操作审计中。

安全中心

版本：v4.0.6

1.数据溯源

• 功能介绍：
  • 管理员针对中台泄漏的数据文件进行溯源动作。

2.根据血缘设置敏感信息

• 功能介绍：
  • 管理员根据字段的敏感信息和上下游血缘关系快速配置上下游字段敏感信息。

3.【离线+实时+数据导入】实时同步任务和数据导入对接安全中心功能权限，离线同步任务由安全中心旧版功能权限迁移至新版功能权限

• 功能介绍：

  • 离线同步任务、实时同步任务、数据导入模块的功能权限对接安全中心功能权限。功能权限配置入口在安全中心-安全管理-角色管理-项目级-数据传输。
    

• 功能使用注意事项：

  • 默认仅任务负责人和安全中心授予任务操作权限的用户可操作任务。此外，安全中心可配置是否默认给项目负责人和项目管理员预置任务操作权限。
  • 离线同步任务的功能权限原配置入口在安全中心-安全管理-权限管理-功能权限模块，此次配置入口变更系统会自动迁移权限数据。
  • 各操作的功能权限要求详见数据传输-功能权限整体说明章节。

实时计算

版本：v4.3.0

1.【实时开发】JM日志和TM日志支持修改日志级别

• 功能介绍：
  • 目前平台默认都是info级别日志，排查问题时经常需要用到debug日志，平台不支持直接配置日志级别，对于用户使用造成障碍。由此，此版本支持修改JM日志和TM日志的日志级别为INFO级别或DEBUG级别，方便排查问题。
• 功能使用注意事项
  • 支持修改整个JM的日志级别为INFO级别或DEBUG级别。支持修改TM的指定container的日志级别为INFO级别或DEBUG级别。
  • 修改日志级别仅针对本次运行生效，日志将以修改后日志级别输出，不影响已输出的日志。
  • 日志级别为DEBUG，会打印DEBUG、INFO、WARN、ERROR级别的日志；日志级别为INFO，只会打印INFO、WARN、ERROR级别的日志。
  • DEBUG日志的开启会对作业性能造成少许影响。如果您没有定位问题的必要，建议将日志级别设置为INFO。

2.【实时开发】Jar包任务文件支持文件管理中的文件

• 功能介绍：
  • Jar包任务文件支持文件管理中的文件

1.【实时开发】支持配置开启cp、sp清理机制

• 功能介绍：
  • 支持通过EasyOps运维配置开启cp、sp清理机制。
  • 开启时，支持配置清理时间间隔和任务的最小cp/sp数。

版本：v4.2.0

1.【实时开发】SQL任务支持任务模板

• 功能介绍：
  • 内置任务模板，包含滚动窗口聚合、累计窗口聚合等16种模板
  • 创建SQL任务时，支持基于任务模板创建任务
  • 编辑SQL任务时，支持引用代码模板

1.【实时开发】Jar任务main args参数支持配置是否换行展示

2.【实时运维】任务运行记录支持展示任务运行结束记录

3.【实时开发】流表数据源类型为Kafka时，Topic名称由仅可手动输入改为可选择或输入

任务运维中心

版本：v1.11.0

1.支持实例紧急去除依赖

• 功能介绍：
  • 若任务A被下游任务B依赖，A的某个实例出现运行失败等异常情况一直未成功，且B不强依赖A的结果，而B又因业务原因需要按时产出，此时可以对B的A依赖进行紧急去除。需注意，若任务或节点已在运行中或是已运行结束，则不支持去除依赖。需要有“终止、冻结和重跑实例”权限才可以对实例进行去除依赖操作。

数据资产地图

版本：v2.17.0

1.元数据采集发生表变更支持配置是否覆盖的策略

• 功能介绍

  • 之前元数据采集后，默认不会更新数据库中的物理信息。但是有用户反馈数据库中表结构变更后希望下次采集元数据时可以选择是否同步更新。基于此背景，产品新增元数据采集表结构变更是否覆盖的策略，变更内容包括新增字段、删除字段、字段类型变更、表备注和字段备注更新等

• 使用步骤

  • 在元数据采集模块，设置相应的覆盖策略即可

• 注意事项

  • 无

2.支持在血缘图中可查看字段脱敏信息、敏感类型、安全等级

• 功能介绍

  • 字段血缘图之前仅展示上下游字段间的血缘关系，本次新增字段属性的展示，可以按需在字段血缘图中展示上下游字段的敏感信息、脱敏规则、安全等级

• 使用步骤

  • 查看字段血缘模块，点击勾选敏感信息、脱敏规则、安全等级的属性即可

• 注意事项

  • 无

3.Hive表详情页支持查看数据探查内容

• 功能介绍

  • Hive表详情页新增数据探查的模块，可以查看表的探查记录，包括总记录数、去重记录数、主键字段、枚举字段值分布、各字段最大最小值、null值数和占比等

• 使用步骤

  • 查看Hive表详情，点击数据探查的模块即可

• 注意事项

  • 仅Hive表支持查看数据探查内容
  • 数据探查内容需要先在数据质量中心创建过形态探查任务后，才会展示探查结果
  • 仅表所在项目的项目成员和有表读权限的人，才可查看探查内容，避免存在数据安全问题

4.适配oceanbase for MySQL/Oracle 离线开发血缘

• 功能介绍

  • 在平台离线开发运行过的oceanbase sql节点任务后，可在oceanbase表详情页查看表血缘信息

• 注意事项

  • 无

5.支持API搜索和查看

• 功能介绍

  • 支持在地图首页搜索API

• 注意事项

  • 仅支持搜索API市场中已发布的API

1.字段列表、数据预览展示的脱敏规则和敏感信息优化

• 功能介绍

  • 在字段列表和数据预览的页面，增加展示字段的敏感类型、脱敏规则信息

• 使用步骤

  • 查看字段列表和数据预览的页面即可

• 注意事项

  • 无

2.下线状态的元数据支持批量编辑

• 功能介绍
  • 元数据注册列表，之前下线状态的元数据只能单个编辑，本次增加了批量编辑的功能

3.数据预览时支持展示“字段描述”

• 功能介绍
  • 数据预览的表头交互优化，并增加展示字段描述信息

4.没有hms编辑权限时，新增OPS配置来禁止修改hive表的技术负责人、表描述、字段描述

• 功能介绍
  • 在部分客户环境中，不支持项目账号更新集群的HMS信息，导致Hive相关信息无法修改，故针对这种情况增加配置功能，一旦出现不支持修改Hive相关信息时则禁用相关操作并提示用户。涉及修改的内容主要是Hive表技术负责人、表描述、字段描述信息

5.网易内部环境增加数据探查功能的埋点，对接哈勃

• 功能介绍
  • 网易内部环境针对部分功能增加产品埋点，以便统计用户使用情况，本次新增的埋点是统计数据探查报告的使用情况，外部客户环境暂不支持对接哈勃，故不支持埋点

数据服务

版本：v1.8.0

1.注册API-添加请求参数的参数位置支持选择HEADER

• 功能介绍
  • 注册API-添加请求参数的参数位置支持选择HEADER

1.OpenAPI功能增强

• 功能介绍
  • 详见数据服务OpenAPI手册

2.提供接口，用于数据资产地图API搜索和展示

发布中心

版本：v1.2.0

1.发布中心存储对接对象存储

• 功能介绍：
  • 发布中心需要存储发布包，此前仅支持以平台内置HDFS作为存储介质，此版本支持以对象存储作为存储介质。

1.发布策略-映射配置-队列映射支持配置Impala队列映射

• 功能介绍：
  • 发布策略-映射配置-队列映射支持配置Impala队列映射

2.发布策略的“接收工单自动审批”值为“是”时，实现方案优化

• 功能介绍：
  • 发布策略的“接收工单自动审批”值为“是”，此前的实现方案是：流程协作与通知中心不创建发布包发布工单，发布中心默认审批通过执行发布操作，此版本将实现方案优化为：流程协作与通知中心会创建创建发布包发布工单并自动审批通过。

流程协作与通知中心

版本：v2.5.0

1.新增事件管理并接入安全中心审批规则

• 功能介绍：
  • 流程设计模块中，新增事件管理，目前已接入安全中心库表申请事件，用户可以使用流程画布自定义审批流程，通过网关节点实现工单在符合不同条件时走不同的审批流转分支，并在事件管理中关联相应模板。在关联模版时，需要选择模板的生效范围，包括全部、项目组和项目三种不同粒度。

2.流程画布支持自动布局

• 功能介绍：
  • 流程设计画布中，支持一键自动布局，帮助流程编辑人员提高绘制流程效率。

3.网关节点分支条件参数类型支持选择子产品内置参数

• 功能介绍：
  • 当流程模板归属子产品选择安全中心时，网关节点分支条件支持选择安全中心的内置参数类型，包括主题域、安全等级、安全接口人等。

1.网关节点支持查看所有分支条件并设置执行顺序

• 功能介绍：
  • 当网关节点关联分支条件较多时，可以直接点击网关节点，以列表形式查看所有分支条件并支持以拖拽的方式调整分支条件展示顺序。实际工单流转过程中，会按照分支条件展示的顺序依次遍历，当遍历到符合的第一个分支条件时，工单就会对应流转。

控制台

版本：v1.6.0

1.【首页】首页产品全景图不再展示数据测试中心

• 功能介绍：
  • 由于数据测试中心功能已迁移至数据质量中心，后续数据测试中心不可再新建任务，故首页的产品全景图中不再展示数据测试中心

2.【数据源登记】新增Clickzetta数据源

• 功能介绍：
  • 新增Clickzetta数据源，可在数据传输-离线同步任务中使用

1.【数据源登记】RocketMQ支持ACL认证

• 功能介绍：
  • RocketMQ支持ACL认证，可在实时开发SQL任务-DDL方式和meta方式中使用

2.【数据源登记】Kafka版本为2.6.3、Kerberos认证支持测试连接

3.【数据源登记】HBase新增版本：2.1，支持Kerberos认证

4.【数据源登记】Kudu新增版本：1.10，支持Kerberos认证

5.【数据源登记】Hive新增版本：3.1.0，支持Simple认证

• 功能介绍：
  • Hive新增版本：3.1.0，支持Simple认证，可在离线同步任务中使用

6.调度日历功能改为对所有用户默认开启