EasyData-V7.0-Update07

数据传输

版本：v3.7.0

1.【离线同步任务】离线同步任务对接发布中心

• 功能介绍：离线同步任务支持对接发布中心实现跨环境发布。
• 功能使用注意事项：
  • 项目-集群下所有离线同步任务均可通过发布中心发布至接收方的开发模式/线上模式。
  • 数据源、Hive库、参数组已对接发布中心的数据源映射/Hive库映射/参数组映射。如发布方任务使用的数据源、Hive库、参数组在发布中心已配置映射策略，则根据映射策略替换为接收方的数据源、Hive库、参数组，如此时接收方相应资源已被删除则任务检测不通过；如发布中心未配置映射策略则按照同名映射的规则替换为接收方的数据源、Hive库、参数组，如此时接收方不存在同名的资源则任务检测不通过。
  • 如发布方任务引用了脱敏规则，按照同名映射的规则替换为接收方的脱敏规则，如此时接收方不存在同名的脱敏规则则任务检测不通过。
  • 实际在接收方执行导入时，Hive库的替换逻辑为：优先按配置的接收方参数组的参数替换（如有），再按照Hive库映射配置的Hive库映射到的接收方库替换（如有），最后按照原始的发布方库。

2.【实时同步任务】数据去向新增支持Kudu数据源

• 功能介绍：
  • 实时同步任务去向新增支持Kudu数据源。

3.【实时同步任务】数据去向新增支持Kafka数据源

• 功能介绍：
  • 实时同步任务去向新增支持Kafka数据源。

4.【数据导入】数据导入配置支持复用

• 功能介绍：
  • 此前，每次用户如需导入本地数据，需要完成如下步骤：上传文件、选择数据去向并配置字段映射。在周期性上传的场景中，每次重新配置任务操作较为麻烦，故此版本实现数据导入配置支持复用：支持编辑已有的导入配置、支持基于已有的导入配置上传新文件和查看导入记录。

1.【实时同步任务】数据来源为Kafka时新增序列化格式：ogg-json、maxwell-json

2.【离线同步任务】支持配置日志打印信息，并丰富日志打印内容

• 功能介绍：
  • 数据传输-配置管理模块支持配置日志打印信息：打印内容和打印间隔。打印内容中，如勾选传输行数、传输速率、传输耗时，则所有离线同步任务日志中均打印勾选项；如勾选传输百分比，则离线同步任务数据来源为关系型数据库时打印传输百分比。
  • 日志打印任务基本信息和任务执行配置：作业基本信息含项目、集群、运行账号，任务执行配置以json的序列化格式进行打印，含reader、writer等信息。
  • 日志打印任务细化的执行步骤：
    1）来源是关系型数据库，执行步骤依次为：“开始切分来源端数据（切分键：xxxx，并发度：xxxx）”、“来源端数据切分完成（切分键：xxxx，并发度：xxxx）”、“开始读取来源端数据“、”来源端数据读取完成“；注意：如果来源未开启并发读取，则不展示切分的执行步骤。
    2）去向是关系型数据库，执行步骤依次为“开始执行去向端PreSql，PreSql：xxxxx”、“去向端PreSql执行完成，PreSql：”、“开始向去向端写入数据”、“去向端数据写入完成”、“开始执行去向端PostSql，PostSql：xxxxx”、“去向端PostSql执行完成，PostSql：”。

3.【数据导入】数据去向为Hive时支持快速创建Hive表。

4.【离线同步任务】数据脱敏功能增强：支持使用基于自定义udf的脱敏规则、扫描时支持选择扫描执行队列

5.【实时同步任务】去向为Hive、Iceberg、Arctic时根据字段内容动态分区支持使用函数

6.【离线同步任务】ES读取优化：复杂字段类型设置支持用户选择读取模式：读取为string类型或系统推断字段类型

7.【离线同步任务】并发读取的切分键支持搜索，Hover显示完整展示字段名称

数据标准

版本：v2.1.0

1.数据标准和质量引用的标准更新联动

• 功能介绍：在标准字段修改发版后，引用了该标准的下游会做对应的联动处理，DQC会根据标准的变化列出需要调整的任务列表，由用户选择是否更新

2.支持数据标准信息填充给到元数据上

• 功能介绍：用户在数据标准中维护了数据元的信息，在元数据注册中字段关联了数据元后，相关信息能够自动填充，减少二次维护成本以及不一致问题

版本：v2.0.0.3

1.修复数据地图查看标准字典码值失败的问题；

指标系统

版本：v2.8.4

1.OpenAPI新增

• 功能介绍：新增指标血缘查询OpenAPI，新增指标创建、变更、下线、指标域查询OPENAP

版本：v2.8.3.2

1.修复对接BI时，指标详情页报表信息无法获取的问题

模型设计中心

版本：v1.8.2.4

1.修复模型设计主题关联表时，报数据源找不到问题

版本：v1.8.2.3

1.修复批量设置扩展属性失败的问题

离线开发

版本：v7.0.13

1.离线开发任务支持对比开发模式与线上模式的SQL代码

• 功能介绍：
  • 支持对开发模式和线上模式的任务进行对比，支持对比节点SQL代码、节点上游以及节点的禁用情况。版本对比页面中展示任务的基本属性以及节点信息。对比结果中支持查看新增、删除、修改节点的个数。对于新增和删除的节点，支持查看节点详情；对于修改的节点，支持查看节点的对比，当前暂时支持节点SQL代码、节点上游以及节点禁用情况的对比。

2.离线开发支持代码搜索

• 功能介绍：
  • 支持对离线开发中所有的节点和任务进行全局的SQL代码搜索。在代码搜索页面，支持输入sql代码，进行搜索，搜索范围为离线开发中当前用户有权限的任务。搜索时支持设置筛选条件，包括节点类型、任务状态、任务模式、任务负责人、任务创建人、任务提交人、任务最近修改时间。

3.自助分析支持代码扫描

• 功能介绍：
  • 自助分析执行时支持进行代码扫描，包含代码规范类、代码性能类、代码质量类、其他。支持设置代码扫描规则是否启用，并支持设置强规则或弱规则。开启强规则时，在执行Query时会进行提醒，并阻断执行Query过程；弱规则，在执行Query时仅作提醒，不阻断执行Query过程。

4.支持项目级别的调度日历

• 功能介绍：
  • 增加项目级别的调度日历，支持添加日历仅给当前项目使用。
• 权限说明:
  • 添加权限：项目负责人、管理员、安全中心授权的项目内普通用户；注意：仅授予该用户在授权项目内的登记权限，未授予该用户在项目组内其他项目的添加权限。
  • 编辑权限：项目负责人、管理员、安全中心授权的项目内普通用户。

1.自助分析运行结果支持选中时显示背景色

• 功能介绍：
  • 自助分析运行结果支持选中时显示背景色,方便用户定位结果。

版本：v7.0.12

1.参数组支持批量导入导出

• 功能介绍：
  • 参数组支持从一个项目组-集群批量导出，并支持批量导入至另一个项目组-集群。

1.参数组支持正确性校验

• 功能介绍：
  • 参数组保存前支持校验参数组格式是否正确，并支持查看参数值的结果。支持配置是否强制保存前测试，开启时，如果测试失败，则不能保存；未开启时，如果测试失败，支持保存。

2.注册Yarn队列时支持选择适用场景

• 功能介绍：
  • 注册Yarn队列时，支持选择队列在离线计算场景下使用或在实时计算场景下使用。

任务运维中心

版本：v1.8.8

1.新增任务诊断功能

• 功能介绍：
  • 新增任务诊断的单独模块，支持调度依赖诊断（原血缘诊断）与Spark性能诊断。支持将任务加入诊断白名单，加入诊断白名单后的任务将不会出现在异常任务列表中；在任务详情页面可以查看诊断详细信息。
• 注意事项：
  • Spark性能诊断，需要用户部署easyeagle 2.x版本才可使用。

1.补数据支持发送报警给报警组

• 功能介绍：
  • 用户创建补数据任务时，可以在通知设置中选择接收人为报警组。

2.基线支持配置触发条件

• 功能介绍：
  • 基线编辑页面支持配置触发条件，触发条件包括预警、预计破线、已破线、关联实例运行失败、关联实例运行变慢。

UDF Studio

版本：v1.0.8

1.导航栏支持项目描述

• 功能介绍：

  • 新增对项目描述的支持，当该项目有描述信息时，鼠标悬浮将可查看项目描述内容；且在筛选下拉时可以看到描述

2.引用详情支持离线开发任务线上模式和数据服务API跳转

• 功能介绍：

  • UDF引用详情中，若被离线开发线上任务引用或数据服务API引用，支持跳转到任务运维详情页面和API详情页面

1.函数曾引用的资源被删除后的交互优化

• 功能介绍：

  • 函数引用资源，将函数下线后，资源进行了删除，此时编辑/直接上线函数后提示资源不存在，且编辑函数时会默认清空资源字段，但会保留其他字段填写的内容。

2.用户未加入项目和项目组访问UDF Studio后的页面提示优化

• 功能介绍：

  • 用户未加入项目也未加入项目组，通过链接形式访问UDF Studio，统一使用提示页面，支持点击申请加入项目的按钮。

3.UDF类名检测逻辑优化，解决并发报错问题

安全中心

版本：v3.9.6.2

1.识别任务结果和结果汇总页面，编辑时支持取消脱敏规则

2.数据分类对接功能权限

• 功能介绍： 数据分类对接安全中心-角色管理-功能权限

• 功能使用注意事项

  • 有项目组级别的数据分类页面访问权限，即可查看所有项目的关联表数据

  • 有项目级别的数据分类页面访问权限，即可查看所有项目的关联表数据

  • 有项目组的数据分类编辑权限，所有操作均可点，包括数据分类的增删改、分类下关联物理表等

  • 有项目级别的数据分类编辑权限，仅能在分类下管理本项目的物理表

  • 支持数据传输使用自定义udf脱敏规则

  • 支持项目组角色成员增删改查openapi

数据治理360

版本：v3.0.6

1.存储分析，生命周期诊断，分区数据保留功能扩展

• 功能介绍：

  • 在生命周期诊断模块，对分区表设置生命周期，若开启了分区数据保留功能，支持根据分区修改时间或按照模板匹配分区名称。

2.小文件治理，目录列表支持下载

• 功能介绍：

  • 小文件治理，目录列表，支持csv和txt文件下载，仅下载当前页面的数据。

数据质量中心

版本：v3.1.0

1.数据质量对接发布中心

• 功能介绍：

数据质量监控任务支持对接发布中心实现跨环境发布，发布中心选择发布到开发模式的质量监控任务默认为开发模式。

• 功能使用注意事项

  • 发布中心选择发布到开发模式的质量监控任务默认为开发模式；

  • 没有线上态的开发态质量监控任务，提交上线后删除开发态任务，taskId沿用开发态的；

  • 有线上态的开发态任务，提交上线后覆盖原线上态任务，删除开发态任务，原线上态任务taskid不变；

  • 存在开发态的线上态质量监控任务不支持编辑，需先编辑开发态任务再提交上线；

  • 数据质量对接发布中心支持使用发布中心配置的数据源映射、hive库映射及队列映射；

  • 开发态的质量监控任务不支持设置独立调度-

2.问题管理支持从执行实例创建问题

• 功能介绍：

线上调度、运行结果为异常的实例支持 发起问题提报和关联问题详情。点击问题提报跳转至问题管理-问题提报新建态、问题自动填入基础信息和关联质量监控信息。

• 功能使用注意事项

问题提报受安全中心-角色管理-项目组级功能权限-问题提报功能权限管控

• 功能详细使用步骤

  • 功能入口：执行实例

  • 监控结果为异常的执行实例，支持点击问题提报，一键跳转到问题管理页面。

  • 已经关联问题的问题提报，支持点击关联问题详情查看关联的问题列表。

3.数据标准更新时标准推荐规则支持更新

• 功能介绍：

系统每天上午9点定时检测标准推荐规则是否与数据标准（发布态）最新质量稽核要求匹配，不匹配时支持批量更新

• 功能使用注意事项

  • 普通用户展示监控负责人为自己的待更新\待删除\带新建规则，项目管理员/负责人展示全部规则

  • 每天早上9点自动检测一次数据标准推荐规则与数据标准最新质量稽核要求不匹配，如需立即检测请点击右上角立即检测按钮

• 功能详细使用步骤

  • 功能入口：监控列表

  • 右上角展示按钮”一键更新标准推荐规则“，点击弹出待更新规则清单

  • 区分待更新、待删除及待新建三个tab，待更新和待删除页面勾选规则并点击批量更新/删除规则，可实现批量更新/删除。带新建页面，点击规则的去新建按钮可跳转至规则的新建页面

4.质量监控任务支持配置非分区过滤条件

• 功能介绍：

监控任务监控对象支持配置非分区过滤条件

1.自定义规则规则代码增加提示文案和校验，结尾不支持输入中英文分号

2.试跑和设置调度弹窗选择队列资源内容为0时不展示资源

数据服务

版本：v1.6.4

1.支持日志分析功能

• 功能介绍：

  • 新增日志分析功能模块，可查看最近3个月的API调用记录。

• 功能使用注意事项：

  • 日志分析功能模块默认不可见，需在安全中心-角色管理的项目级别，针对数据服务"模块"中选择日志分析，授权可见；
  • 日志分析模块默认保留最近3个月的调用记录，可查看基础信息、调用内容和返回内容。

2.Hive数据源类型，支持选择公开给当前项目下的库表创建API

• 功能介绍：

  • 在安全中心数据权限管理中，可将当前项目下的hive库表公开给其他项目使用，数据服务通过Hive创建API时，支持选择公开给当前项目的其他项目的库表创建API。

3.标签画像API，排序参数列表增加字段名称显示

• 功能介绍：

  • 创建标签画像API时，排序参数列表增加字段名称，标明排序参数绑定的真实字段名称内容。

1.功能权限和操作审计功能优化

• 功能介绍：

  • 操作审计中增加下载和测试的事件审计。

2.服务编排结束节点，参数名称校验规则优化

• 功能介绍：

  • 服务编排的结束节点，参数名称校验规则优化，保持和原子API的返回参数规则一致.

3.资源组创建时，若资源组名称在easydata下重名的提示内容优化

• 功能介绍：

  • 在整个easydata环境下，资源组名称不可重复，创建资源组时，若名称重复给出提示内容。

4.针对API和应用的流控策略优化

• 功能介绍：

  • 针对API和应用的调用次数限制，增加提示说明，且后端向上取整，优化限流次数。

流程协作与通知中心

版本：v2.3.9

1.打开会签/或签功能

• 功能介绍
  • 会签：审批对象数量大于1人时，所有的审批对象都要参与审批，工单才会继续向下执行
  • 或签：审批对象数量大于1人时，只需要其中1人参与审批，工单会继续向下执行

2.质量中心接入流协

• 功能介绍
  • 新增质量中心2个默认模板：质量工单默认验收流程和质量工单默认处理流程

3.支持用户自定义模板

• 功能介绍
  • 支持用户自定义模板，并在质量中心登记问题实现问题和流程的绑定

发布中心

版本：1.0.5

1.发布实例包详情页资源增加“最近一次发布状态”展示和筛选

• 功能介绍：
  • 发布实例包展示可发布的资源，增加显示资源的状态展示和筛选，包括：成功、失败、发布中、未发布过，方便操作者查看和过滤对应的资源。

1.资源列表的发布池改为显示快照信息

• 变更说明：
  • 发布池的资源在之前的版本中，采用查看时获取最新信息的策略，针对发布池资源过多时，会导致加载较慢的问题，因此此次改为展示快照信息。
  • 系统会每天定时进行最新信息刷新，同时页面页提供了即时同步资源信息的功能。

版本：1.0.4

1.支持发布数据质量中心的“质量监控任务”

• 功能介绍：
  • 当前版本支持选择质量监控的“质量监控任务”并打包发布。
  • 支持将“质量监控任务”发布到接收方数据质量中心，并发布到开发模式。

2.支持发布数据传输的“离线同步任务”

• 功能介绍：
  • 当前版本支持选择数据传输的“离线同步任务”并打包发布。

3.支持离线开发任务的报警配置发布

• 功能介绍：
  • 在之前的版本中，离线开发任务发布不包含报警配置，当前版本支持将报警配置发布到接收方。
• 注意事项：
  • 针对检测失效的配置项，不会在接收方配置。比如配置的接收人在接收方不存在，则会自动跳过设置该人员。

4.发布策略新增“集群内置数据源”映射配置

• 功能介绍：
  • 数据传输产品的离线同步任务，支持在项目-集群下使用其它项目的Hive或Iceberg等内置数据源进行数据传输操作。该种场景下，进行离线同步任务发布时，如果存在内置数据源替换的场景，则可以使用此处的配置。

控制台

版本：v1.3.2

1.【数据源登记】支持登记TDSQL数据源，用于数据传输读写

1.【数据源登记】批量登记数据源和批量修改数据源时，数据源密码实现加密存储

• 功能介绍：
  • 批量登记数据源和批量修改数据源时，数据源密码实现加密存储，保证数据安全。
• 注意事项：
  • 批量修改数据源时，导出需修改的数据源时，Excel中密码列值为空。如无需修改数据源密码，上传文件时密码列值保持空即可；如需修改数据源密码，则上传文件时请在Excel文件中的密码列中修改密码。

2.DM新增版本号字段，可支持选取7或8版本。

3.数据源类型筛选的视觉优化

4.数据源登记完成后，增加元数据采集相关引导提示

• 功能介绍：
  • 新建MySQL、Oracle、Vertica、SQLServer、Greenplum、Kudu、HBase数据源时，保存数据源后，若用户有元数据采集权限则引导其可前往创建元数据采集任务，若用户没有元数据采集权限则不弹框提示。
  • 数据源类型页增加元数据采集的操作按钮，点击则新开页面前往数据资产地图的元数据采集模块。

5.Hive版本为1.1.0-CDH5.14.0时传输协议选项新增Hive JDBC，用于数据传输读写

6.用户手册跳转链接配置修改