EasyData-V8.0-Update10

控制台

版本：v1.13.1

1.【数据源登记】ES数据源新增认证方式字段

• 功能说明：
  • ES数据源新增认证方式字段，当版本为6时默认为用户名密码，当版本为7或8时，支持选择用户名密码或api Token认证方式，且当请求协议为https时支持上传SA证书。

2.【调度日历】平台级和项目级调度日历中定时同时策略新增“同步日期策略”配置

• 功能说明：
  • 调度日历支持设置为定时同步模式，之前的版本中在设置“同步日期范围”后，系统会严格按照设置的日期范围进行同步，如果存在取少的日期，则会同步失败；
  • 当前版本新增了“同步日期策略”配置，支持配置“至少包括1个日期”和“必须包含所有日期”。选择“至少包括1个日期”则表示“同步日期范围”内设置的日期中，至少有1个合法日期，就认为同步成功。

1.【逻辑数据源】修复创建逻辑数据源时保存成功后数据源标签丢失的问题。

数据传输

版本：v3.23.0

1.【离线】离线同步任务，数据库名称支持大小写模糊搜索。

• 功能介绍：
  • 包括创建单个离线同步任务的数据来源和去向、批量创建任务选择的数据来源、数据导入时选择数据去向时，均支持根据数据库名称大小写模糊搜索的功能。

2.【离线】kafka适配支持spark3.3版本。

3.【离线】批量创建任务时新建表支持批量添加字段，包括页面形式和Excel上传两种方式批量创建表时添加字段。

• 功能介绍：
  • 仅支持数据去向为Hive时，批量创建表添加字段；
    • 页面形式批量创建任务时，若数据去向为Hive时，支持批量创建表时添加字段，可填写自定义表达式，用于标识譬如同步时间、同步人等参数。
    • 通过Excel方式批量创建任务时，Excel表格更新，支持针对新建hive表批量添加字段。

4.【离线】数据来源和去向适配api Token鉴权方式的ES8版本。

5.【离线】创建单个离线传输任务时，在SQL模式下，数据来源为Hive时，支持Hive表名和字段名大小写不敏感功能。

6.【离线】DataX引擎，数据去向为HDFS支持选择字段类型。

• 功能介绍：
  • DataX任务引擎下，当数据去向为HDFS时，支持数据去向字段选择字段类型，选择范围包括Int、Float、Double、Date、TimeStamp等。

7.提供SPI支持发布中心基于血缘的发布功能。

• 功能介绍：
  • 配合发布中心，提供数据传输相关的SPI支持基于血缘的发布功能。

8.【离线】DataX引擎，适配SQL模式。

• 功能介绍：
  • 本版本支持在DataX任务引擎下，在SQL模式下可选择ClickHouse、MySQL、Oracle、PostgreSQL和SQLServer数据源创建离线同步任务。

1.【离线】复制离线同步任务后，新复制的任务保存位置优化为与原任务一致；

2.【实时】实时同步任务，数据去向为Doris或StarRocks数据源类型时，增加表类型符合判断。

• 功能介绍：
  • 创建实时任务时，若数据去向为Doris或StarRocks数据源时，只有当表满足特定要求才支持点击下一步，否则会造成任务失败。
    • 仅支持Doris去向表为Unique Key模型；
    • 仅支持StarRocks去向表为主键表。

3.【离线】离线传输任务，当数据来源为MongoDB时，字段类型定义方式优化，默认为自定义字段类型。

4.【离线】试运行的离线传输任务的日志，当任务运行成功后，日志信息前置，优化日志信息展示内容，支持快速查看传输开始时间、传输结束时间、传输耗时等参数。

5.【离线】创建单个传输任务时，若库名和表名名称太长，支持Hover展示全部内容。

6.【离线】创建单个传输任务时，优化获取最新表结构时的弹窗交互，增加滚动条适配。

7.【离线】优化在选择数据来源和去向表时，由于库表异常导致返回空列表的报错展示。

8.优化对接发布中心的资源负责人逻辑，支持判断资源负责人为"资源实际导入人"时是否支持发布的功能。

9.【实时】对于正在运行中的实时传输任务，优化日志展示样式，解决长时间loading导致无法查看其他tab下日志的问题。

10.问题修复，包括去向表自动新增字段未生效、导入至ftp数据源时json格式报错、HiveKafka传多个key值数据异常等问题。

11.【实时】创建实时传输任务时，优化多张表结构不同却选择了同一个Topic导致任务失败的问题。

12.交互优化，包括弹窗按钮、线上任务引用详情弹窗表格适配等。

13.【实时】优化将来源表全部移除但仍支持点击下一步的逻辑问题。

数据标准

版本：v2.2.3

1.支持通过EasyOps参数配置，在平台粒度隐藏“行业标准”模块

• 功能介绍
  • 行业标准模块默认展示，支持通过EasyOps参数配置配置隐藏。
  • 配置隐藏的效果：平台下所有成员均不可见“行业标准”模块；不可见数据元模块的“引用行业模板”功能；安全中心-角色管理-项目组级-数据标准下不可见“行业模板”模块，无法配置权限。配置隐藏仅控制前端页面展示，已保存的历史数据不受影响。

指标平台

版本：v2.6.0

1.指标预警功能优化

• 支持动态阈值
  • 功能介绍：之前指标只能设置和固定值对比，本次支持设置和动态值进行对比。
• 支持趋势预警
  • 功能介绍：新增了指标波动在变化值/率范围内的监测，实现对指标波动的预警。
• 支持设置多个指标预警
  • 功能介绍：之前指标只能设置一条预警记录，本次支持设置多条预警记录，方便不同的分析人员按需设置各自的预警规则

2.归因分析的增强：对于计算指标，可通过依赖指标的拆解进行归因分析

• 功能介绍
  • 新增依据计算指标的计算路径对上游依赖指标归因分析的功能，解决了用户洞察业务变化源头的问题

3.一个指标能在同一目录下多选不同层级

• 功能介绍
  • 在指标定义页面可多选不同层级下的目录，方便用户操作。

4.创建模型时，表支持union

• 功能介绍
  • 表支持合并相同字段与新增字段，调整了创建模型时的重名逻辑。

1.批量创建指标时，批量选择支持切换集群

• 功能介绍
  • 优化批量创建指标功能，解决只能批量创建相同集群指标问题，增加tab切换集群后，可选择所有集群的指标进行批量创建。

2.MPP数据源新增Doris类型

数据资产地图

版本：v2.19.7

1.支持表粒度的资产共享和回收

• 功能介绍

  • 之前支持跨项目组的资产目录共享和回收，但是目录粒度比较粗，本次在目录粒度的基础上增加了表粒度的资产共享和回收。

• 详细操作步骤

  • 在「配置管理-资产共享配置」模块中，新建资产共享或者回收资产时，根据目录来筛选要共享或回收的表即可，审批通过后可生效

• 注意事项

  • 表粒度的资产共享或回收审批通过后，要T+1生效

2.StarRocks表详情支持展示字段级血缘

• 功能介绍

  • 查看StarRocks表详情时，可以查看字段粒度的上下游血缘链路

3.Doris表详情支持展示字段级血缘

• 功能介绍

  • 查看Doris表详情时，可以查看字段粒度的上下游血缘链路

4.支持展示其他项目公开给本项目的Hive库表

• 功能介绍

  • 在物理视图模块中，之前会展示本项目下的Hive库表，本次增加展示其他项目公开给本项目的Hive库表。具体公开操作在安全中心完成

1.元数据采集任务支持立即运行

• 功能介绍

  • 元数据采集任务列表增加立即运行的操作，以便用户可马上进行一次元数据采集，不用等到下次定时任务启动

2.安全中心公开的表支持在地图首页搜索

• 功能介绍

  • 之前地图不支持搜索跨项目组的表，本次优化后跨项目组的表只要公开给某一项目后，其项目所在项目组成员均可在地图首页搜索到该表

3.支持下载字段血缘为csv文件

• 功能介绍

  • 原来字段血缘只能在页面上查看，本次增加导出功能，可以导出字段血缘为csv文件

4.表血缘图中支持展开单个表的上下游血缘

• 功能介绍

  • 之前表血缘只能按照层级全部展开或收缩，本次优化后可以对某张表展开上下游血缘

数据质量中心

版本：v3.10.0

1.质量监控任务支持excel形式导入导出

• 功能介绍：
  • 增强excel导入功能，支持多种模版规则类型导入，包括字段级、表级、跨字段级、跨表级等，原本该功能仅限于导入自定义规则，本次拓展支持导入更丰富的模版规则类型。
    • excel形式导入，新增覆盖和跳过策略选项，选择覆盖策略，系统将自动使用excel内容更新覆盖已存在的规则，从而实现规则的更新效果，选择跳过策略，系统则会忽略跳过已存在规则的处理。
    • 批量导出任务，支持excel形式批量导出，可以将线上的规则批量下载至本地，便于进行线下的规则维护和更新。

2.质量监控执行结果明细，增加总行数和异常行数展示

• 功能介绍：
  • 针对字段级别和表级别自定义规则，在质量监控执行结果明细展示总行数和异常行数，可更直观地查看数据监控的执行结果数据，方便进行对比。

3.质量监控任务和质量问题的权限管理，支持按照资源目录方式授权

• 功能介绍：
  • 新增按照资源目录方式授权功能，可以通过目录授权快速授予指定用户或角色质量监控任务和问题的权限，方便进行权限管理。
    • 质量监控任务支持项目级别的权限管控，质量问题支持项目组级别的权限管控。

版本：v3.9.1

1.数据质量支持OceanBase-Oracle

• 功能介绍：
  • 质量监控，数据源类型新增OceanBase-Oracle，支持新建OceanBase-Oracle类型的质量监控任务

版本：v3.9.0

1.表级质量报告，增加最近一次执行异常数据表

• 功能介绍：
  • 原本表级质量报告按照质量分汇总排行展示数据表，呈现的是汇总排行后的结果，过程中有异常的数据表难以及时跟进，本次增加最近一次执行异常数据表，支持快速查看最近一次检查异常的数据表，可直接跳转查看表的质量报告，直达该表的质量异常数据明细。
  • 最近一次执行异常数据表：指在最后一次线上调度任务稽核监控执行时，规则执行结果异常的数据表，异常数据表将会呈现在表级质量报告页面异常数据表列表中，支持查看项目和项目组的最近一次执行异常数据表。

2.项目组订阅质量报告，支持按照项目筛选订阅

• 功能介绍：
  • 当负责多个项目，需要同时订阅多个项目的数据质量报告，可在项目组下订阅报告，直接筛选关注的项目，添加多个项目下的任务，而不需要前往每个项目单独订阅。

3.质量报告订阅方式增加飞书、飞书群聊方式，接收对象增加支持接收组订阅

4.支持异常数据以excel文件下载

• 功能介绍：
  • 原本异常数据，页面上仅展示500条，全量记录需要另外前往自助分析查询，本次在数据质量功能中查询异常数据后，增加支持全量异常数据以excel文件下载的功能，方便快速获取异常规则的全部异常数据。
    • 支持在执行实例，订阅报告详情，表级质量报告页面下载异常数据。

5.支持数据对比结果以excel文件下载

• 功能介绍
  • 支持下载主键仅在本表记录，主键仅在比对表记录，行不一致记录，字段内容不一致记录等4种数据比对结果记录

1.质量报告中表负责人质量分排行，近7日表质量平均分默认降序，同时支持调整排序。

2.数据比对结果窗口，支持新建页签放大展示，方便在线进行数据比对。

数据服务

版本：v1.12.1

1.注册API，当请求方式为POST时，支持选择content-type。

• 功能介绍
  • 对于注册API，当请求方式选择POST时，新建注册API的第二步支持选择content-type字段，可选内容包含application/json、application/x-www-form-urlencoded 、multipart/form-data。
• 功能使用注意事项
  • 仅POST请求方式下支持选择，且数据服务API默认仅支持application/json，此处的content-type表示转发至第三方时可支持的格式，其中multipart/form-data不支持文件上传下载。

2.对于StarRocks数据源类型，若账号认证方式为LDAP，支持源系统账号鉴权功能。

• 功能介绍
  • 对于StarRocks数据源类型，账号认证方式支持账号密码和LDAP功能，两种认证方式均支持源系统账号鉴权功能，当前版本完善LDAP认证下的源系统账号鉴权功能。

3.提供SPI支持发布中心基于血缘的发布功能。

• 功能介绍
  • 配合发布中心，提供数据服务API相关的SPI支持基于血缘的发布功能。

1.新建数据源类型的API时，修复切换数据源类型但不清空数据库名称的问题，完善数据源类型切换逻辑。