数据传输

版本：v3.36.0

新增功能

1.【实时】实时传输任务，字段映射自定义表达式新增${process_time_formatted}内容；

  • 功能介绍：
    • 在实时传输任务，第三步字段映射中，选择自定义表达式后，新增${process_time_formatted}；
    • ${process_time_formatted}为格式化后的process_time，默认时间格式为：'yyyy-MM-dd HH:mm:ss.SSS'，默认时区：'Asia/Shanghai'。

2.【实时】实时传输任务，当数据去向为Doris或Starrocks时，新增支持insert写入模式；

  • 功能介绍：
    • 创建实时传输任务，当数据去向为Doris或Starrocks时，写入规则新增insert方式；
    • 增删改均会视为insert，写入效果由Doris/Starrocks的去向表类型决定。

3.【实时】实时传输任务，支持配置自动启停时间；

  • 功能介绍：
    • 实时传输任务列表中，针对单个实时传输任务，"更多"选项中新增"自动启停"配置，支持设置自动启停；

4.【离线】离线传输任务，针对FTP数据源类型，当文件格式为csv时，支持脏数据管理功能；

  • 功能介绍：
    • 当数据来源为FTP类型，且选择文件格式为csv时，新增脏数据管理模块，当来源csv文件在读取时存在不符合列数预期的行时，则此条数据为脏数据；
    • 同样支持脏数据保存、脏数据容忍操作，可配置脏数据超出比例或脏数据超出条数。

5.【实时】新增实时传输任务openapi，可获取实时任务状态；

6.【离线】离线传输任务，针对FTP数据源类型，当文件格式为csv时，支持脏数据管理功能；

  • 功能介绍：
    • 当数据来源为FTP类型，且选择文件格式为csv时，新增脏数据管理模块，当来源csv文件在读取时存在不符合列数预期的行时，则此条数据为脏数据；
    • 同样支持脏数据保存、脏数据容忍操作，可配置脏数据超出比例或脏数据超出条数。

7.【离线】离线传输任务，适配安全中心的低阶版本功能；

  • 功能介绍：
    • 当安全中心部署的是基础版本时，不支持数据脱敏功能，则针对离线传输任务，不支持选择字段执行静态脱敏；

8.【离线】离线传输任务，适配支持达梦8.1新版本；

  • 功能介绍：
    • 数据源登记侧，若登记的达梦数据源版本为8.1(驱动：8.1.1.193~2021.03.11)时，支持在数据传输侧创建来源/去向为达梦的离线同步任务；

9.【实时】实时传输任务，数据去向新增支持达梦数据源类型；

  • 功能介绍：
    • 创建实时传输任务，数据去向新增达梦数据源类型；

10.【实时】实时传输任务，数据去向新增支持TDSQL数据源类型；

  • 功能介绍：
    • 创建实时传输任务，数据去向新增TDSQL数据源类型；

11.【实时】实时传输任务，数据去向新增支持KingbaseES数据源类型；

  • 功能介绍：
    • 创建实时传输任务，数据去向新增KingbaseES数据源类型；

12.【实时】实时传输任务，当去向为非Kafka非Hive时，新增支持不导入选项；

  • 功能介绍：
    • 创建实时传输任务，当数据去向为非kafka非Hive时，在第三步字段映射处新增支持不导入选项；

维度建模

版本：v2.0.4

功能优化

1.AutoETL支持自动创建质量监控任务

  • 功能介绍

    • AutoETL离线开发模板支持在Excel中填写质量监控规则，Excel导入成功后，将自动给表创建质量监控任务，并和离线开发任务进行关联

2.同一张表不同字段支持设置相同维度

  • 功能介绍

    • 新建/编辑表时，给字段关联维度，支持同一张表的不同字段关联同一维度，例如航班记录表中的出发机场、到达机场字段，都可以关联机场维度

离线开发&自助分析&平台基础

版本：v7.15.5

新增功能

1.配合平台整体规划，支持去Hadoop环境下部署

版本：v7.15.4

功能优化

1.【离线开发+自助分析】文件夹排序支持按照拼音顺序升序排序

2.【离线开发】支持一键复制任务名称

3.【离线开发】任务节点的“被依赖详情”弹窗，点击依赖任务名称支持快捷跳转至该任务详情页

4.【自助分析】下载格式和水印功能优化

  • 功能介绍：
    • xlsx水印新增选项“无水印”，支持下载无水印xlsx文件；
    • 针对带水印的xlsx格式，支持在EasyOps平台粒度配置可下载的文件大小上限，默认值为300M。如xlsx文件大小超出上限且带水印则禁止下载，请调整下载数据量或在配置管理将“xlsx水印”值调整为“无水印”后重试。

5.【自助分析】优化第三方输入法与IDE编辑器支持的字符存在冲突的问题

版本：v7.15.3

新增功能

1.【离线开发+自助分析】配置管理新增“个人配置-编辑器管理”模块，用于自定义编辑管理

  • 功能介绍：

    • 离线开发、自助分析配置管理新增“个人配置-编辑器管理”模块。此模块为用户粒度，可用于设置该用户在当前项目的离线开发/自助分析模块使用编辑器时的编辑器默认行为，设置范围包含：基础视觉、代码规范、EasyCopilot。

    • 点击“以下配置应用到所有项目“，可将该用户在当前项目的配置应用到当前用户所在的平台下所有项目。

2.【项目中心+离线开发+自助分析】适配多Impala集群

  • 功能介绍：
    • 此前，平台仅支持系统内置一个Impala集群并供平台下所有项目共用。此版本控制台支持了多Impala集群和项目授权机制，由此，项目中心、离线开发、自助分析也做相应适配。
    • 项目中心：新建和修改Impala队列时，支持选择归属的Impala集群，选择范围为该集群下授权给当前项目的所有Impala集群。
    • 自助分析：选择执行引擎及数据源时，选择Impala引擎后，需要先选择Impala集群，再选择该集群下的Impala队列。
    • 离线开发：Impala队列的展示范围扩展为该集群下授权给当前项目的所有Impala集群的所有Impala队列。

任务运维中心

版本：v1.20.2

1.配合平台整体规划，支持去Hadoop环境下部署

版本：v1.20.1

功能优化

1.产品内部接口替换，不影响产品功能

版本：v1.20.0

新增功能

1.适配多Impala集群

  • 功能介绍
    • 此前，平台仅支持系统内置一个Impala集群并供平台下所有项目共用。此版本控制台支持了多Impala集群和项目授权机制，由此，任务运维中心也做相应适配。
    • 任务调度设置中的Impala队列选择和查看时，支持显示队列所属Impala集群。

安全中心

版本：v4.2.2

新增功能
  1. 安全中心支持拆分高低阶版本；

  • 功能介绍

    • 安全中心低阶版功能主要包括：权限申请（仅Hive库表列，MPP底座没有该功能）、操作审计、角色管理、数据授权（仅Hive库表列，其中批量授权仅Hive表、列、行级权限，MPP底座没有该功能）、数据溯源，相对应不支持的功能进行适配处理。
  1. 配合平台整体规划，支持去Hadoop环境下部署；

  • 功能介绍

    • 安全中心支持去Hadoop环境下部署，针对依赖Hadoop底座的相关功能进行适配处理；

数据资产地图

版本：v3.0.8

功能优化

1.无Hadoop时相关改造

  • 功能介绍

    • 当平台部署底座是MPP时，此时地图上和Hadoop相关的功能需要做解耦

  • 注意事项

    • 平台部署前要确认底座类型

2.Doris表&Doris物化视图的详情页支持展示权限及申请权限的入口

  • 功能介绍

    • Doris表&Doris物化视图的详情页支持展示数据权限及申请权限的入口，权限来自于安全中心

3.元数据治理、资产目录等均支持适配Doris物化视图

  • 功能介绍

    • 元数据采集、治理、发布流程支持适配Doris物化视图，资产目录支持查看和展示Doris物化视图

4.搜索结果页支持按照具体数据源筛选

  • 功能介绍

    • 首页数据搜索结果中，支持按照数据源名称进行筛选

5.高低版细节调整

  • 功能介绍

    • 地图基础版增加表血缘功能，地图高级版字段血缘增加开关功能

6.首页点击表、指标、标签、API等卡片，可以直接进入到查询页面

  • 功能介绍

    • 首页点击表、指标、标签、API等卡片，可以直接跳转到对应的查询结果页

数据质量中心

版本：3.16.4

新增功能

1.创建数据质量监控任务，支持选择Doris分区创建任务；

  • 功能介绍：
    • 创建数据质量监控任务时，当选择的Doris表为分区表时，支持分区筛选选择对应分区；

版本：3.16.3

新增功能

1.数据比对，当源表为Doris时，对比表支持选择oracle类型；

  • 功能介绍：
    • 数据比对功能，支持Doris和oracle表的对比，当源表为doris时，对比表支持选择oracle数据源类型；

2.规则管理中，规则对象表，新增支持Doris和Starrocks数据源类型；

  • 功能介绍：
    • 规则对象表列表，数据源类型新增支持Doris和Starrocks数据源类型；

3.配置管理，针对监控对象配置，支持选择Hive或Doris数据源类型；

  • 功能介绍：
    • 在监控对象配置中，支持选择生效的数据源类型，可选Hive或Doris；
    • 针对Doris数据源类型，仅针对可在安全中心管控的Doris表生效；

4.质量大屏等模块，当选择的数据源类型为Doris或Starrocks时，支持表负责人、表分层和主题域的筛选；

  • 功能介绍：
    • 在质量大屏、质量监控列表、执行实例列表、规则列表等模块，当数据源类型选择Doris或Starrocks时，新增联动支持表负责人、表分层和主题域筛选。
功能优化

1.配置管理，针对异常数据配置，交互优化；

  • 功能介绍：
    • 异常数据配置，针对异常数据存储开关、质量监控异常数据生命周期配置，增加hover提示；
    • 质量监控异常数据生命周期配置，依赖数据治理360模块，增加关联依赖判断，对功能进行灵活显示。

2.权限逻辑优化；

  • 功能介绍：
    • 在安全中心的项目组级别，针对数据质量中心的功能权限，配置管理的"编辑资源目录管理"优化为"编辑项目组资源目录"，"编辑问管理配置"权限包含编辑问题属性配置和权限配置；
    • 在安全中心的项目级别，针对数据质量中心的功能权限，新增支持编辑监控对象配置、编辑权限配置 两个tab的权限；

3.配置管理，针对规则属性配置，交互优化；

  • 功能介绍：
    • 规则属性配置，增加提示，配置完成后，将在整个项目组下生效。

发布中心

版本：1.8.5

新增功能

1.配合平台整体规划，支持去Hadoop环境下部署

版本：1.8.4

新增功能

1.适配多Impala集群

  • 功能介绍
    • 此前，平台仅支持系统内置一个Impala集群并供平台下所有项目共用。此版本控制台支持了多Impala集群和项目授权机制，由此，发布中心也做相应适配。
    • 发布策略中，选择Impala集群处，选择范围调整为为该集群下授权给当前项目的所有Impala集群。

控制台及项目中心(新)

版本：v1.17.3

新增功能

1.配合平台整体规划，支持去Hadoop环境下部署

版本：v1.17.2

新增功能

1.提供OpenAPI接口，用于获取用户、获取用户所属部门、获取用户组织架构

2.导航栏菜单中，自定义链接支持跳转中传递账号和密钥

版本：v1.17.1

新增功能

1.【平台管理+项目组中心】Impala集群支持设置归属项目组及分配授权项目

  • 功能说明：
    • 由运维人员在后台登记Impala集群信息后，在“平台管理-资源管理-集群配置”会展示当前平台-集群下的Impala集群，支持由平台管理员设置归属项目组。注意：如果该Impala集群的归属项目组已设置授权项目授权，则不可修改归属项目组。
    • 在“项目组中心-集群管理-集群配置”，会展示当前项目组-集群下的Impala集群，支持由项目组负责人/管理员设置授权项目和查看使用该Impala集群的Impala队列。注意：如果该Impala集群的授权项目下已存在Impala队列绑定了该集群，则对应项目不可取消授权。