EasyData-V7.0-Update14

数据传输

版本：v3.12.0

1.【离线同步任务】数据来源和去向新增数据源类型：Oceanbase

• 功能介绍：
  • 数据来源和去向新增数据源类型：Oceanbase，支持的版本为：Oceanbase for Oracle-3.2.4（企业版）和Oceanbase for MySQL-3.1.1（社区版）。
• 功能使用注意事项
  • 作为来源时仅支持向导模式、不支持SQL模式。

2.【实时同步任务】实时同步任务支持批量移交负责人

1.【实时同步任务】数据去向为Iceberg时，新增自定义参数：target.delete.to.insert

• 功能介绍：
  • Flink的rowkind分为：delete、insert、update-before、update-after。写入数据去向时，会根据rowkind判断该条数据的操作类型。自定义参数值默认为false，值设为ture的效果是：当数据的rowkind为delete时，能将rowkind转换为insert，则按照upsert写入规则写入Iceberg时，会先删除原记录再写入新的记录，则此条delete数据能成功写入iceberg，rowkind是insert，op_type是delete。
  • 参数配置位置为任务详情页的高级设置的自定义参数。

2.【整体】数据传输快速创建Hive表，表负责人由项目账号改为执行建表的用户账号

• 功能介绍：
  • 为保障数据安全，数据传输快速创建Hive表，表负责人由项目账号改为执行建表的用户账号。

3.【离线同步任务】来源为关系型数据库时，针对数据传输-v3.12.0版本起新建的任务，执行查询sql时列名默认带上引号

• 功能介绍：
  • 此功能仅针对新增任务，不影响历史任务运行。

离线开发

版本：v7.2.0

1.自助分析支持并发执行SQL

• 功能介绍：
  • 自助分析支持并发执行多个SQL语句，并将停止运行的按钮移动至运行结果处，且运行结果中支持查看每次执行的运行设置。
• 功能使用步骤：
  • 自助分析同一个query中，点击运行按钮，成功提交任务后，支持同时运行其他SQL语句
  • 任务被提交后，在运行结果的tab页中增加停止的状态，点击后可将对应的SQL语句暂停
  • 停止运行的快捷键由原先的 Ctrl+F11（Cmd+F11）调整为 Ctrl+F10（Cmd+F10），使用停止快捷键时，将把运行结果中选中态正在执行的SQL语句停止
• 功能使用注意事项：
  • 最多支持并行执行的SQL语句支持配置，默认为10，当正在执行的SQL语句超过该值时，运行按钮和高级运行按钮禁止点击
  • 当最多展示的tab数小于最大并行数时运行按钮禁止点击
  • 正在执行的运行结果不支持关闭

2.资源组支持S3和OSS

• 功能介绍：
  • 原来的存储在HDFS上调整为支持存储在S3上，对于S3的文件夹，无法显示文件大小、文件总数和最后修改时间；且无法对S3的文件和文件夹进行重命名。对于数据管理的个人文件和项目文件、公共资源中的资源组、作业资源支持对接OSS。
• 功能使用注意事项：
  • 该操作需要联系运维开启，未开启时默认还是存储在HDFS上。

3.新增GaussDB节点

• 功能介绍：
  • 支持在离线开发中新增GaussDB节点，对GaussDB数据源进行SQL代码开发。
• 功能使用注意事项：
  • GaussDB节点为外部数据源节点，默认不在画布显示，使用时需要有运维人员开启。

4.SQL节点支持AI代码智能提示

• 功能介绍：
  • 类似AirCoder, 在给定的上下文中，AI大模型会基于用户输入的SQL上下文信息，包括历史的行为数据和数据库表结构，自动完成SQL的生成。用户只需按下TAB键即可一键补全所需的SQL代码。
• 功能使用注意事项：
  • 该功能暂未商业化，仅支持内部试用。

1.报警组支持配置手机号

• 功能介绍：
  • 报警组中支持登记手机号和邮箱，直接给手机号和邮箱发送报警信息。
• 功能使用步骤：
  • 项目中心，新建报警组时，支持选择平台外成员
  • 支持输入平台外成员的用户账号、手机号和邮箱
• 功能使用注意事项：
  • 平台外成员只能通过手机或邮箱接收报警。如果报警组中未登记项目外成员的手机号或邮箱，则相应的手机或邮箱报警不会被发送。

2.禁用项目时支持检测其他子产品的任务

• 功能介绍：
  • 禁用项目前支持检测实时计算、数据传输、数据质量中心的任务。只有不存在调度任务或自动启停的任务，才能禁用项目。
• 功能使用步骤：
  • 在平台管理中，平台管理员可以对项目进行禁用，禁用前将检测以下类型的任务：
    • 离线开发：检测是否存在状态为已调度的任务。
    • 实时计算：检测是否存在线上任务和自动启停的任务。
      • 线上任务：状态为运行中、启动中、停止中、停止等待中、未知、运行失败状态的实时计算任务。
      • 开启自动启停的任务：开启了自动启停功能的任务。
    • 数据传输：检测是否存在状态为运行中、启动中、停止中、未知状态的实时同步任务。
    • 数据质量中心：检测是否存在状态为独立调度的任务。

3.注册hive库、申请修改hdfs配额、申请负责人变更的工单迁移到新流协

• 功能介绍：
  • 注册hive库、申请修改hdfs配额、申请负责人变更的工单已迁移到新流程协作中心。

4.自助分析的query支持查看文件路径

• 功能介绍：
  • 自助分析的queryhover时支持查看文件路径。

5.离线开发任务上传到git的文件夹改为任务展示名在前uuid标识在后

• 功能介绍：
  • 离线开发任务上传到git的文件夹改为任务展示名在前uuid标识在后，增加可读性。

6.加入项目时根据是否选择项目组角色判断审批人

• 功能介绍：
  • 申请加入项目时，如果没有选择项目组角色，则审批人为项目负责人、项目管理员；如果选择了项目组角色，则一级审批人是项目负责人、项目管理员，二级审批人是项目组负责人、项目组管理员。

7.项目中心的操作审计剩余事件跟踪迁移至安全中心

• 功能介绍：
  • 项目中心中的操作审计已迁移至安全中心，并增加部分操作审计。

8.自助分析的非hive表，自助分析执行血缘支持生成产出信息

• 功能介绍：
  • 自助分析的非hive表，支持推送血缘。

9.离线开发的script节点编辑脚本页面优化

• 功能介绍：
  • 离线开发的script节点编辑脚本弹窗放大，并增加hover提示。

版本：v7.1.8

1.新增Python节点

• 功能介绍：
  • 支持在离线开发中添加python节点，在线编辑、运行python代码并查看日志与输出结果。
• 功能使用步骤：
  • 需要联系运维提前安装python环境。

任务运维中心

版本：v1.9.8

1.配合离线开发新增GaussDB节点运维操作

• 功能介绍：
  • 离线开发现已支持GaussDB节点的代码开发，将节点提交上线进行周期调度后，可在任务运维中心查看GaussDB节点的实例日志、运行情况等信息。

1.质量监控告警显示对应的项目集群

• 功能介绍：
  • 质量监控告警内容中增加显示质量监控任务所在项目集群，方便用户高效查看报警信息。

2.值班组提醒配置支持配置电话告警

• 功能介绍：
  • 值班组提醒新增电话告警通道，用户可选择使用电话方式来通知值班人员进行值班的提醒。

版本：v1.9.7

1.配合离线开发新增python节点运维操作

• 功能介绍：
  • 离线开发现已支持python节点的代码开发，将节点提交上线进行周期调度后，可在任务运维中心查看python节点的实例日志、运行情况等信息。

实时计算

版本：v3.9.22

1.优化实时血缘在数据地图的展示效果。

版本：v3.9.21

1.平台支持在基于S3A或OSS存储的底层上运行。

• 功能介绍：
  • 实时计算相关文件如checkpoint、savepoint、Jar任务包、依赖文件等支持存储在S3A或OSS中。
• 功能使用注意事项：
  • 此功能需要联系运维开启，未开启时默认存储在HDFS上。

1.优化实时运维页面部分交互和视觉效果。

指标系统

版本：v2.8.8

1.流程中的指标导入时增加解析提示

• 进行批量导入操作时，如果存在指标正处于审批流程中，则提示更新失败

安全中心

版本：v3.13.0

1.权限申请增强

• 功能介绍：
  • 权限申请时，用户申请视图表权限自动带着对应的hdfs路径权限

2.openapi增强

• 功能介绍：
  • 支持库表权限申请的openapi

3.申请续权增强

• 功能介绍：
  • 用户权限如果被回收了，但已经申请续权也可正常续权

数据资产地图

版本：v2.14.0

1.支持元数据大批量异步导出

• 功能介绍

  • 之前元数据列表单次导出最多支持100条记录，不满足大数据量的导出场景。为了解决该问题，系统新增支持大批量元数据异步导出功能，即用户单次可导出2000条数据，系统后台执行导出任务，不影响用户做其他操作，并且用户还可查看元数据历史导出记录和导出进度。

• 使用步骤

  • 第一步：批量勾选元数据并点击批量导出按钮
  • 第二步：进入“元数据导出记录”页面，可查看元数据导出记录、导出进度、导出文件下载等

2.支持OceanBase表采集、治理、发布和搜索查看

• 功能介绍

  • 系统支持OceanBase表的元数据采集、注册、治理、发布、搜索和表详情查看

• 使用步骤

  • 元数据采集模块，可以新建元数据采集任务，数据源类型可选择OceanBase
  • 元数据注册模块，可以对已采集的OceanBase表进行元数据治理、发布和下线等操作
  • 数据资产地图首页支持搜索OceanBase表，可查看OceanBase表详情，包括基本信息、字段信息、版本信息等

3.支持Doris表采集、治理、发布和搜索查看

• 功能介绍

  • 系统支持Doris表的元数据采集、注册、治理、发布、搜索和表详情查看

• 使用步骤

  • 元数据采集模块，可以新建元数据采集任务，数据源类型可选择Doris
  • 元数据注册模块，可以对已采集的Doris表进行元数据治理、发布和下线等操作
  • 数据资产地图首页支持搜索Doris表，可查看Doris表详情，包括基本信息、字段信息、版本信息等

4.表字段支持设置顺序和是否隐藏

• 功能介绍

  • 数据资产地图的表详情页中，之前字段列表的表头是固定展示列内容和列顺序，用户反馈字段列表中部分列不需要或者部分列顺序想要调整，故产品新增支持设置列是否隐藏、列顺序调整的功能，以便灵活展示需要的信息。

• 注意事项

  • 项目组负责人和项目组管理员默认支持设置表头字段是否展示及展示顺序，设置后项目组内统一生效

  • 未治理表和已治理表由于字段列表属性有差异，故需要分别设置

• 使用步骤

  • 项目组负责人和项目组管理员可以在“配置管理-默认项配置”模块中设置各数据源类型表字段列表的表头设置信息
  • 其他人员在安全中心授权后，也可设置表的字段列表表头信息
  • 字段列表中不需要展示的列，可以点击“隐藏”按钮
  • 字段列表中需要调整字段顺序时，可以拖动字段来达到调整顺序的目的

5.支持流表血缘

• 功能介绍

  • 实时计算的任务上报血缘信息给元数据中心后，用户可在数据资产地图的流表详情页展示对应的流表血缘数据，以便知晓流表数据的全链路血缘信息

• 注意事项

  • 本次流表血缘支持的流表类型有：

    • 通过消息队列注册生成的流表：流表（Kafka）、流表（RocketMQ）、流表（Nydus）
    • 通过物理表注册生成的流表：流表（MySQL）、流表（Oracle）、流表（HBase）、流表（Kudu）、流表（ES）

  • 本次流表血缘支持的物理表节点有：MySQL、Oracle、Postgresql、Kudu、TiDB、Elasticsearch、HBase、Redis、Kafka、Pulsar、RocketMQ、Hive、Starrocks、Doris等。由于实时计算上报的物理表可能是纯DDL定义的，非数据源登记，故部分节点仅支持纯文本展示节点信息，不提供跳转详情页。

  • 流表血缘目前仅支持读取和写入为流表的血缘，不支持串联读取或写入为流表对应的物理表血缘。

• 使用步骤

  • 前提：实时计算有配置正确实时计算任务，并且上报血缘信息。在此前提下，用户搜索流表后，在流表详情页点击“数据血缘”模块，可查看数据血缘信息

1.批量勾选优化

• 功能介绍
  • 之前元数据注册模块的列表页多次批量勾选元数据后，不知道总计勾选了多少条，也不方便取消勾选。本次优化后，支持统计已勾选条数、取消已勾选记录。
• 使用步骤
  • 元数据注册列表，勾选元数据即可。

2.元数据管理数据源选择范围优化

• 功能介绍

  • 之前元数据注册页下拉可选择的数据源列表是当前用户有读或写权限的数据源，由于元数据信息是支持多人协作补充的，导致其他用户没有该数据源权限时，无法编辑保存、导入该元数据信息。为了解决该问题，故产品上放开该限制，支持用户下拉选择全部数据源，这里数据源仅作为展示信息用，不涉及数据内容的读写。

• 使用步骤

  • 添加或编辑元数据时，可下拉单选任一数据源。

3.搜索推荐展示内容优化

• 功能介绍

  • 之前首页搜索输入关键字后，推荐列表中没有展示表描述信息、外部数据源名称等，不方便用户选择和区分表，本次优化后会在搜索关键字后的推荐列表中增加展示表描述信息、外部数据源名称等。

• 使用步骤

  • 进入首页，输入关键字，查看推荐列表信息，可查看到表描述信息、外部数据源名称等。

数据质量中心

版本：v3.7.0

1.支持规则列表页面

• 功能介绍：

  • 支持规则视角的页面，可查看当前项目和项目组下配置的所有质量规则

• 功能使用注意事项 ：

  • 规则列表区分项目组和项目级别，均仅可查看。加入当前项目组即可查看项目组tab
  • 规则列表本期仅可查看不可编辑

2.质量监控任务监控对象支持选择其他项目的hive表

• 功能介绍：

  • 质量监控任务支持选择其他项目对本项目公开的hive表，公开操作位于安全中心数据授权

3.质量监控任务选择监控对象支持对接hive表权限

• 功能介绍：

  • 质量监控任务支持配置开关，hive表质量监控负责人需对监控表有读或写权限才可配置质量监控任务

• 功能使用注意事项 ：

  • 开启开关后，新建或编辑质量监控监控对象仅能选择有读/写权限的hve表
  • 开启开关后，发布中心接收端的监控负责人如果没有表权限，则任务导入/发布失败
  • 开启开关后，批量移交负责人时如果接收人没权限移交失败

1.资源目录配置支持标准目录

• 功能介绍：

  • 数据质量资源目录配置可选择数据标准的目录作为资源目录

2.参数组引用增强

• 功能介绍：

  • 挂在离线开发任务上的质量任务支持应用开发任务内引用参数组
  • 试跑、独立调度弹窗支持引用参数组

• 功能使用注意事项 ：

  • 参数优先级为：质量监控节点上配置的set参数优先级最高、离线开发任务内引用参数组的次之、质量监控任务中引用的参数组次之
  • 试跑、独立调度弹窗引用的参数组替换sql里的参数，不会替换库表

3.参数组引用增强

• 功能介绍：

  • 质量监控Greenplum数据源支持异常数据查看

4.体验及技术优化

• 功能介绍：

  • 报告订阅模板发送的邮件标题中展示模板名称
  • 质量监控任务详情点击表名支持调整到数据地图
  • 优化异常数据SQL的生成逻辑
  • dqc分布式锁改造，基于redis实现的分布式锁改成改到数据库实现

数据服务

版本：v1.6.9

1.配合发布中心，API支持根据资源名称批量查询资源。

• 功能介绍：

  • 配合发布中心，在发布中心侧支持根据资源名称批量查询API资源。

2.配合发布中心，数据服务API由支持发布到线上环境更改为仅支持发布到开发环境。

• 功能介绍：

  • 配合发布中心，在发布中心，针对API资源，仅支持发布到开发环境。

流程协作与通知中心

版本：v2.3.14

1.注册hive库、申请修改hdfs配额、申请负责人变更、申请测试库工单迁移至新流协

• 功能介绍：

  • 注册hive库、申请修改hdfs配额、申请负责人变更、申请测试库工单迁移至新流协，审批人可前往新版流程与通知中心进行工单审批。

2.工单列表支持按照工单发起时间与工单排序

• 功能介绍：

  • 我的发起、我已处理与待我处理的工单列表页面支持按照时间对工单进行排序，方便用户快速查看相关工单。

发布中心

版本：v1.1.3

1.发布包发布支持配置：无模式资源类型执行发布

• 功能介绍：
  • 无模式资源类型指不区分开发模式和线上模式的资源类型，含：Hive表。 之前版本中，无模式资源类型不支持发布到开发模式，如果发布包内包含无模式资源类型，则发布到开发模式时会忽略无模式资源类型。在此版本，发布包发布到开发模式时，会由用户配置是否发布Hive表。
• 功能使用注意事项
  • 使用限制、需要什么权限等等，如果要easyops处开启相关配置需注明配置参数及使用说明
• 功能详细使用步骤
  • 添加发布策略和接收策略时，如工单审批通过设置的默认设置为“上传包、导入到开发模式”，支持勾选需发布的无模式资源类型，如工单审批通过设置的默认设置为“上传包、导入到开发模式、提交上线”，默认会勾选所有无模式资源类型。
  • 发布方发布发布包时，如工单审批通过设置的设置为“上传包、导入到开发模式”，支持勾选需发布的无模式资源类型，工单审批通过后发布资源时会忽略此处未勾选的无模式资源类型；如工单审批通过设置的默认设置为“上传包、导入到开发模式、提交上线”，默认会勾选所有无模式资源类型，工单审批通过后发布资源时会发布无模式资源类型。
  • 接收方针对发布实例包批量发布资源到开发模式或线上模式时，发布无模式资源类型时仅会发布弹窗中“无模式资源类型执行发布”已勾选的资源类型。

1.发布策略列表页和接收策略列表页支持分页展示

2.将发布包创建为新发布包时，新发布包名称的默认值改为“原发布包名称_copy"

3.资源列表页和发布包创建页，离线开发任务的文件夹展示范围优化，改为展示当前用户有提交上线权限的任务的所属文件夹及父文件夹、当前用户有提交上线权限的文件夹及父文件夹、当前用户是创建人的文件夹及父文件夹，当前用户是任务负责人的任务的所属文件夹及父文件夹

4.数据服务API由仅支持发布至线上模式改为仅支持发布至开发模式

• 功能介绍：
  • 由于发布中心发布数据服务API至数据服务后，API需测试通过并点击发布后状态才可更新为已发布，故发布中心产品功能上改为仅支持将数据服务API发布至开发模式，API发布至线上模式需由用户在数据服务手动执行发布。

控制台

版本：v1.4.0

1.【数据源管理】数据源登记新增数据源类型：Oceanbase

• 功能介绍：
  • 数据源登记新增数据源类型：Oceanbase，支持Oceanbase for Oracle-3.2.4（企业版）和Oceanbase for MySQL-3.1.1（社区版）。
• 功能使用注意事项：
  • 数据库模式为Oracle时，数据源连接格式为jdbc:oceanbase://ServerIP:Port/Database；数据库模式为MySQL时，数据源连接格式为jdbc:mysql://ServerIP:Port/Database。

2.新增OpenAPI接口，用于查询平台内用户名下的资源数量

• 功能介绍：
  • 详见OpenAPI说明文档。

1.数据源唯一性校验的报错文案优化

• 功能介绍：
  • 项目组下存在唯一性校验不通过的数据源时，报错提示文案优化为“项目组下已存在相同数据源（数据源名称：xxx，数据源负责人：yyy，归属项目：zzz），不可重复登记！”

数据治理360

版本：v3.1.0

1.支持S3存储下的表和分区生命周期管理功能

• 功能介绍：

  • 在S3底层存储下，也可以支持表和分区的生命周期管理功能。

1.修复在新流协创建工单失败的问题

• 功能介绍：

  • 在新流协创建申请加入白名单的工单失败的问题修复。

UDF Studio

版本：v1.1.3

1.对接安全中心，支持UDF负责人转交功能

• 功能介绍：

  • 对接安全中心的权限治理功能，在项目组级别，支持对UDF负责人进行单个或者批量转交。

2.配合平台，提供全量返回UDF函数的接口

• 功能介绍：

  • 配合平台，提供全量返回UDF函数的接口，支持平台IDE功能完善。