EasyData-V7.0-Update08

数据传输

版本：v3.7.1

1.【离线同步任务】数据来源来源为DM、VastBase G100时支持SQL模式

• 功能介绍：
  • 数据来源来源为DM、VastBase G100时支持SQL模式，用于多表关联查询等场景

2.【离线同步任务】数据来源为HBase时支持根据timestamp时间戳过滤数据并支持读取timstamp字段

• 功能介绍：
  • HBase表每个cell（存储单元）均包含timestamp时间戳，timestamp表示该Rowkey值对应的该列数据的更新时间。此前，离线传输读取Hbase时，在读取范围内如果同一Rowkey值对应的同一列存在多次更新，则仅读取该列最新版本的数据。此次支持根据timestamp值过滤数据，仅读取指定时间范围内更新的数据；支持读取HBase单元格的timestamp字段并写入去向表字段。
• 功能使用注意事项：
  • 如果填写起始时间位点和结束时间位点，则会使用时间戳范围过滤条件进行读取HBase表数据。请按照格式：yyyy-MM-dd HH:mm:ss.SSS填写，其中“SSS”可不填，如不填则默认取000，系统执行时会将该值转成timestamp后从HBase中读取相应数据。支持填写系统参数和参数组参数。
  • 如未填写起始时间位点，则默认从最早数据开始读取。如未填写结束时间位点，则默认读取至最新数据。
  • 如果同时填写startRowKey、endRowKey和起始时间位点、结束时间位点，则会读取指定RowKey范围内指定时间戳范围内的数据；如果仅填写startRowKey、endRowKey，则会读取指定RowKey范围内的数据，不限时间戳范围；如果仅填写起始时间位点、结束时间位点，则会读取指定时间戳范围内的数据，不限RowKey范围。
  • 任务配置字段映射时，来源表字段如选取timestamp字段，运行任务时，同一RowKey值对应的多列数据对应的timestamp值不同时，则timestamp字段值取timestamp最新的列对应的timestamp值。

3.【实时同步任务】来源为Kafka、去向为结构化数据源时，支持获取最新表结构功能

• 功能介绍：
  • 针对去向表表结构变更的各类场景，处置策略如下：
    a.字段顺序调整：字段映射列表中按变更后的去向表字段顺序展示，并保留映射的来源表字段信息。
    b.新增字段：字段映射列表中新增行，行序号为去向表中该字段的列序号。针对该行的来源表字段：先使用同名映射匹配是否存在同名的来源表字段，如存在同名字段则来源表字段置为同名字段，如不存在同名字段则清空来源表字段选择框的值。
    c.删除字段：删除字段映射列表中的对应行
    d.字段类型变更：更新“字段类型”列该字段对应的值
    e.字段描述变更：更新“描述”列该字段的字段描述
    此外，针对去向表的表结构变更，消息通知框中会详细提示各类变更情况以及相应的字段。

4.【实时同步任务】数据来源为Kafka时，适配版本和认证方式：2.0.1、无认证；2.0.1、Kerberos认证

5.【实时同步任务】新增“未知”任务状态

• 功能介绍：
  • 针对联通yarn或k8s集群时，出现查询异常（无法联通或查询失败）时未获取到任务状态的任务，新增任务状态：未知。
• 功能使用注意事项：
  • 此任务状态的任务不可启动、停止。启动中、运行中、停止中的任务可能会翻转为此状态。此状态可翻转为启动中、运行中、停止中、启动失败、运行失败。

6.【实时同步任务+离线同步任务+数据导入】获取队列时，如队列资源获取失败时，仅展示队列名称

1.【实时同步任务】修复任务任务类型为分库分表同步时，任务配置页面和任务执行时库表正则匹配规则不一致的问题

数据标准

版本：v2.1.1

1.支持标准发布时更新元数据中心信息

• 功能介绍：标准发布后将主动更新元数据中心tag信息，保证标准的准确性和一致性

离线开发

版本：v7.0.14

1.自助分析项目级共享Query支持对接功能权限

• 功能介绍：

  • 自助分析项目级共享Query对接安全中心的功能权限，支持以文件夹或query粒度控制query的新建、查看、编辑、运行、下载等权限。

  • 功能权限迁移：自助分析代码执行相关的功能权限仍在项目中心，其他的权限已迁移至安全中心。

  • 权限说明：

    • 新建：指新建文件夹和query的权限，无权限时，无法在项目级共享文件夹中新建文件夹和query。

      -查看：指查看文件夹和query的权限，无权限时，无法在项目级共享文件夹中查看文件夹和query。

      -编辑：指编辑query的权限，无权限时，无法在项目级共享文件夹中对query进行编辑，包括复制、重命名、删除、切换数据源等。

      -运行：指运行query的权限，无权限时，无法在项目级共享文件夹中对query进行运行、高级运行、切换队列。

      -下载：指运行结果的下载权限，无权限时，无法在项目级共享文件夹中对query的运行结果下载。

2.智能推荐依赖支持推荐开发模式下执行以及重跑、补数据的血缘信息

• 功能介绍：
  • 编辑调度的智能推荐支持推荐开发模式下执行以及重跑、补数据产生的血缘，仅推荐任务状态为已调度的任务。

3.版本对比中支持非SQL类节点以及节点设置的对比

• 功能介绍：
  • 任务的版本对比中支持对非SQL类节点内容以及节点设置的对比。

版本：v7.0.13.2

1.自助分析查询优化

• 功能介绍：
  • 自助分析query中，语法检查后面增加“生成结果”勾选项。勾选后，运行时将生成下载结果文件，支持下载结果。取消勾选后，运行时将不生成下载结果文件夹，不支持下载结果，但可以提升查询的速度。

实时计算

版本：v3.9.16

1.支持创建和使用公共流表。

• 功能介绍：
  • 新增项目组范围内可共享的公共流表，用户可创建并在不同项目下使用公共流表。
• 功能使用注意事项：
  • 公共流表使用时需按三元组方式使用。
  • 公共流表的使用权限通过数据源使用权限控制，即如需使用已公开的公共流表，则该项目需具备该流表实际对应的数据源的使用权限。
  • 公共流表的编辑权限归属于创建流表时所在的项目-集群的项目负责人、管理员、实时管理员、实时开发、实时运维。其他项目-集群即使在流表公开范围内也无法对流表进行编辑、删除操作。
• 功能详细使用步骤：
  • 创建公共流表：创建或编辑流表时，流表可用范围选择公共流表，之后按需配置流表公开范围。 -注意：如选择指定项目-集群公开，当前所在的项目-集群必须在指定公开范围内，否则流表将无法再次编辑。
  • 查看公共流表：公共流表可在实时开发页面左侧实时数仓模块中查看，也可在流表管理页面切换至公共流表tab查看。
  • 使用公共流表：在 SQL 任务中，通过 [catalog].[流表库].[流表名称] 的三元组方式使用公共流表。公共流表的catalog可在流表详情页面中查看。

2.复制流表支持订阅源端表变更。

• 功能介绍：
  • 支持用户复制流表时选择订阅源端表变更，当被复制的流表字段信息或配置信息有更新时，在订阅变更的表的详情页有更新提示。
• 功能使用注意事项：
  • 仅可在通过复制按钮进入新建流表流程时订阅源端表变更，直接新建流表无此功能。
  • 用户复制流表时如未订阅变更或后续取消订阅，不可重新恢复订阅。
• 功能详细使用步骤：
  • 订阅变更：在流表管理列表中找到需要复制的流表，点击复制按钮进入新建流表页面，在页面底部勾选订阅源端表变更。
  • 查看变更：在复制后的流表详情页里，复制源端表字段将在源端表有变更时展示有更新icon。
  • 接收变更：点击有更新icon，选择接收更新，进入流表编辑页面查看变更后的字段信息和配置信息，可基于变更后的内容修改后保存。保存后有更新提示消失。
  • 取消订阅：在复制流表时可以选择取消订阅源端表变更的勾选。已订阅变更的在对应流表详情页面，复制源端表字段旁可取消订阅。

3.公共样本管理。

• 功能介绍：
  • 支持通过上传样本，在线采样，任务调试生成（仅在任务中操作）的方式创建或编辑公共样本。
  • 公共样本可在任务调试和任务测试功能中被引用。
• 功能使用注意事项：
  • 具备项目负责人、管理员、实时管理员、实时开发、实时运维角色的用户可以新建、编辑、删除公共样本。具备项目负责人、管理员、实时管理员角色的用户可以下载样本数据。
  • 单个公共样本的数据量上限为1000条数据。
  • 当前仅支持 Kafka、Pulsar、RocketMQ、MySQL、Oracle 数据源类型的表进行在线采样。
• 功能详细使用步骤：
  • a. 功能入口：实时开发页面左侧一级导航栏。
  • 新建/编辑样本：支持上传样本或在线采样方式新建样本。上传样本时要求样本首行为字段名称且不可有同名字段。上传样本后仅保留样本中的前1000条数据。采样或上传样本，通过数据预览确认样本数据无误后即可保存样本。
  • 任务生成样本：任务调试后可将调试结果保存为公共样本。保存时样本名称按照[任务名称]_[目标表名称]自动生成，重复保存时同名样本将被更新。
  • 管理样本：通过公共样本管理列表可查看样本详情、编辑/删除样本，或查看样本引用情况。
  • 使用样本：可在任务调试或任务测试功能中引用公共样本。

4.SQL 任务支持测试比对调试结果。

• 功能介绍：
  • 支持比对任务调试结果和用户选定的结果样本，帮助用户验证任务逻辑和特殊极值等情况。
• 任务使用注意事项：
  • 任务测试需在任务已通过语法检查的情况下进行。
• 功能详细使用步骤：
  • 点击任务测试按钮打开任务测试弹窗，选择源表和目标表分别要使用的测试样本，点击开始测试。源表测试样本将作为任务调试的数据来源，目标表测试样本将作为调试结果的比对参照物。
    • Tip：可仅选择想进行测试的源表和结果表样本进行测试，确保想要比对的目标表的上游源端有选中测试样本即可，无需为全部源表和目标表都勾选测试样本。
  • 测试结束后可在任务测试弹窗中查看测试结果，结果将分为表级别比对结果、字段级别比对结果和字段级别比对结果详情三部分展示，字段比对详情支持下载。

5.支持搜索数据源或表关联的任务列表。

• 功能介绍：
  • 支持通过数据源名称、数据源标识、流表名称、topic 名称、物理表名称确定要查询的资源后，获取对应资源的血缘关联的任务列表。
• 功能使用注意事项：
  • 当前仅支持搜索 MySQL、Oracle、Postgresql、Kudu、TiDB、Elasticsearch、HBase、Redis、Kafka、Pulsar、RocketMQ、Hive、Starrocks、Doris 类型数据源或表或Topic。 其中不支持搜索 hive 数据源名称。
  • 搜索范围为本项目组内资源及其关联的任务。
• 功能详细使用步骤：
  • a.功能入口：实时运维模块一级导航栏-任务血缘搜索。
  • 选择待搜索的资源类型后输入资源名称，在下拉框中选择要搜索血缘关系的具体资源。
    • 搜索数据源名称和数据源标识时，下拉框中同时展示数据源类型。
    • 搜索流表名称时，下拉框中同时展示流表库及流表归属的项目-集群，如为公共流表则展示公共流表的来源项目-集群。
    • 搜索Topic名称时，下拉框中同时展示 topic 归属的数据源名称，如topic所属数据源未在平台进行登记，则展示归属数据源的url。
    • 搜索表名称时，下拉框中同时展示库名及数据源名称，如该表所属数据源未在平台进行登记，则展示归属数据源的url。
  • 选择资源后，下方展示该资源关联的任务列表。

6.告警渠道新增群聊告警。

• 功能介绍：
  • 若用户的企业微信群、钉钉群等渠道已对接平台告警组件，则支持向群聊中发送告警信息并@指定用户。
• 功能详细使用步骤：
  • 在告警弹窗中，勾选需发送告警的群聊渠道，并配置群聊报警接受群。
    • 报警接收群渠道：选择要接收告警的群聊渠道。
    • 报警接受群：选择该渠道要接收告警的群聊名称。
    • 报警接收人：选择告警消息要@的用户，默认选中该任务的创建人。
  • 在实时开发管理-项目管理-默认告警配置中也可配置群聊告警的默认配置。

7.新增流表登记 Open API 和血缘搜索 Open API。

• 详情请见 Open API 文档。

1.流表负责人支持变更。

2.流表数据解析获取数据时支持使用用户指定的kafka group id。

3.默认运行配置功能增加Flink高级配置和自定义配置选项。

1.修复实时日志采集问题。

版本：v3.9.15

1.支持查看实时 SQL 任务内和任务间血缘。

• 功能介绍：
  • 新增实时任务血缘查看功能，通过解析 SQL 任务的代码，获取任务中使用的表，构建任务和表间的血缘关系，帮助用户定位任务或表上下游，辅助进行问题定位或影响分析。
• 功能使用注意事项：
  • 本仅支持解析使用了 Flink 1.12或1.14版本引擎的 SQL 任务内的血缘关系。仅支持展示 MySQL、Oracle、Postgresql、Kudu、TiDB、Elasticsearch、HBase、Redis、Kafka、Pulsar、RocketMQ、Hive、Starrocks、Doris 数据源类型的血缘关系。
• 功能详细使用步骤：
  • a. 功能入口：任务运维详情页-任务血缘。
  • b. 任务内血缘：
    • 展示任务内的表与表之间的关联关系，节点为表，节点名称按表在任务实际使用时的名称展示，如为流表则展示流库.流表，如为 DDL 则展示 DDL 中定义的表名称，如为元数据开发方式则展示三元组名称。
    • 点击节点可查看节点详情。支持通过表名进行节点搜索。
    • 当任务为运行中状态时，血缘连线为实线，代表活动血缘；当任务为非运行中状态时，血缘连线为虚线，代表静默血缘。
  • c. 任务间血缘：
    • 展示任务间的血缘关系，节点为任务，连线为表（实际存在的物理表），主节点为当前任务。
    • 点击节点可查看节点任务详情。点击连线可查看连线对应的表详情。
    • 支持通过任务名进行节点搜索。暂不支持通过表名进行连线搜索。支持通过表的数据源类型筛选血缘关系。
    • 当任务为运行中状态时，血缘连线为实线，代表活动血缘；当任务为非运行中状态时，血缘连线为虚线，代表静默血缘。
    • 同一任务最多支持查看3层上下游血缘。

2.支持监控任务自定义指标。

• 功能介绍：
  • 新增自定义指标上报和监控功能，帮助用户监控任务内的业务指标。
• 功能使用注意事项：
  • 单个任务最多支持上报20个自定义监控指标。
  • 支持 Counter、Gauge、Meter、Histogram 四类指标上报。

• 功能详细使用步骤：

  • a. 功能入口：实时开发-依赖配置。

  • b. SQL 任务自定义监控指标配置：

    • 平台已将支持上报的四类指标所需函数作为平台公共函数置入 UDF Studio 的系统函数中。当用户需要在 SQL 任务中上报自定义监控指标时，根据对应函数的使用方式在 SQL 代码中引用函数上报需要监控的指标。具体示例请见实时计算用户手册示例。
    • 用户保存 SQL 代码后，平台将自动解析和获取任务中使用的自定义监控指标名称和函数类型，展示在任务的依赖配置中，用户可进行确认。

  • c. Jar 任务自定义监控指标配置：

    • 用户自行在 Jar 任务代码中按平台示例上报自定义指标监控。
    • 需监控的指标由用户自行在依赖配置-自定义指标监控列表中进行声明。

  • d. 自定义监控指标查看：当任务配置了自定义监控指标，则在任务提交上线后，在任务运维详情页-自定义监控指标tab页面可查看上报的指标的监控图表。

3.新增 Jar 任务增删改查 Open API。

• 功能说明：详情请见 Open API 开发文档。

1.优化 SQL 任务中 SQL 块高度适配，扩展代码框高度，提升使用体验。

2.优化自动启停时间配置校验逻辑，支持跨天调度。

3.优化任务状态展示，新增未知任务状态用于标识未从 yarn 集群获取到任务状态的任务。

4.优化部分前端组件视觉和交互效果。

1.修改实时任务状态翻转不同步问题。

2.修复HBase流表创建时无法登记 row 字段的问题。

3.修复重启时无法使用最新checkpoint或最新savepoint问题。

4.修复文件依赖未进行同名校验的问题。

实时开发SQL文档（非子产品）

版本：v1.4.10

• Flink 1.14 SQL任务支持sink到Iceberg 1.0
• Flink 1.14 支持 Lookup Join Shuffle 对接 Arctic 维表
• Flink 1.14 支持 TDSQL 数据源
• Flink 1.14 支持达梦数据源
• 支持公共流表

• Flink1.14与1.12 connectors功能对齐-ClickHouse
• 【debug】调试生成完整三元组sink表
• 【debug】旧的血缘接口使用新血缘解析结果，且保证调试时输出表名与血缘一致
• 【debug】优化对多sink表的支持
• 适配metahub支持oracle

• 防止jdbc维表关联relnode优化后用到官方table导致定制功能失效
• 解决Flink HBase sink cdc 数据偶发性数据不一致问题
• 修复hive2oracle任务调试数据直接写入目标表的问题
• 修复Starrocks 读元数据任务字段类型映射错误的问题

版本：v1.4.9

• 新增sloth血缘服务端模块
• 在线调试支持空字段数据

• redis连接器1.14完善

• 修复在线调试报不支持hint语法的异常
• 修复Doris数据源元数据方式使用报错
• 修复1.14部分字段写入时报EXPR$异常

任务运维中心

版本：v1.8.9

1.实例详情页关系视图支持查看节点信息

• 功能介绍：
  • 实例详情页的关系视图中，点击节点可以查看节点运行时长等信息。

2.置成功时支持输入备注信息

• 功能介绍：
  • 原先置成功后无法记录置成功原因，导致后续无法复盘任务状态，此次升级后支持输入备注信息，同时在实例诊断标签页可以查看备注信息。

3.基线完成通知接入电话告警智能取消

• 功能介绍：
  • 若基线触发条件选择了基线完成，通知方式选择电话，并开启了电话告警智能取消，则基线完成的通知不再发送电话告警，避免打扰值班人员。

UDF Studio

版本：v1.0.9.1

1.修复删除按钮不可用的问题

• 功能介绍：

  • 删除按钮在选中部分函数后，不可用的问题修复。

版本：v1.0.9

1.支持实时计算平台的预置函数

• 功能介绍：

  • 支持实时计算平台预置系统函数。

安全中心

版本：v3.9.7

1.支持给数据分类授权

• 功能介绍
  • 支持基于数据分类的数据授权，可在数据分类模块将表关联到分类中
• 功能使用注意事项
  • 某一分类授权后，分类下的新增数据也会被自动授权
  • 授权给分类时支持选择分类下数据范围，选择项目组，则授权给某分类时，拥有当前项目组下该分类的所有表权限，包含后续新增表；选择项目，则授权给某分类时，仅拥有当前项目下该分类的所有表权限，包含后续新增表
  • 项目组管理员和负责人分类下数据范围可选当前项目组，普通项目管理员只能选择当前项目
• 功能详细使用步骤
  • 功能入口1：安全中心-安全管理-数据授权-批量授权-授权表 待添加表右上方点击切换，可以根据分类筛选表，进行快速的批量授权
  • 功能入口2：安全中心-安全管理-数据授权-批量授权-授权分类 支持对整个分类进行授权

1.数据识别页面对接功能权限

• 功能介绍：
  • 数据识别的页面访问和识别任务的新建编辑权限分别对接项目级别角色管理功能权限，可授权给项目下角色和成员

2.权限申请和数据批量授权支持根据安全等级筛选字段

• 功能介绍：

  • 权限申请和数据批量授权支持根据安全等级筛选字段

3.角色管理功能权限交互优化

• 功能介绍
  • 角色管理功能权限支持同一子产品内权限整体编辑和保存，选择全部操作时展示操作具体内容
• 功能详细使用步骤
  • 功能入口：安全中心-安全管理-角色管理-功能权限
  • 功能权限左下角增加整体编辑按钮，点击后进入整体编辑状态，分别配置各个子产品功能权限后，点击整体保存按钮，所有编辑操作全部生效
  • 若子产品模块已经进行了权限配置则展示展示绿色标记，若想删除某条配置需点击配置规则旁边的删除按钮
  • 无论是编辑态还是展示态，操作类型选择全部操作时，所有的操作在下方展示出来，复选框呈打钩置灰状态

4.我的权限-有权限的表中筛选条件库支持选全部

• 功能介绍
  • 有权限的表库下拉支持选择“全部”

5.操作审计筛选条件级联优化

• 功能介绍
  • 选中某个项目组之后 再支持选择项目和集群筛选条件，选中某个事件来源之后 再支持选择操作类型和资源类型筛选条件

数据资产地图

版本：v2.9.2

1.数据血缘支持以SDK形式集成到第三方门户系统中。

• 功能介绍：
  • 客户内部自有门户系统，需要将地图中数据血缘模块以SDK形式集成到内部门户系统中，以便在客户的门户中可查看数据血缘信息。

版本：v2.9.1

1.表血缘支持下载

• 功能介绍：
  • 表血缘查看页面，支持下载当前页面的表血缘到Excel中。

1.新建目录时不支持首尾存在空格

• 功能介绍：
  • 之前存在用户新建目录时不小心输入了空格，导致在导入元数据时系统检测到Excel中目录没有空格，和页面上有空格的目录不一致，最终无法导入元数据。为了优化该类问题，故在新建目录时提醒用户不支持收尾存在多余的空格，保障导入导出目录名称的一致性。
• 使用步骤
  • 在「配置管理-目录配置」中，新建自定义目录时若收尾存在多余的空格，系统会提示用户去掉空格。

2.页面性能提升

• 功能介绍：
  • 之前有用户反馈元数据管理模块的页面打开性能较慢，故平台进行了代码优化后来提升页面打开的性能。

3.元数据归属多目录时，导出后支持导入

• 功能介绍：
  • 之前元数据归属目录页面上和导入校验时均只支持单选，后来页面支持归属目录多选。 本次优化后在导入场景中也支持元数据归属多个目录。

4.元数据更新的OpenAPI在更新安全等级后需要同步给安全中心

• 功能介绍：
  • 元数据更新的OpenAPI支持更新表和字段的安全等级，之前更新后若元数据是发布态，没有支持将更新后的安全等级推送给安全中心，本次优化后支持通过OpenAPI更新的安全等级可实时推送给安全中心，保证安全等级的一致性。

版本：v2.9.0

1.血缘图支持API节点

• 功能介绍：
  • 如果表有生成API，则表血缘中能够展示该表的下游API节点
• 注意事项：
  1. 表和API的血缘关系通过数据服务推送生成，数据服务中通过表生成草稿（已创建）/已发布/已下线的API，均会在地图的血缘图中展示该API信息。目前仅支持数据服务中通过向导模式生成的API血缘，脚本模式生成的API，血缘图暂不支持展示。
  2. 之前查看表的下游影响，展示的只有已发布的API，本次迭代后只要表和API建立血缘关系，均可在下游影响里查看到，并且会标注API状态，API状态包括草稿（已创建）、已发布、已下线。
• 使用步骤：
  • 在数据服务模块中新建API，并选择某表，基于该表的API创建完成后，能够在地图血缘图中查看到表的下游包含API信息

2.支持根据采集的数据源归属的业务系统自动按业务系统名称进行元数据归类

• 功能介绍：
  • 数据源登记时支持用户填写该数据源的业务系统信息，元数据采集了对应的数据源后，系统支持根据数据源所在的业务系统名称自动分类展示该数据源下的表，在元数据注册模块自动创建的目录结构为「业务系统名称-数据库名称」，通过该目录结构方便用户快速查看对应业务系统下对应库下的表列表。
• 使用步骤：
  • 第一步：登记或编辑已有的数据源，补充数据源的业务系统信息例如人力管理系统；
  • 第二步：新建元数据采集任务，采集上一步登记的数据源下的库表；
  • 第三步：元数据采集完成后，可以在元数据注册模块，查看「系统目录-业务系统-人力管理系统」下的库表列表。

3.元数据注册时支持原始字典的表格式输入、文本解析、批量导入

• 功能介绍：
  • 之前元数据注册时，仅支持在文本框里手动填写原始字典信息，用户反馈填写格式经常出错和查看不方便。本次迭代新增支持多种方式来维护原始字典信息，包括表格式一行行输入码值、文本粘贴批量展示多行码值、Excel导入批量上传码值等，提升字典维护的效率。
• 注意事项：
  • 之前版本查看原始字典是一段码值文案，本次迭代后查看原始字典则会弹框展示表格，表格形式展示字典的码值列表，方便用户查看。
• 使用步骤：
  • 第一步：进入元数据注册页面，点击字段信息中原始字典的“配置字典值”按钮
  • 第二步：在配置页面中，可以手工一行行输入字典码值，也可以文本粘贴批量解析出字典码值，同时也支持Excel导入字典码值。

4.支持元数据大批量异步导入，且可实时展示导入进度

• 功能介绍：
  • 之前元数据单次导入仅支持50张表600个字段，用户反馈表多的情况下例如几千张表导入比较麻烦，且每个sheet页记录一张表，不方便对表进行批量编辑和查看，也不方便逐个sheet找表。综合这些原因，本版本对元数据导入导出模板进行了调整，并且导入量级做了较大提升，从原来的单次导入50张表优化成了单次支持导入2000张表，同时导入后可随时查看导入进度，导入过程中可离开导入页面做其他操作。
• 注意事项：
  • 之前元数据导入模板是一张表一个sheet页，本次模板调整后所有表都汇总在同一个sheet页中。考虑到历史基于旧模板已经导出的数据的兼容，平台支持新旧模板的导入，后续增量的数据仅支持基于新模板导出和导入。
• 使用步骤：
  • 第一步：在元数据注册页面点击“批量导入”，进入到导入流程页
  • 第二步：可预览新旧模板，根据实际情况上传并导入，可以随时查看导入的实时进度
  • 第三步：查看导入进度，导入完成后可查看导入成功或导入失败的列表，导入失败的列表可以下载到本地

5.元数据采集时支持设置将字段描述自动填充为字段中文名

• 功能介绍：
  • 在创建元数据采集任务时，用户希望能默认将采集到的字段备注填充为字段中文名称，故在采集任务中增加该配置项，这样可以批量获取字段的中文名称初始值，减少一些人工维护成本。
• 使用步骤:
  • 在元数据采集任务的配置中，开启该项配置项，采集完成后查看元数据字段信息即可。

6.元数据中的字段关联标准数据元后，支持自动填充字段相关标准信息

• 功能介绍：
  • 用户在数据标准中维护了数据元的中英文名称、字段类型、数据格式、取值范围等信息后，在元数据管理中对字段关联了该数据元后，需要能将数据元的规范信息能够自动同步到该表的字段上，实现标准信息和元数据信息的打通，保障信息的规范性和一致性。本次优化后，字段关联某数据元后系统会弹框提示相关信息是否需要同步覆盖，勾选确认后即可覆盖标准信息到元数据中。后续若需要再同步更新数据元信息，可以按需点击数据元后的对比按钮来实现信息同步。
• 使用步骤：
  • 数据标准模块中发布了相关的数据元，元数据编辑时给字段关联相应的数据元后，即可按需勾选需要同步的信息。

1.元数据注册时支持表和字段的中文名称重复

• 功能介绍：
  • 某些客户的业务场景需要支持同一库下表存在相同的中文名称，同一张表里字段存在相同的中文名称，为了满足该场景产品上不做重名限制，允许重复的中文名称。
• 使用步骤：
  • 元数据编辑时，可填写重复的表中文名称和字段中文名称。

2.元数据采集支持获取字段的精度

• 功能介绍：
  • 元数据采集后支持获取表的物理信息例如表物理名称、表描述、字段物理名称、字段描述等，在此基础上某些字段有长度精度信息，也需要能够采集并且展示在元数据信息中。
• 使用步骤：
  • 元数据采集后，根据实际字段类型中的精度来展示在元数据中即可。

3.元数据关联的数据元名称变更后，支持同步更新

• 功能介绍：
  • 之前用户反馈过数据元重命名后，在地图表详情中查看仍显示旧名称。本次优化后只要数据元有重命名，地图的表字段信息中会实时展示最新的名称。
• 使用步骤：
  • 在数据标准中更新数据元名称并发布后，查看地图表详情字段关联的数据元为最新名称。

4.菜单展示优化

• 功能介绍：
  • 之前地图首页侧边栏菜单默认会折叠，用户反馈经常查看其他菜单模块需要手动展开比较麻烦。本次优化后默认菜单展开，且系统会记住用户上次的展开/折叠状态。

5.表描述搜索命中后支持高亮显示

• 功能介绍：
  • 关键字搜索名中表描述后，搜索结果中的描述文案支持高亮展示。

版本：v2.8.2

1.查看表详情OpenAPI，新增支持hive视图表类型

• 功能介绍：
  • 之前查看表详情的OpenAPI没有支持hive视图表，本次适配hive视图表。

数据治理360

版本：v3.0.7

1.对接发布中心的访问功能权限配置

• 功能介绍：

  • 在安全中心项目级，产品页面中支持是否开放治理360的产品访问功能，若针对某角色或成员未授权"数据治理360"的产品页面访问权限，则进入治理360产品后将提示无权限。要在安全中心授权产品页面访问权限后，才可以针对治理360再授权其他模块的权限。

1.离线开发提供的查询节点名称的接口进行了调整，治理360同步适配，优化展示节点名称的内容。

数据质量中心

版本：v3.2.0

1.质量监控导入导出支持导出异常数据存储信息、调度配置、跨表跨字段规则

2.数据比对任务支持配置忽略精度差异

3.外部数据源监控任务执行账号逻辑修改

• 开启源系统账号映射时，使用数据源映射账号 （开启了源账号映射，如果没配映射，就是数据源没权限，运行失败）；

• 未开启源系统账号映射时，使用登记数据源时填写的账号。

4.任务包导入导出支持导入导出调度设置、异常数据存储、跨表跨字段规则

5.数据比对结果存储位置，支持选择测试库/非测试库，再选择具体的库

6.数据比对、形态探查、质量监控一致性规则支持kudu表任务

数据服务

版本：v1.6.4.1

1.API血缘功能完善。

• 功能介绍：

  • API血缘接口完善，API创建成功推送血缘，API删除则同步删除血缘，API升级/回滚更新血缘，对应在数据地图侧可查看API血缘信息。

2.修复引用UDF Studio中的函数后，重新编辑函数名变为ID的问题

• 功能介绍：

  • 引用UDF Studio中的函数后，重新编辑会出现函数名称变为了ID的问题修复。

发布中心

版本：1.0.5

1.发布实例包详情页资源增加“最近一次发布状态”展示和筛选

• 功能介绍：
  • 发布实例包展示可发布的资源，增加显示资源的状态展示和筛选，包括：成功、失败、发布中、未发布过，方便操作者查看和过滤对应的资源。

2.资源列表的发布池改为显示快照信息

• 变更说明：
  • 发布池的资源在之前的版本中，采用查看时获取最新信息的策略，针对发布池资源过多时，会导致加载较慢的问题，因此此次改为展示快照信息。
  • 系统会每天定时进行最新信息刷新，同时页面页提供了即时同步资源信息的功能。

控制台

版本：v1.3.4

1.【数据源管理】API数据源支持测试连接

• 功能介绍：
  • API数据源支持测试连接
• 功能使用注意事项：
  • API数据源登记时，基于API请求详情的首个自定义参数测试数据源连通性。
    

2.【数据源管理】传值单选字段支持搜索

• 功能介绍：
  • 项目组配置-数据源登记模板配置中，字段类型为传值单选时，支持配置【是否作为搜索项】。
    

3.【数据源管理】系统内置项增加业务系统字段

• 功能介绍：
  • 项目组配置-数据源登记模板配置中，系统内置项增加“业务系统”字段。默认作为选填项，作用范围为物理数据源，支持在列表中展示，支持作为搜索项。
• 功能使用注意事项：
  • 可根据业务需要修改【值域】、【是否必填】、【作用范围】、【是否启用】。
  • 如无需登记数据源的业务系统，可配置禁用此字段，禁用后数据源登记时不再展示业务系统字段。
  • 支持由项目组负责人/项目组管理员配置业务系统值域，值域将作为数据源登记时业务系统的下拉选项范围。

4.数据库中的手机号字段加密存储

• 功能介绍：
  • 出于安全考虑，数据库中的手机号字段加密存储，不影响平台的手机号展示和报警等服务使用。

版本：v1.3.3

1.【调度日历】支持添加自定义日历，自定义日历为项目粒度，在项目间隔离