Easydata更新记录(2022)
更新时间: 2024-12-04 15:38:53
- 6.5.0 Update 2.2
- 6.5.0 Update 2.1
- 6.5.0 Update 2.0
- 6.5.0 Update 1.9
- 6.5.0 Update 1.8
- 6.5.0 Update 1.7
- 6.5.0 Update 1.6
- 6.5.0 Update 1.4
- 6.5.0 Update 1.3
- 6.5.0 Update 1.1
- 6.5.0 Update 1.0
- 6.5.0 Update 0.9
- 6.5.0 Update 0.8
- 6.5.0 Update 0.7
- 6.5.0 Update 0.6
- 6.5.0 Update 0.4(0.5)
- 6.5.0 Update 0.3
- 6.5.0 Update 0.2
- 6.5.0 Update 0.1
- 6.5.0
- 6.4.0 Update 0.3
- 6.4.0 Update 0.2
- 6.4.0 Update 0.1
本文为您介绍数据开发及管理平台产品更新动态,帮助您及时了解平台的新增功能及功能优化等,快速掌握产品情况。
6.5.0 Update 2.2
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 安全中心(3.9.3) | 新增 | 权限中心支持列权限申请。 | 2022.12 | - |
新增 | 通过授权的形式实现行级权限控制,支持所有hive数据类型,并提供对应的操作运算符。 | - | |||
新增 | 数据授权支持列权限授权。 | - | |||
新增 | 安全接口人下拉支持name/account展示形式。 | - | |||
新增 | 审批配置审批人下拉修改为nane/account。 | - | |||
新增 | 操作审计支持下载日志。 | - | |||
新增 | 视图行列权限约束。 | - | |||
新增 | 权限治理展示行级权限。 | - | |||
新增 | 我的权限展示行级权限。 | - | |||
2 | 指标系统(2.7.0) | 新增 | 确权内容调整为确权主管部门。 | 2022.12 | - |
新增 | 自定义目层级扩到11级。 | - | |||
新增 | 指标对接字段翻译和安全等级预测的NLP接口。 | - | |||
新增 | 系统内置字段与自定义字段放在一起调整前端注册或展示排列顺序。 | - | |||
新增 | 支持通过业务口径负责人筛选指标。 | - | |||
新增 | 产品运营大盘-子产品对接。 | - | |||
新增 | 支持配置指标名称唯一性要求,按照要求进行检测。 | - | |||
新增 | 指标搜索接口入参出参调整。 | - | |||
优化 | 指标导出后,修改某字段重新上传,上传成功保存后,字段多了[" "]。 | - | |||
优化 | /asset/v3/search (指标部分)底层表及字段说明文档提供。 | - | |||
优化 | 指标导入根据自定义配置模板调整并优化导入逻辑。 | - | |||
指标系统(2.7.1) | 新增 | 支持根据数据元标识批量获取关联的已发布指标。 | 2022.12 | - | |
3 | 数据资产地图(2.5.0) | 新增 | 自定义目录支持重名。部分用户场景中存在不同分类下有相同目录的要求,或者父子目录有同名的场景,为了满足这类场景,产品支持不同分类下可存在同名目录,父子间可存在同名目录。 | 2022.12 | - |
新增 | 自定义目录在有元数据表引用的情况下,也能支持强删。使用场景是:用户原先划分的目录,有表引用,但是后期目录需要废弃,由于有表引用导致不能删除,需要先解除引用关系,但是解除引用关系比较麻烦,所以需要能够强删目录。产品上会提醒用户删除风险,经过用户确认后则可以删除目录成功。 | - | |||
新增 | 元数据确权申请支持免审批。使用场景是:当前用户既是申请人,同时又是对应确权部门的治理专员,为了简化用户自己发起自己审批的流程,产品上支持免审批。 | - | |||
优化 | 数据地图资产搜索OpenAPI增加搜索参数项、返回信息等。 | - | |||
优化 | 首页统计信息增加说明文案。 | - | |||
优化 | 表生命周期设置增加外部表删除合规性校验。 | - | |||
优化 | 字段搜索列表页增加表描述信息。 | - | |||
优化 | 资产目录详情页,资产清单页面打开性能提升。 | - | |||
优化 | 标准目录跳转地址优化,原先是跳转到数据标准默认第一个菜单页,优化后是跳转到数据标准的资源目录页面。 | - | |||
优化 | 表详情页字段列表分页默认为100条/页。 | - | |||
数据资产地图(2.5.1) | 新增 | 资产搜索OpenAPI接口增加参数,支持指标系统指标的物理名称、中文名称字段。 | 2022.12 | - | |
4 | 元数据中心(5.5.0) | 新增 | 支持信创数据库Vastbase G100 V2.2.10版本。 | 2022.12 | - |
新增 | SFTP 支持SSH认证。 | - | |||
新增 | Kafka数据源新支持登记版本号2.2.0、2.0.0、2.3.1、2.7.1,新增版本支持测试连接。 | - | |||
新增 | ddl服务支持spark3.x版本。 | - | |||
优化 | MySQL完善元信息获取错误码规则。 | - | |||
优化 | drop alter事件监听从metastore侧转移到hive spark侧。 | - | |||
优化 | 增加Hive数据源连接池监控。 | - | |||
优化 | 血缘存储层Neo4j、HBase弱依赖处理。 | - | |||
优化 | 缓存加速接口中,增加传入多个table name来查询的方式。 | - | |||
优化 | v4 owner接口增加开关参数,判断owner的返回逻辑是否跟表详情owner一样。 | - | |||
5 | 数据传输(3.1.1) | 新增 | 数据来源或去向为PostgreSQL时,新增支持13.1版。 | 2022.12 | - |
优化 | 创建任务的openapi接口新增数据脱敏功能。 | - | |||
优化 | 数据来源为MySQL,批量创建任务报错提示文案优化。 | - | |||
优化 | 并发读取优化,新建任务时,默认开启并发读取功能。 | - | |||
优化 | 数据来源端,数据过滤的类型为流水型、选择字段的类型为时间戳时的流水型读取逻辑变更。 | - | |||
数据传输(3.2.0) | 新增 | 支持读写Vastbase G100数据源。 | 2022.12 | - | |
新增 | 支持读写协议为sftp、认证方式为ssh key认证、密钥格式为RSA的FTP数据源。 | - | |||
6 | 控制台(1.2.13) | 新增 | 数据源管理:支持登记Vastbase G100数据源,用于数据传输读写。 | 2022.12 | - |
新增 | 数据源管理:数据源为FTP、协议为sftp时,支持ssh key认证,用于数据传输读写。 | - | |||
优化 | 数据源管理:Kafka数据源登记新增版本,版本增加:2.0.0、2.2.0、2.3.1、2.7.1。 | - | |||
优化 | 数据源类型的名称文案优化,大小写改为与登记数据源的数据源类型选择页保持一致。 | - | |||
优化 | 导航栏或topbar点击“流程协作与通知中心”时,由跳转旧版【流程协作与通知中心】改为跳转新版【流程协作与通知中心】。 | - | |||
6 | 离线开发(7.0.1) | 新增 | 离线开发支持查看任务标识,复制到任务标识到第三方平台,当openapi网关侧为第三方平台创建了AK/SK时,第三方平台可以通过补数据的接口触发任务的运行。 | 2022.12 | - |
离线开发(7.0.2) | 新增 | 自助分析的配置管理中支持设置不同安全等级的审批流程,在查询结果页面支持展示字段的安全等级(安全等级在安全中心的数据保护模块进行配置),下载结果时按照字段中最高安全等级的策略进行审批。 | 2022.12 | - | |
新增 | 支持对查询结果中的字段进行排序,点击排序按钮默认升序,再次点击排序按钮降序,再次点击之后取消排序。 | - | |||
新增 | 项目中心中支持查看集群下的已使用存储配额并支持存储配额低于一定百分比时报警。 | - | |||
新增 | 新建项目时支持添加项目描述,展示项目名称的模块支持查看项目描述,方便用户在有很多项目时更了解每个项目的信息。 | - | |||
新增 | GPSQL、MySQL、OracleSQL、VerticaSQL支持输出参数,支持将上游节点的结果输出给下游节点使用。 | - | |||
优化 | 版本列表中支持展示所有版本,仅支持查看最近14个版本的详情。 | - | |||
优化 | 基于任务运维是否有高级功能控制是否显示值班组。 | - | |||
优化 | 运营大盘指标接入。 | - | |||
优化 | 配置管理页面增加返回按钮。 | - | |||
优化 | 解析输入输出表时针对没有库展示的优化。 | - | |||
优化 | 发布中心提交上线的接口中增加任务提交上线的备注信息。 | - | |||
优化 | 自助分析操作审计优化。 | - | |||
优化 | 对udf的解析规则由“udf”开头改为同时兼容“udfstudio”开头。 | - | |||
优化 | 对节点的输入参数添加分页。 | - | |||
7 | UDF Studio(1.0.5) | 新增 | 新建函数,默认前缀为udfstudio,适用于离线开发&自助分析、数据服务和实时计算产品。 | 2022.12 | - |
优化 | 对于已经上线的UDF,编辑和变更不会更改前缀,仍为udf,对其进行复制会生成新的udfstudio的前缀;对于未上线的函数,重新编辑则会变更为新的前缀udfstudio,对其进行复制也会生成新的前缀;对已上线的函数下线,未经修改直接上线,则前缀会更新为udfstudio_。 | - | |||
优化 | 前端接入hubble SDK,获取页面性能指标。 | - | |||
8 | 任务运维中心(1.0.5) | 新增 | 老版任务运维中心入口隐藏。 | 2022.12 | - |
新增 | 任务详情页面支持查看跨项目依赖的下游任务关联基线。 | - | |||
新增 | 任务列表筛选基线需展示任务关联的上游任务。 | - | |||
新增 | 周期实例大盘失败实例支持点击查看列表。 | - | |||
优化 | 任务解绑基线的交互优化。 | - | |||
优化 | 值班人员支持批量删除。 | - | |||
新增 | GPsql、MySQL、OracleSQL、VerticaSQL节点支持输出赋值参数。 | - | |||
新增 | 批量补数据选择源头任务增加筛选项。 | - | |||
优化 | 重跑记录中“提交人”改为“重跑操作人”。 | - |
6.5.0 Update 2.1
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 发布中心(1.0.1) | 新增 | 实时SQL任务跨集群或项目发布。 | 2022.12 | - |
新增 | 实时流表跨集群或项目发布。 | - | |||
新增 | 实时文件跨集群或项目发布。 | - | |||
2 | 数据标准(1.9.1) | 新增 | 支持字典批量导入。 | 2022.12 | - |
新增 | 支持数据字典按发布版本,按状态导出。 | - | |||
新增 | 编辑标准若未做任何修改时不允许保存。 | - | |||
新增 | 新增两套行业模板。 | - | |||
优化 | 自定义字段值的存储长度改为text。 | - | |||
优化 | 优化文件上传备注框提示文案少个括号。 | - | |||
3 | 数据质量 (2.8.0) | 新增 | 支持项目组级单表报告。 | 2022.12 | - |
新增 | 对接产品运营大盘。 | - | |||
优化 | 表信息同步优化,创建修改任务触发表信息同步,定时同步改成四个小时一次。 | - | |||
优化 | 表级质量报告异常规则历史趋势时间戳优化。 | - | |||
优化 | 监控任务导入导出暂时去掉MD5。 | - | |||
4 | 元数据中心(5.4.2) | 优化 | 增加配置项解决vertica消费堆积问题。 | 2022.12 | - |
5 | 数据资产地图(2.4.1) | 优化 | “数据地图”改名为“数据资产地图”。 | 2022.12 | - |
6 | 数据传输(3.1.1) | 优化 | 数据来源或去向为PostgreSQL时,新增支持13.1版本。 | 2022.12 | - |
7 | 控制台(1.2.12) | 优化 | 数据源登记:数据源为PostgreSQL时,新增13.1版本。 | 2022.12 | - |
优化 | 首页:导航栏、topbar、流程图、使用手册文案修改-“数据地图”改名为 “数据资产地图”。 | - | |||
优化 | 首页用户的工单相关数据由旧版流程协作中心的【待我审批】【我的申请】的工单数改为新版流程协作中心的【待我处理】【我的发起】数据。 | - | |||
优化 | 新增接口:控制台支持查询某个数据源下所有源系统账号列表,供数据服务调用。 | - | |||
优化 | 产品运营大盘指标保存流程优化。 | - |
6.5.0 Update 2.0
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 离线开发(6.6.7) | 新增 | 离线开发支持轮询节点。支持轮询判断上游系统是否就绪,保证抽取的数据都是准确可靠的。通过自定义输入成功的标识,和输出的结果进行比对,如果输出的结果恰好为成功的标识,则认为上游系统已经就绪,下游任务可以开始执行。 | 2022.12 | - |
新增 | 【离线开发】嵌套流节点支持循环执行。支持在嵌套流节点中循环执行一个离线开发任务,在每次循环时支持传入一组参数,每次循环将生成一个实例。可以实现嵌套一个包含数据同步节点的任务,将不同数据源下不同的表抽取到hive表中。 | - | |||
新增 | 【自助分析】查询结果支持同时展示多个运行结果。 | - | |||
新增 | 【离线开发】SQL节点的Spark引擎支持输出参数。 | - | |||
新增 | 【自助分析】页面支持按照集群进行访问控制。支持在功能权限中配置用户或角色可以访问的集群范围,未授权的集群将不可访问。 | - | |||
优化 | 【自助分析】结果中内容过长时的展示太高问题修复。 | - | |||
优化 | 【离线开发】线上模式查看节点执行情况跳转从老运维改到新运维。 | - | |||
优化 | 【离线开发&自助分析】复制表名优化为复制库表名称。 | - | |||
优化 | 自助分析下载结果条数修复,下载结果条数优化为实际下载的数据条数。 | - | |||
优化 | 平台管理的项目详情中点击注册hive、impala、yarn跳转之后的返回按钮支持返回到当前项目-集群的资源管理页面。 | - | |||
优化 | 客户未购买数据质量中心时节点右键隐藏“配置质量监控”。 | - | |||
优化 | SQL比对弹框大小调整。 | - | |||
优化 | udf展示时由原来的按照任务负责人进行鉴权改为按照当前操作人进行鉴权。 | - | |||
2 | 任务运维中心(1.8.0) | 新增 | 新增任务血缘管理,支持血缘诊断与查看全局血缘。 | 2022.12 | - |
新增 | 基线告警增加“基线关联实例运行变慢”告警类型。 | - | |||
新增 | 项目组运维大盘增加筛选项并支持跳转失败实例,项目组运维大盘支持时间、所属基线与运行方式的筛选,失败实例/节点支持点击查看详情。 | - | |||
优化 | 已调度任务支持补数据设置周期。 | - | |||
优化 | 值班组成员被删除后值班人员补齐规则优化。 | - | |||
优化 | 任务运行超时的计算逻辑修改,原先任务运行超时的计算,是从进入“就绪”状态开始计算,这次优化后变更为从进入”运行中“状态开始计算。 | - | |||
任务运维中心(1.8.1) | 新增 | 嵌套流节点支持循环执行的相关改造,支持查看执行详情,重跑和补数据支持指定循环参数。 | 2022.12 | - | |
优化 | 新增轮询节点,在任务运维中心可查看节点,对节点进行重跑、补数据等操作。 | - | |||
优化 | 周期实例列表支持搜索任务名称和节点名称展示被嵌套调起的实例ID。 | - | |||
3 | 流程协作与通知中心(2.3.6) | 新增 | 【流程协作与通知中心】默认跳转新流协,由新流协跳转老流协。 | 2022.12 | - |
新增 | 【工单详情页面优化】显示新工单id,审批操作吸底。业务信息优化表格展示。 | - | |||
新增 | 控制台切换新老流协跳转需求。 | - | |||
优化 | 【接口需求】查询流程详情接口,需要在接口返回中添加申请信息的跳转链接。 | - | |||
优化 | 【接口需求】流程引擎加签需推送oa通知。 | - | |||
优化 | 【数据标准详情页面优化】数据标准业务信息增加字段,优化摘要和详情的属性重复渲染。 | - | |||
优化 | 【数据传输优化需求】支持数据传输流程的审批节点按实际审批层级展示。 | - | |||
4 | 数据传输(3.0.0) | 新增 | 新增实时同步任务模块,支持Kafka到Hive的实时同步。 | 2022.12 | - |
新增 | 离线同步任务:任务日志支持按固定时间间隔打印任务进度。任务启动后,每隔20s打印一次,打印当前已传输行数和传输速率。 | - | |||
数据传输(3.0.1) | 新增 | 流水型传输任务重跑逻辑调整。调度实例执行成功时,系统记录流水型的读取区间,并在日志中打印流水型读取数据范围。如重跑实例,则按记录区间重跑。 | 2022.12 | - | |
数据传输(3.0.2) | 新增 | 数据来源为FTP时支持读取XML文件。 | 2022.12 | - | |
数据传输(3.1.0) | 新增 | 离线同步任务支持基于逻辑数据源+标签指定物理数据源,适配垂直分库分表批量抽取场景。 | 2022.12 | - | |
新增 | 离线同步任务数据来源新增支持:Kafka。 | - | |||
新增 | 离线同步部分数据源类型支持升级到spark3.3执行。 | - | |||
优化 | 离线同步任务读写Doris适配1.1.0和1.1.1版本。 | - | |||
优化 | 离线同步任务数据来源为API时支持设置数据获取超时时间。 | - | |||
优化 | 离线同步任务数据去向为StarRocks、导入方式为broker load时支持手动填写broker。 | - | |||
优化 | 离线同步任务SQL模式支持获取数值型字段的精度和小数位数。 | - | |||
优化 | 离线同步任务来源表结构变更策略为去向表同步新增字段并建立字段映射时,如去向为Hive分区表支持选择是否cascade,历史任务默认不级联更新。 | - | |||
优化 | 离线同步任务接口性能优化-元数据中心查表名+表数量的新接口适配。 | - | |||
优化 | 视觉优化。 | - | |||
5 | 控制台(1.2.11) | 新增 | 数据源管理:自定义配置项增加传值单选字段类型,支持通过第三方接口获取值域和值域描述。 | 2022.12 | - |
优化 | 支持自定义逻辑数据源下的物理数据源的标签名称和标签值域。 | - | |||
优化 | 首页和导航栏用户手册支持查看本地和跳转有数学堂。 | - | |||
优化 | Doris数据源登记支持1.1版本,用于数据传输读写。 | - | |||
优化 | 未加入项目的用户访问报错优化。 | - | |||
6 | 安全中心(3.9.1) | 新增 | 新增权限治理模块。实现项目管理员视角的闲置权限治理功能,支持按照用户、用户在职状态和资源内容搜索。提供到action粒度的权限明细、最后一次命中日期和权限闲置时长,并提供批量回收功能。 | 2022.12 | - |
新增 | 指标系统从老的功能权限迁移到新的功能权限。 | - | |||
优化 | 权限申请和我的权限合并为权限中心。 | - | |||
优化 | 权限中心申请库、表、目录权限,账号类型默认选中项目账号。 | - | |||
优化 | 关闭安全等级页面关联敏感数据类型入口,只支持编辑安全等级的等级名称。 | - | |||
优化 | 敏感数据类型页面,新增关联安全等级入口。 | - | |||
优化 | 权限到期日期修改,部分客户环境按需设置:个人账号最长一年,没有永久,自定义最长也只能一年。 | - | |||
优化 | 脱敏规则引用详情增加3个tab页面分类展示。 | - | |||
优化 | 角色管理-个人用户在职状态展示。 | - | |||
优化 | 数据识别页面优化,排序方式按照最后一次识别方式排序。 | - | |||
优化 | 白名单换行策略优化,修改人展示优化。 | - | |||
优化 | 前端LCP性能优化。 | - | |||
优化 | ranger删除用户删除角色不走异步任务,直接失败。 | - | |||
优化 | object最大长度提升。 | - | |||
优化 | 老功能权限创建/编辑的api接口添加校验。 | - | |||
安全中心(3.9.2) | 新增 | 新增批量表授权。 | 2022.12 | - | |
新增 | 权限治理新增项目搜索项:增加项目和用户类型搜索项。 | - | |||
优化 | 慢接口性能优化,安全中心后端接口优化。 | - | |||
优化 | 安全等级页面优化。 | - | |||
优化 | 权限治理支持用户名大写搜索。 | - | |||
优化 | 支持arctic脱敏适配。 | - | |||
优化 | 优化HDFS递归owner。 | - | |||
7 | 元数据中心(5.4.0) | 新增 | 数据源管理支持获取管理员信息和维护人员信息。 | 2022.12 | - |
新增 | 元数据注册和模型设计中心打通。 | - | |||
新增 | Sparkjar通过jdbc读写MySQL、Oracle,支持展示数据血缘。 | - | |||
新增 | 支持通过Select语句返回表结构,支持HANA、MySQL、Oracle、SQLServer。 | - | |||
新增 | 支持项目和Hive库解绑。 | - | |||
新增 | 增加接口,触发plugin的reload。 | - | |||
新增 | 支持获取达梦视图。 | - | |||
新增 | Spark任务的字段血缘支持开关控制。 | - | |||
新增 | 支持自定义数据源登记的逻辑数据源下的物理数据源的标签类型和标签值。 | - | |||
新增 | 数据源适配doris1.1。 | - | |||
新增 | 支持通过Select语句返回表结构,目前支持HANA、MySQL、Oracle、SQLServer。 | - | |||
优化 | 订阅通知邮件文案优化。 | - | |||
优化 | 模型设计中心设置分层不暴露的表,在地图搜索查看相关操作过滤掉这类表。 | - | |||
优化 | 模型设计中心设置分层不暴露的表,在地图搜索查看相关操作过滤掉这类表。 | - | |||
优化 | tag表支持批量查询。 | - | |||
优化 | table/list中的count支持使用合理的sql语句,优先支持hive。 | - | |||
优化 | 支持真实批量查询db/list,优先支持hive。 | - | |||
优化 | 支持批量查询table/list,优先支持hive。 | - | |||
优化 | 表新增分区,不需要发送订阅通知。 | - | |||
优化 | 编辑数据源信息后同步更新元数据的meta和tag信息。 | - | |||
优化 | drop alter事件监听从metastore侧转移到hive spark侧。 | - | |||
优化 | JDBC类型数据源增加dbcp数据源连接池参数maxActive可配置。 | - | |||
优化 | 添加接口,用于实时查询内置hive集群的hms连接信息。 | - | |||
优化 | 提供给数据传输接口,优化获取表性能慢的问题。 | - | |||
8 | 数据资产地图(2.4.0) | 新增 | 元数据确权后支持锁定。当元数据完成确权后,除数据治理管理员可修改元数据的“主管部门”信息外,其他人员不可修改确权后的“主管部门”信息,其他人员需要再次发起确权申请才可修改“主管部门”信息。 | 2022.12 | - |
新增 | 采集任务配置时,支持设置是否需要将表备注信息自动填充为采集后的表对应的表中文名。 | - | |||
新增 | 新增私有表设置功能。 | - | |||
优化 | 元数据注册表单支持点击顶部步骤条,实现页面步骤的切换。 | - | |||
优化 | 元数据扫描信息填充优化。 | - | |||
优化 | 表搜索页和详情页,表展示格式优化为“dbname.tablename”,方便用户直观查看和复制库表名。 | - | |||
优化 | 元数据注册页的保存、提交按钮增加文案提示。 | - | |||
优化 | 元数据治理类的工单,提交后增加查看的快捷链接,同时在操作列也增加查看工单的快捷跳转。 | - | |||
优化 | 产品运营大盘对接,增加产品相关统计数据,落库到控制台后台数据库中,以便后续做运营大盘用。 | - | |||
优化 | 依赖子产品未部署时,增加配置化隐藏功能,解决产品未部署导致报错、用户体验差等问题。 | - | |||
优化 | 表详情页字段关联指标时,解决大量指标全量返回引发的卡顿问题。 | - | |||
优化 | 交互视觉优化专项,优化数据搜索结果页的左侧筛选框样式、数据源类型logo图等。 | - | |||
优化 | 前端更换DDL查看组件,提升页面性能。 | - | |||
优化 | 已发布的元数据,再次导入编辑后状态优化。原来发布后的表导入后是新建态,本次优化后改为草稿态。 | - | |||
优化 | 字段列表增加分页和搜索功能,解决字段多时页面响应卡顿的问题。 | - | |||
9 | 数据质量中心(2.7.0) | 新增 | 质量监控任务支持独立设置调度周期,一个表可以有多个质量监控任务。 | 2022.12 | - |
新增 | 质量监控支持SQLserver。 | - | |||
新增 | 自定义规则支持异常数据样本。 | - | |||
优化 | 项目组级报告订阅模板对接功能权限。 | - | |||
优化 | 试跑通知条件优化,通知条件支持监控结果正常 、监控结果异常 、任务执行失败三种。默认选中监控结果异常 、任务执行失败。 | - | |||
优化 | 质量监控任务日志支持查看节点日志。 | - | |||
优化 | 新建标准推荐规则名称取消校验,支持特殊字符。 | - | |||
优化 | 形态探查增加沙箱功能逻辑。 | - | |||
优化 | 【OPENAPI】执行实例-运行结果增加异常数据SQL字段。 | - | |||
优化 | 试跑的规则合并开关不鉴权。 | - | |||
优化 | 报告订阅模板增加名称重复校验。 | - | |||
优化 | 前端问题优化。 | - | |||
10 | 数据标准(1.8.0) | 新增 | 数据标准支持行业模板管理。 | 2022.12 | - |
新增 | 支持字典码值添加码值备注。 | - | |||
新增 | 数据标准支持增加开关和大小写。 | - | |||
新增 | 资源目录最大级别支持10级。 | - | |||
优化 | 数据标准批量导入数据源异常提示文本优化。 | - | |||
优化 | 根翻译策略优化、缓存策略调整。 | - | |||
数据标准(1.8.1) | 新增 | 在标准审核页面,申请单支持展示英文名。 | 2022.12 | - | |
数据标准(1.9.0) | 新增 | 支持自定义字段分组、排序。 | 2022.12 | - | |
新增 | 数据标准数据类型统一,统一使用英文。 | - | |||
新增 | 对接运营大盘,当前无页面。 | - | |||
新增 | 数据元及数据字典支持批量删除。 | - | |||
优化 | 按名称批量查询数据元等传入批量参数的接口从get改为post。 | - | |||
优化 | 审批完成后未通知申请人。 | - | |||
11 | 指标系统(2.6.0) | 新增 | 支持指标概览及全局搜索。 | 2022.12 | - |
新增 | 指标支持统计周期的管理。 | - | |||
新增 | 指标绑定多个字段时支持标记权威字段。 | - | |||
优化 | 指工单转办过后,指标页面显示的审核人提示信息需要修改。 | - | |||
优化 | 指标录入表单分两列展示。 | - | |||
优化 | 指标后端优化:支持自定义字段类型变换导致原来填写的值格式不符的问题;指标主要接口后端代码重构。 | - | |||
指标系统(2.6.1) | 新增 | 查看详情页的OpenAPI的返回参数增加访问路径参数。 | 2022.12 | - | |
12 | 模型设计中心(1.7.0) | 新增 | 模型设计中心与元数据中心打通。 | 2022.12 | - |
新增 | 建模链路调整。 | - | |||
新增 | 对接运营大盘,无页面。 | - | |||
优化 | 点击表跳转详情要进行判断表是否存在,用户可进行删除操作。 | - | |||
优化 | 建维表时选择维度,放开只能选择自己域下的维度限制。 | - | |||
优化 | 修改表工单查看影响文案统一。 | - | |||
优化 | 执行人的概念及作用建议再解释的更清晰。 | - | |||
优化 | 主题域及子主题负责人为当前用户时都需要提供编辑按钮。 | - | |||
优化 | 修改表工单不再提供默认的新建非分区字段。 | - | |||
优化 | 标准化标签选择提示修改。 | - | |||
优化 | 工单列表“更多”改为“更多操作”+下拉图标。 | - | |||
13 | 数据服务(1.5.6) | 新增 | 支持AES+SM2的传输加密,可以对请求/返回信息进行加密处理,保障数据传输的安全性。 | 2022.12 | - |
新增 | 支持异构环境下的API包导入导出。 | - | |||
新增 | 下载文档,支持Excel,且文档中增加调用示例等内容。 | - | |||
新增 | 对接产品运营大盘,将数据服务累计信息推送,方便后续统计查看。 | - | |||
新增 | 对接新版流程协助中心,在API集市申请形成的工单统一走新版流程协作中心。 | - | |||
优化 | 子产品项目或集群在进行切换时,再切换到产品导航栏会出现刷新的现象完善。 | - | |||
14 | 数据服务(1.5.6) | 新增 | 【支持sloth发布接入老流协】支持实时计算平台任务发布接入老流协。 | 2022.12 | - |
15 | UDF Studio(1.0.2.1) | 新增 | 对于从实时计算迁移过来的函数,页面展示前缀默认为udfstudio。 | 2022.12 | - |
新增 | 在新建函数时,默认前缀不变,若适用产品选择了实时计算,前缀为udfstudio。 | - | |||
UDF Studio(1.0.2.1) | 新增 | 支持实时计算使用UDF Studio,支持将老版UDF迁移到UDF Studio。 | 2022.12 | - | |
新增 | 支持实时计算任务的血缘关系展示,若UDF在实时任务中被使用,在函数详情中可查看引用详情,且执行UDF回滚或发布等,也作为判断依据。 | - | |||
新增 | 增加和离线任务开发的引用详情删除逻辑。 | - | |||
优化 | 编辑资源时,若资源未被UDF引用,支持编辑重新上传,若资源被UDF引用,则无法更改资源。 | - | |||
优化 | 将"发布"操作相关文字更正为"上线",与"发布到UDF市场"进行区分。 | - | |||
UDF Studio(1.0.3) | 新增 | 对接产品运营大盘,支持统计应用数据,且可以统计UDF的调用频次。 | 2022.12 | - | |
优化 | 完善和离线开发的血缘更新和删除逻辑功能。 | - | |||
新增 | 资源详情页面,引用详情增加查看函数详情的功能。 | - | |||
新增 | 用户访问UDF Studio权限判断更新,若用户加入项目组,未加入项目,同样支持访问UDF Studio产品,解决用户必须加入项目才可访问产品的问题。 | - | |||
新增 | 新建函数,依赖资源、函数标签和存储位置,支持每次下拉获取最新数据。 | - | |||
新增 | UDF集市,切换公共函数和非公共函数tab,支持获取列表最新数据。 | - | |||
新增 | 适用产品去掉安全中心,包括新建和筛选均不包含安全中心。 | - | |||
新增 | 若选择适用产品为数据服务,前缀统一更新为udfstudio,且已创建的数据服务的UDF,统一更新前缀为udfstudio。 | - | |||
UDF Studio(1.0.4) | 新增 | 若离线开发任务整个被删除,UDF侧将立即清空引用详情。 | 2022.12 | - | |
新增 | 若函数处于已上线态,函数被任务/API使用或者没有被使用,适用产品均不可更改,已选择的适用类型不可删除。 | - | |||
16 | 数据治理360(3.0.0) | 新增 | 产品由"数据资产中心"更名为"数据治理360"。 | 2022.12 | - |
新增 | 健康诊断模块,支持查看健康分排行榜,展现当前项目下所有成员健康分得分,支持排序。 | - | |||
新增 | 在表级别,支持小文件合并功能。 | - | |||
新增 | 目录级别小文件发现功能,支持从目录视角,查看目录下小文件数量、平均文件大小等指标。 | - | |||
新增 | 资产大盘排版优化。 | - | |||
优化 | 数据列表冗余项处理,hive表详情、推荐下线表、生命周期诊断、调度任务和自助分析列表,去掉所属项目字段,默认不展示。 | - | |||
优化 | HIVE表生命周期优化,逻辑删除时取消对元数据分析服务的依赖。 | - | |||
优化 | 数仓任务节点从spark2 升级为spark3。 | - | |||
优化 | 服务间HTTP调用时支持自动失败重试。 | - | |||
数据治理360(3.0.1) | 新增 | 对接产品运营大盘。 | 2022.12 | - | |
新增 | 对接控制台自定义邮件模板。 | - | |||
新增 | 安全中心审计日志增加小文件合并相关功能的操作。 | - | |||
新增 | Hive表负责人修改,对接元数据中心最新方案。 | - | |||
新增 | 表小文件合并模块优化, 支持合并前后存储变化追踪,增加错开任务高峰期的强提醒。 | - | |||
优化 | 目录小文件发现模块优化, 支持多温多热集群。 | - | |||
优化 | HIVE表成本分析模块优化, 支持多温多热集群。 | - | |||
优化 | 一键恢复功能优化, 恢复后设置操作人为表负责人。 | - | |||
优化 | 优化索引, 提升接口性能。 | - | |||
优化 | 计算分析模块优化, 下载字段增加任务类型字段。 | - | |||
优化 | 数据冷备和小文件治理等模块的千分位统一,涉及到较大数据展示时使用千分位形式。 | - | |||
优化 | 小文件治理和数据备份页面,增加数仓最新统计时间。 | - | |||
数据治理360(3.0.2) | 新增 | 数据治理周报改版。 | 2022.12 | - | |
新增 | 目录冷备支持选择时间段进行冷备。 | - | |||
新增 | 数据下载包括筛选项。 | - | |||
新增 | 目录级别的小文件发现功能,支持分区数、目录数、存储空间、可优化文件数、最近修改时间的排序。 | - | |||
新增 | 对接产品运营大盘指标更新,增加累计备份表存储量和累计备份目录存储量的指标。 | - | |||
新增 | 小文件合并功能,增加报警机制,支持将报警发送至报警组"数据治理报警组"。同时对表温热迁移任务、表冷备任务等同样增加报警组报警功能。 | - | |||
优化 | 计算分析在下载大数据量的情况下,增加防抖机制,保证用户在一定时间内点击多次而只请求一次数据下载。 | - | |||
优化 | 后端优化,从元数据中心获取表元数据信息时支持缓存策略。 | - | |||
优化 | 后端优化,小文件合并模块优化索引,新增覆盖索引提高各类指标响应速率。 | - | |||
优化 | 后端优化,小文件合并模块增加代码鲁棒性,兼容平台侧小文件合并任务被人为取消调度和删除操作。 | - | |||
17 | 实时开发(3.9.10) | 新增 | 实时SQL任务支持跨集群/项目发布。 | 2022.12 | - |
新增 | 实时流表支持跨集群/项目发布。 | - | |||
新增 | 实时文件支持跨集群/项目发布。 | - | |||
新增 | OPEN API v2版本上线,提供 SQL 任务创建、编辑的新版本 OPEN API,支持通过 OPEN API 创建的任务指定任务创建的项目-集群,使用参数组,使用 UDF Studio 中的函数,指定提交账号,指定提交方式,按告警规则指定告警接收方式。 | - | |||
优化 | 实时任务上线流程优化,合并提交和上线两步操作。 | - | |||
优化 | 实时开发任务页面左侧任务树搜索和筛选不再展示未命中的文件夹。 | - | |||
优化 | 实时运维列表任务状态筛选器新增运行结束状态。 | - | |||
优化 | 优化运行记录详情中任务快照的展示内容。 | - | |||
优化 | 实时任务名称长度限制放宽至128 个字符。 | - | |||
优化 | 语法检查框高度支持自由调整,点击语法检查按钮将立即出现语法检查状态。 | - | |||
优化 | 版本对比中,可查看历史版本是否引用已被删除的资源。回滚版本时,提示用户历史版本中有已被删除的资源。 | - | |||
优化 | 优化部分接口的响应速度,优化部分未分页的接口。 | - |
6.5.0 Update 1.9
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 离线开发(6.6.6) | 新增 | 自助分析下载结果时支持设置审批流程并对接新版流协。 | 2022.12 | - |
新增 | 自助分析支持导出excel。 | - | |||
优化 | yarn队列自持开启为cs调度之后的适配改造。 | - | |||
优化 | 离线开发批量导入支持生成新的任务uuid。 | - | |||
优化 | 离线开发展示参数组id。 | - | |||
2 | 元数据中心(5.3.0) | 新增 | 支持返回ddb、hana的主键。 | 2022.12 | - |
新增 | sqlserver支持记录元数据变更历史版本。 | - | |||
新增 | Kafka数据源支持Kerberos安全认证登记。 | - | |||
新增 | 支持触发手动同步指定表es索引。 | - | |||
新增 | 血缘插件支持Spark3.3。 | - | |||
新增 | MySQL表名支持大小写模糊搜索。 | - | |||
新增 | SQL Server表名支持大小写模糊搜索。 | - | |||
新增 | 数据源登记对接安全中心操作审计。 | - | |||
新增 | 批量登记和批量修改过程中支持测试连接。 | - | |||
新增 | 元数据采集时,支持获取表和字段描述等信息。 | - | |||
新增 | 存量hive表批量初始化更新安全等级、敏感类型信息。 | - | |||
新增 | 提供OpenAPI,支持存量数据表自动注册和更新元数据信息。 | - | |||
优化 | Oracle版本细分。 | - | |||
优化 | Metahub对实时获取数据源元信息的接口进行统一的性能优化,增加缓存和降级机制,优化v2/db/list v3/table/list v2/db/name/list v3/db/name/list v2/table/name/list v3/table/name/list。 | - | |||
优化 | db list与table list支持不查询tag和metadata。 | - | |||
优化 | 数据传输、数据服务引用的数据源详情,查询结果优化。 | - | |||
3 | 数据资产地图(2.3.1) | 新增 | 新增SQLServer表的采集、注册、治理和发布的全流程,用户可在数据地图搜索和查看SQLServer表。 | 2022.12 | - |
新增 | 表搜索不到时支持手工同步表进行刷新。 | - | |||
新增 | 元数据目录优化,包括目录层级支持到10级、目录默认展开到2级、目录滚动页面展示优化。 | - | |||
优化 | 元数据扫描内容增加Hive分区字段。 | - | |||
优化 | 元数据采集时,增加采集表和字段的备注信息。 | - | |||
优化 | 元数据扫描后,若原表单信息空,则支持将扫描结果自动填充到表单里。 | - | |||
优化 | 页面性能优化,数据血缘页面打开性能优化。 | - | |||
4 | 控制台(1.2.10) | 新增 | 数据源管理模块对接安全中心操作审计。 | 2022.12 | - |
优化 | 支持登记2019版本的SQLServer,用于数据质量中心使用。 | - | |||
优化 | 支持登记Kerberos认证模式的Kafka,用于实时计算使用。 | - | |||
优化 | 批量登记和批量修改数据源时支持测试连接。 | - | |||
5 | 实时计算(3.9.8) | 新增 | 实时任务、文件、流表归属项目-集群。 | 2022.12 | - |
新增 | 实时任务支持选择平台账号或项目账号提交。 | - | |||
优化 | 实时开发任务页面左侧任务树支持搜索任务文件夹。 | - | |||
优化 | 新建任务时保存位置支持搜索。 | - | |||
优化 | 实时告警邮件对接平台统一邮件模版。 | - | |||
实时计算(3.9.9) | 新增 | 实时函数管理对接UDF Studio,实时开发任务中函数管理模块功能迁移至 UDF Studio,同时简化任务中的函数引用方式。 | 2022.12 | - | |
新增 | 在实时SQL任务中直接使用函数名称(参数)语句调用函数,函数依赖关系将在任务保存时自动解析并展示,用户可使用公开给本人的函数。 | - | |||
新增 | 任务提交时支持选择提交方式,任务资源配置中新增提交模式,可选择per job或application mode启动,当选择为Application Mode时Submiiter进程将会在远端打包,提升任务打包传输提交的效率。 | - | |||
优化 | 实时开发页面视觉效果优化。 | - | |||
6 | 数据服务(1.5.5) | 新增 | 对接自定义邮件模版,统一对接控制台的自定义邮件模版,统一邮件格式,实现控制台对邮件标题修改、logo修改等需求。 | 2022.12 | - |
新增 | 在通过Hive数据源创建API时,需要将hive的数据同步到Impala,目前有两种途径可以将数据同步到impala。一种是创建hive表时,打开"impala同步"的开关;一种是执行SQL语句"INVALIDATE METADATA table_name;"。 | - | |||
新增 | 服务编排API支持行级权限策略。 | - | |||
新增 | 行级权限支持布尔和高精度浮点型;创建服务编排的开始和结束节点支持布尔型。 | - | |||
新增 | API下线仅检测是否有应用绑定,不强制检测是否有策略绑定,且API下线不解除API和策略的关系,API重新上线后以之前已绑定的为主。 | - | |||
新增 | 在ops侧,支持对默认资源组的API域名前缀进行修改。 | - | |||
新增 | 创建API支持通过"system_return_column"自定义返回参数。 | - | |||
优化 | 修复进入测试页面,页面默认置顶,资源组无法展示的问题。 | - | |||
优化 | 交互组件统一,筛选人员时,支持显示名字-邮箱,唯一定位人员。 | - | |||
优化 | 创建API时,返回参数列表增加分页逻辑(前端虚拟滚动加载),修复页面出现卡顿的问题。 | - | |||
7 | 流程协作与通知中心(2.3.4) | 新增 | 自助分析下载数据功能接入流协。 | 2022.12 | - |
新增 | 发布中心审批接入流协。 | - | |||
新增 | 指标和标签增加业务字段对接流协。 | - | |||
新增 | 数据服务对接流协。 | - |
6.5.0 Update 1.8
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 发布中心(1.0.0) | 新增 | 正式上线。 | 2022.11 | - |
2 | 流程协作与通知中心(2.3.4) | 新增 | 自助分析下载数据接入流协。 | 2022.11 | - |
新增 | 发布中心接入流协。 | - | |||
新增 | 指标和标签增加业务字段。 | - | |||
3 | 指标系统(2.5.2) | 新增 | 指标确权后不再更改指标负责人而是更改主管部门。 | 2022.11 | - |
优化 | 指标英文全称支持空格。 | - | |||
优化 | 指标信息里相关人员选择改为项目组下所有成员。 | - | |||
优化 | 指标系统需支持特殊字符。 | - | |||
优化 | 指标搜索创建人用户列表由指标团队管理者角色用户变更为项目组下所有用户。 | - | |||
4 | 数据资产地图(2.3.0) | 新增 | 新增首页,包括资产目录导航、热门资产目录、热门搜索/读取的表、近期浏览/收藏的表,全新视觉交互设计,帮助用户快速查看相关数据。 | 2022.11 | - |
新增 | 资产目录专辑增加统计信息,增加统计信息,包括浏览量、收藏量、点赞量等。 | - | |||
新增 | 表和字段的注册模板的自定义项,支持枚举单选或手填,方便用户添加枚举型的自定义字段,同时又可灵活编辑字段值。 | - | |||
新增 | 元数据注册页,支持对字段进行数据元推荐。系统根据输入的字段中文名称、英文名称、英文全称、等从数据标准获取推荐的数据元列表,以供用户选择。 | - | |||
新增 | 元数据采集时,支持采集同一项目组下跨集群、跨项目的Hive库表。 | - | |||
优化 | 表的技术扫描信息,增加表分区、建表语句、表描述、字段描述等信息。 | - | |||
优化 | 订阅通知提示文案优化,补充相关条件的说明。 | - | |||
优化 | 视觉7.0改造,主要是菜单和字号样式等。 | - | |||
优化 | 元数据注册表单的取值范围、度量单位信息新增系统内置选项,并支持用户手填。 | - | |||
优化 | 安全中心角色管理中,支持针对平台自身Hive数据源进行授权给指定角色或用户。 | - | |||
优化 | 元数据注册表单项长度限制优化。 | - | |||
优化 | 元数据注册时,字段的数据类别为“日期类型”时,增加“时间格式”的必填限制。 | - | |||
优化 | hive 表详情页增加z-order字段的展示。 | - | |||
优化 | dim分层的表,支持设置多个主键字段。 | - | |||
5 | 数据质量中心(2.6.0) | 新增 | 测试中心形态探查功能迁移至数据质量中心。 | 2022.11 | - |
优化 | 质量监控、形态探查、数据比对日志页面优化。 | - | |||
6 | 数据服务(1.5.4) | 新增 | 对接UDF Studio。 | 2022.11 | - |
新增 | 配合元数据中心,提供根据数据源id查询数据源下API应用信息,支持分页和count统计的接口,用于完善控制台侧数据源引用详情内容。 | - | |||
7 | 控制台(1.2.9.1) | 新增 | 导航栏新增发布中心。 | 2022.11 | - |
8 | 离线开发(6.6.5) | 新增 | 离线开发-任务发布对接发布中心。 | 2022.11 | - |
6.5.0 Update 1.7
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 离线开发(6.6.4) | 优化 | 【离线开发&自助分析】视觉优化。 | 2022.11 | - |
优化 | 【自助分析】高级运行的执行参照时间默认为当前时间,去除原来query中的记忆功能。 | - | |||
2 | 流程协作与通知中心(2.3.3) | 新增 | 新增openapi,支持我的待办,支持按需求名称(模板名称)、需求描述(模板说明)、申请人姓名(工号)进行搜索;支持我的申请(我的发起)支持按照需求名称(模板名称)、需求描述(模板说明)进行搜索,并支持工单状态进行筛选;支持我的审批(我的已办)支持按需求名称(模板名称)、需求描述(模板说明)、申请人姓名进行搜索,并支持工单状态进行筛选。 | 2022.11 | - |
新增 | 发布中心模版增加复杂表格。 | - | |||
新增 | 【站内信功能】增加站内信功能,在首页topbar内展示当前登录用户的待办列表。 | - | |||
3 | 元数据中心(5.2.1) | 新增 | 新增2个接口给模型设计中心,支持获取模型分层及关联维度、维表等信息。 | 2022.11 | - |
新增 | 血缘插件支持cdp hive-3.1.3。 | - | |||
新增 | 在安全中心-角色管理页,数据源授权时增加平台本身Hive数据源的授权。 | - | |||
新增 | 提升线上环境血缘覆盖率(支持spark2.4/spark3.1)新增支持血缘场景。 | - | |||
新增 | impala listName支持分页。 | - | |||
优化 | 元数据扫描内容增加hive分区字段。 | - | |||
优化 | 元数据采集选择Hive表时,支持同一项目组下跨集群跨项目选择Hive表。 | - | |||
优化 | metahub线上环境接入skywalking。 | - | |||
4 | 模型设计中心(1.6.1) | 新增 | 模型关系对接有数BI,目前该功能仅模型和元数据中心提供了接口能力,BI侧还未呈现。 | 2022.11 | - |
新增 | 模型建表时支持建表权限检查。 | - | |||
新增 | 模型设计中心审批人放开上限8人限制,可添加更多审批人。 | - | |||
5 | 数据传输(2.8.0) | 新增 | 数据来源或去向为PostgreSQL时,支持的版本新增:12.4。 | 2022.11 | - |
新增 | 新增快速创建表的字段类型映射规则配置。 | - | |||
新增 | 任务支持配置限制同步条数,作为每次运行任务时同步的数据条数上限。 | - | |||
新增 | 数据来源版本为Sensor Data-Impala 3.2.18.6时,支持读取神策的用户表和事件表。 | - | |||
新增 | 数据来源或去向为HBase时,支持的版本新增:云数据库HBase增强版2.x。 | - | |||
新增 | 字段映射支持同行映射及获取最新表结构。 | - | |||
优化 | 数据去向为Oracle时新增写入规则:merge into。 | - | |||
优化 | 数据去向为Clikhouse、Mysql、Oracle、SQLServer时,Presql与Postsql由支持1条SQL语句改为支持5条SQL语句。 | - | |||
优化 | 数据脱敏支持手动添加需脱敏的字段。 | - | |||
优化 | 读取FTP目录支持解析中文路径。 | - | |||
优化 | 离线同步任务:数据来源为PostgreSQL、StarRocks、Doris,数据去向为Vertica时支持写入规则:Copy;数据导入:数据来源文件格式为txt、csv、excel时,数据去向为Vertica时支持写入规则:Copy。 | - | |||
优化 | 数据来源端并发读取的切分键支持char类型。 | - | |||
优化 | 数据来源或去向为MongoDB时,支持“验证数据库”鉴权模式。 | - | |||
优化 | 数据传输提交上线流程优化。 | - | |||
优化 | 任务编辑页新增“保存并提交”按钮,点击可保存任务并将任务提交上。 | - | |||
优化 | 任务列表提交按钮位置调整。 | - | |||
优化 | 批量创建任务:自动创建表时的Hive表名支持批量大写转小写,任务名称支持填写${target_table}参数用于表示去向表表名。 | - | |||
优化 | 任务名称支持填写${target_table}参数,用于表示去向表表名。 | - | |||
优化 | 批量创建任务:来源表表名支持大小写模糊匹配。 | - | |||
优化 | Oracle表名支持大小写模糊匹配。 | - | |||
6 | 数据资产360(2.1.5.3) | 优化 | 数据源支持可配置。 | 2022.11 | - |
优化 | HTTP接口重试间隔控制在3s。 | - |
6.5.0 Update 1.6
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 离线开发(6.6.3) | 新增 | 离线开发取消调度、编辑调度支持走工单审批。 | 2022.11 | - |
新增 | 离线开发支持参数传递。支持SQL节点Hive引擎、Script节点的Shell脚本,支持将产出结果输出给下游节点使用。 | - | |||
新增 | 【离线开发&自助分析】对接UDFStadio支持使用udf。 | - | |||
新增 | 【离线开发&自助分析】对接UDFStadio支持使用udf。 | - | |||
优化 | 项目中心新建项目时hive库名支持编辑。 | - | |||
优化 | 【离线开发】编辑调度中智能推荐依赖支持全部取消依赖的任务选择。 | - | |||
优化 | 离线开发提交审批锁定时保持运行结果可查看。 | - | |||
优化 | 离线开发参数组参数支持更多符号,参数名称新增支持“-”、“/”。 | - | |||
优化 | 离线开发SQL、VerticaSQL、OracleSQL、MySQL、GPSQL等5种节点,支持最大1MB的代码。同时之前的逻辑中,按照用“;”分割得到的最大sql条数为100条,此次放开了限制。 | - | |||
优化 | 【离线开发】任务编辑报警的报警接收人支持选择值班组。 | - | |||
优化 | 支持多时区场景下的时间显示,针对部分客户存在多个集群,且集群时区和平台服务时区不一致的场景,离线开发支持在两个时间不一致时,展示UTC时间。 | - | |||
优化 | 支持多时区场景下的时间显示,针对部分客户存在多个集群,且集群时区和平台服务时区不一致的场景,离线开发支持在两个时间不一致时,展示UTC时间。 | - | |||
优化 | 离线开发项目内hive库表展示范围支持配置。 | - | |||
优化 | 项目中心 - 基础配置页面迁移到离线开发页面左上角辅助功能区。 | - | |||
优化 | 项目中心功能权限-首页工作台标签页隐藏。 | - | |||
优化 | 离线开发-openAPI提供新增用户新增接口。 | - | |||
2 | 数据质量中心(v2.5.0) | 新增 | 支持自定义质量报告。 | 2022.11 | - |
新增 | 新增新建报告订阅模版,支持质量报告内容的自定义配置。 | - | |||
新增 | 新增有效性内置规则模版25个,适配当前所有数据源。 | - | |||
新增 | 规则支持并行执行。 | - | |||
优化 | 【新建/编辑监控】数据源下拉列表中置灰禁用无权限数据源,新增文案:无该数据源的读/写功能权限,请联系管理员前往安全中心授权。 | - | |||
优化 | 监控任务导入导出支持跨表跨字段规则。 | - | |||
优化 | 质量监控任务编辑按钮调整:三个tab分开编辑,基础信息、执行配置单独放置仅对本tab生效的编辑按钮、规则tab不放置编辑按钮。 | - | |||
2 | UDF Studio(v1.0.0) | 新增 | 新增UDF Studio。 | 2022.11 | - |
UDF Studio(v1.0.1) | 新增 | 对接安全中心管控权限,包括功能模块、资源、函数和标签。 | 2022.11 | - | |
新增 | UDF对接离线开发。 | - | |||
新增 | UDF对接自助分析。 | - | |||
新增 | UDF对接数据服务。 | - | |||
新增 | 记录审计日志。 | - | |||
新增 | 对于UDF本身,测试态函数发布覆盖线上已被引用的函数以及函数回滚覆盖已被引用的函数时,增加审批流程,可在安全中心"函数"中指定项目组下成员或角色拥有审批功能。 | - | |||
优化 | 新建UDF时,适用产品仅可单选,去掉UDF可以在所有产品中使用的逻辑。 | - | |||
优化 | 审批函数时,除了项目组管理员、项目组负责人默认有审批权限外,增加已授权审批成员,授权有审批权限的用户,也会收到UDF相关的审批通知。 | - | |||
优化 | 若测试态在执行发布时,若线上函数已经被引用,需要形成工单由审批人审批,此时的测试态函数变为审批中的状态,测试态相关操作不可用。 | - | |||
3 | 数据资产地图(v2.2.2) | 新增 | 支持Vertica类型数据源的元数据采集、治理、发布流程,可以订阅表变更通知、查看表的版本历史等。 | 2022.11 | - |
优化 | Impala同步开关的读取配置优化。 | - | |||
优化 | 搜索已发布资产的openapi优化。 | - | |||
优化 | 资产目录详情页,资产清单表列表展示优化,表名过长时采用中间省略两端显示的方式。 | - | |||
4 | 元数据中心(v5.1.1) | 新增 | 适配vertica血缘解析产出推送,元数据中心集成新SDK。 | 2022.11 | - |
元数据中心(v5.2.0) | 新增 | mongodb 数据源支持 “验证数据库”方式进行鉴权。 | 2022.11 | - | |
新增 | 数据源登记时,支持测试连接。 | - | |||
新增 | 数据源登记项支持列表展示和搜索。 | - | |||
新增 | 支持批量导出及批量修改MySQL、Oracle、SQL Server数据源。 | - | |||
新增 | GP类型数据源支持postgresql的jdbc 42.2.9,控制台增加版本号选项,版本号包括8.2、8.4、12.4、13.2。 | - | |||
新增 | 支持阿里云数据库HBase增强版2.x数据源登记。 | - | |||
新增 | 读取神策Hive时支持读取逻辑events/users表。 | - | |||
新增 | 支持vertica元数据采集、注册、发布流程,配合数据地图v2.2.2版本的元数据管理功能。 | - | |||
新增 | Impala hive库表支持模糊搜索。 | - | |||
优化 | 模型设计中心分层设置“不可见”后,数仓表导引、数据地图查询模块中需要过滤掉该分层的表。 | - | |||
优化 | 数据传输批量创建任务,搜索源表名时oracle支持大小写不敏感。 | - | |||
优化 | 数据源名称支持128个字符。 | - | |||
优化 | 2个接口增加模糊搜索和total总数。 | - | |||
优化 | 数据源链接修改后触发一次异步数据同步。 | - | |||
优化 | 数据源管理员改为选填项。 | - | |||
5 | 数据质量中心(v1.5.1) | 优化 | 配合元数据中心表负责人改造。 | 2022.11 | - |
元数据中心(v1.5.2) | 新增 | SDK:支持发布中心1.0表结构比对需求。 | 2022.11 | - | |
元数据中心(v1.6.0) | 新增 | 模型建表时给出数据源是否开启项目权限建表。 | 2022.11 | - | |
新增 | 支持用审批人的账号创建模型。 | - | |||
新增 | 模型设计支持z-order字段设置。表默认属性增加z-order字段选择,z-order要起到作用必须是spark3.x才可以,且z-order支持的存储格式仅Parquet和ORC。 | - | |||
新增 | 修改表工单建议,支持修改字段类型等信息。 | - | |||
新增 | 支持引用数据元进行快速建模(重点),支持快捷引用准备进行字段生成,支持根据文本内容进行解析生成字段。 | - | |||
新增 | 引用标准导入字段,点击“引入标准导入”,弹出标准选择框,将需要的标准选中,并且可以进行顺序排列,点击确定即可快速生成字段,相关信息自动填充。 | - | |||
新增 | 文本解析导入,用户可批量换行输入多个字段中文名,平台解析后将中文名作为字段描述,且若该中文存在对应词根,那么英文名称也将自动翻译得到。 | - | |||
优化 | 综合表模板导入无法修改表原因修改。 | - | |||
6 | 安全中心(v3.9.0) | 新增 | 项目组级别的子产品功能权限不可在项目级的页面看到。 | 2022.11 | - |
新增 | UDF Studio接入功能权限。 | - | |||
优化 | 默认安全接口人支持自定义配置。 | - | |||
优化 | 数据权限引擎需开放API进行控制。 | - | |||
优化 | 审计日志、脱敏规则、白名单、脱敏识别页面分别进行视觉优化。 | - | |||
优化 | 安全中心权限申请理由展示在工单详情内。 | - | |||
优化 | ranger接口性能优化,项目中心添加用户,安全中心接口优化。 | - | |||
优化 | 子产品接入方式优化-sdk插件化接入,降低子产品接入成本。 | - | |||
优化 | 老功能权限创建/编辑的api接口添加校验。 | - | |||
7 | 控制台(v1.2.9) | 新增 | 支持批量修改MySQL、SQLServer、Oracle数据源。 | 2022.11 | - |
新增 | 数据源登记模板配置的自定义项支持列表展示和搜索。 | - | |||
优化 | 数据源登记和修改过程中支持测试连接。 | - | |||
优化 | 数据源管理员由必填改为选填。 | - | |||
优化 | MongoDB支持“验证数据库”方式鉴权,用户可在数据源登记时填写【授权使用数据库】,则连接数据源时将先在授权使用数据库下校验当前登记的用户名密码的权限。 | - | |||
优化 | PostgreSQL数据源登记时增加“版本号”配置项,版本号选项为:8.2、8.4、12.4、13.2。 | - | |||
优化 | 数据源名称最大字符长度由64个字符改为128个字符。 | - | |||
优化 | 支持登记阿里云数据库HBase增强版2.x。 | - | |||
优化 | 提供新增用户的OpenAPI接口。 | - | |||
优化 | “项目组配置“新增项目内Hive类型库表展示控制”配置项。 | - |
6.5.0 Update 1.4
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 数据标准(1.7.0) | 新增 | 支持标准文件管理,产品新增标准文件管理模块用于企业对参考的标准文件进行统一管理,支持标准文件的增删改查以及下载共享。 | 2022.10 | - |
新增 | 支持以列表方式展示数据字典。 | - | |||
新增 | 模版配置支持导入导出,支持数据元注册模板、数据字典注册模板配置的导入导出。 | - | |||
新增 | 词根翻译支持批量翻译中文名称。 | - | |||
优化 | 数据元及标准字典隐藏试用态。 | - | |||
优化 | 数据元导入导出模板统一。 | - | |||
优化 | 词根导入导出模板统一。 | - | |||
优化 | 优化标准SDK。 | - | |||
2 | 指标系统(2.5.1.1) | 优化 | 指标治理工单转办列表改为项目组下所有成员。 | 2022.10 | - |
3 | 数据资产地图(2.2.1.1) | 优化 | 申请治理工单,转办人员放开限制,支持选择项目组下任一用户。 | 2022.10 | - |
优化 | 表和字段的自定义项长度限制调大为8192。 | - |
6.5.0 Update 1.3
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 实时计算(3.9.5) | 优化 | 实时计算相关组件(包含引擎和插件)支持通过 EasyOps 一键自动化部署和升级。 | 2022.10 | - |
优化 | 开发页面任务树和任务tab新增任务状态展示。平台使用不同颜色的圆点将对应任务划分为四种状态,红色代表停止,绿色代表运行中,黄色代表未启动,无圆点代表未提交。 | - | |||
优化 | 运维详情页告警记录默认按照时间倒序排列。 | - | |||
实时计算(3.9.6) | 新增 | 实时计算拆分为实时开发和实时运维两个子产品,域名和导航栏对接到数据开发及管理平台,原实时计算产品入口变更,产品内功能页面入口变更。 | 2022.10 | - | |
新增 | 实时运维页面新增新版本发布提示,运维详情页新增当前版本提示。通过实时开发页面对已发布过的任务发布一个新版本,跳转至实时运维页面,即可在任务列表和任务详情页中看到“新”icon。当用户成功启动新版本后,“新”icon提示消失,任务详情页当前版本版本号变更。 | - | |||
新增 | 实时开发和实时运维产品中进行操作后,在安全中心操作审计中可查看操作审计日志。 | - | |||
新增 | 支持为不同告警规则配置不同告警接收渠道。在告警配置弹窗中,可以为每条告警规则配置不同告警接收方式。默认必选的告警规则(failover、数据滞留延迟、任务失败)的告警接收方式默认为全选,其他用户自己配置的告警规则的接收方式需要用户自行勾选。 | - | |||
新增 | 实时开发任务页面支持右键任务tab后快速关闭多个任务tab。 | - | |||
新增 | 支持项目组报警开关全面暂停项目组内实时任务的告警。当出现如项目组集群故障的情况,需要大范围抑制告警进行故障修复时,可以通过项目组配置-配置管理-实时开发任务暂停报警控制开关暂停实时任务报警。 | - | |||
优化 | 实时开发任务页面任务tab栏与任务操作栏位置上下互换。 | - | |||
优化 | 实时开发任务页面任务操作栏右侧新增任务状态文字提示。 | - | |||
优化 | Jar任务页面新增不允许打包引擎以及checkpoint需在jar包内配置的页面提示。 | - | |||
优化 | cdc任务支持tinyint(1)字段类型不失真。 | - | |||
优化 | 调整任务运行配置任务重启策略默认值为failure-rate方式。 | - | |||
优化 | 调整实时数据源内部列表页面仅展示arctic数据源。 | - | |||
优化 | 实时开发任务页面任务操作栏右侧新增任务 Flink UI 跳转按钮。(此功能默认不开放,需通过easyops配置打开)。 | - | |||
优化 | 实时开发任务页面任务树不随右侧任务tab点击自动定位。(此功能默认不开放,需通过easyops配置打开)。 | - | |||
实时计算(3.9.7) | 新增 | 开发页面新增运行配置入口,并拆分为任务配置和资源配置。 | 2022.10 | - | |
新增 | 开发页面新增立即执行按钮。实时开发任务页面操作栏新增立即执行按钮,点击后可立即启动或重启任务。点击“立即执行”按键后根据任务状态不同可执行启动或重启操作。 | - | |||
新增 | 流表登记支持自动解析流表字段。支持采集kafka的数据用于解析,支持解析序列化方式为json、canal-json、debezium-json、maxwell-json的数据。 | - | |||
新增 | 运维大盘数据支持根据任务标签筛选,运维大盘顶部新增任务环境标签和类别标签的筛选器,可筛选指定标签的任务的数据。 | - | |||
新增 | 运维大盘告警情况支持根据时间筛选,同时支持查看各告警情况对应的任务列表。 | - | |||
新增 | 实时计算 SQL 任务支持引用参数组。 | - | |||
新增 | 实时开发管理支持为项目配置可用队列。 | - | |||
新增 | 实时开发管理支持编辑项目初始化时的默认标签。 | - | |||
新增 | 实时开发管理支持编辑项目内任务的默认运行配置和默认告警配置。 | - | |||
优化 | 支持登记Pulsar数据源类型的流表。 | - | |||
优化 | 开放新建CDC 任务的OPEN API。 | - | |||
优化 | 隐藏Jar任务运行配置页面不生效的参数(checkpoint参数),如需为Jar任务配置checkpoint,请在Jar包内进行配置。 | - | |||
优化 | 新增文件引用关系查看,不可删除已被任务引用的文件。 | - | |||
优化 | 文件管理中文件夹删除报错优化,不可删除不为空的文件夹。 | - | |||
优化 | 平台管理-项目初始化页面内容优化,删除已无效的工单审批人内容。 | - | |||
优化 | SQL 任务版本对比中有差异的代码高亮标出。 | - | |||
优化 | 运维详情页左侧列表支持调整宽度,任务名支持hover展示全名。 | - | |||
优化 | 新增运行日志过期清理机制,避免日志过多存储空间不足。 | - | |||
优化 | 开启任务发布审核时若同时有多个版本待审核,则审核通过后仅会发布最新版本。 | - | |||
优化 | 新增application mode,避免任务包过大或网络状态不好导致的提交慢或提交失败的问题。 | - | |||
优化 | 告警通道对接数据开发及管理平台,避免需多次配置用户的特殊告警通道。 | - | |||
2 | 数据传输(2.7.0) | 新增 | 数据去向为平台内置Hive时,支持脏数据管理功能。(脏数据定义:如果单条数据在写入Hive后下游读取时由于来源和去向数据类型不匹配会解析为NULL,则此条数据为脏数据)。 | 2022.10 | - |
新增 | 支持配置任务运行和提交的审批策略,创建和修改任务后如命中审批策略,需审批通过后才允许运行、提交、导出和复制任务。 | - | |||
新增 | 基于逻辑数据源的数据沙箱功能,支持根据任务运行是在开发模式或线上模式自动选择使用逻辑数据源下的测试数据源或生产数据源。 | - | |||
新增 | 数据传输对接安全中心审计日志。 | - | |||
优化 | StarRocks新增支持broker load导入方式。 | - | |||
优化 | 数据脱敏模块支持展示敏感类型的安全等级。 | - | |||
优化 | 数据去向为FTP、文件格式为txt和csv时,支持配置列分隔符。(注意:不可见字符请使用Unicode编码表示) | - | |||
优化 | 流量控制支持MB/s进行流控。 | - | |||
优化 | OpenAPI更新,在OpenAPI同步支持使用此版本新增功能。 | - | |||
优化 | 数据源列表加载性能优化。 | - | |||
3 | 元数据中心(v5.1.0) | 新增 | 提供hive 库、表、列字段的元信息获取的openapi。 | 2022.10 | - |
新增 | 支持查询表的安全等级接口,支持批量查询。 | - | |||
新增 | 提供获取某一集群下所有表的表负责人信息。 | - | |||
新增 | 支持批量登记数据源。 | - | |||
新增 | 支持配置化登记数据源。 | - | |||
新增 | 支持逻辑数据源内的物理数据源打标。 | - | |||
新增 | Vertica新增适配11.1.1版本。 | - | |||
新增 | 数据源管理完善“使用授权”策略。 | - | |||
新增 | 数据源获取支持子产品可选、可见、可执行3个场景。 | - | |||
新增 | 血缘增加全链路监控指标。 | - | |||
新增 | 支持根据“集群+hive库+表”来查表负责人。 | - | |||
新增 | 支持进行hive表的owner更新,调用平台接口完成。(仅支持hive表和hive on kudu)。 | - | |||
新增 | 新增Pulsar数据源。 | - | |||
新增 | 数据源登记增加“归属逻辑数据源”。 | - | |||
新增 | 地图搜索结果优。 | - | |||
新增 | ES支持连通性测试。 | - | |||
新增 | MongoDB支持连通性测试。 | - | |||
新增 | 增加对openapi的服务间调用认证,使用通用sdk。 | - | |||
新增 | 配置化登记数据源:支持根据数据源的自定义配置项的显示名称和值域返回值域所对应的数据源ID。 | - | |||
新增 | 血缘drop alter事件监听从metastore侧转移到hive spark侧。 | - | |||
新增 | 提升血缘覆盖率-支持import、export、load、create view、alter view等场景。 | - | |||
新增 | db list与table list支持不查询tag和metadata,提升性能。 | - | |||
新增 | 支持对HBase的查询增加超时控制,防止HBase异常时阻塞线程。 | - | |||
新增 | 血缘lineage hook由hive.exec.pre.hooks阶段切换至hive.exec.post.hooks阶段。 | - | |||
新增 | 数据源批量登记:模板的版本号和数据源连接格式改为从元数据中心取值。 | - | |||
新增 | 增加全量刷新hive库标签与metadata与平台不同步的数据的接口功能。 | - | |||
新增 | Oracle/MySQL字段类型的精度和小数位数未展示完整。 | - | |||
新增 | sqlserver 数据源支持url不带port登记时,可以正常获取库表信息。 | - | |||
4 | 任务运维中心(v1.7.0) | 新增 | 新增支持值班组日历导入导出以及模版下载。 | 2022.10 | - |
新增 | 周期实例运维页面新增“ApplicationId查询工具”,支持通过ApplicationId搜索当前平台下的实例,ApplicationId可通过Yarn平台获取。 | - | |||
新增 | 运行中的实例支持切换队列,当某个队列出现资源紧张的时候,可以使用该功能,将正在运行中的实例切换到其他有空余资源的队列中。 | - | |||
新增 | 周期实例运维大盘新增“任务出错排行”,展示最近30天与最近60天内运行出错次数最多的前10个任务。根据任务的调度实例运行出错次数倒序排序,重跑和补数据实例运行出错不计算在内。支持按照调度周期、任务优先级进行筛选。 | - | |||
新增 | 支持对任务进行暂停调度、恢复调度。 | - | |||
新增 | 新增任务操作、基线管理、实例置成功等功能权限。 | - | |||
新增 | 任务告警规则支持告警接收人选择值班组。 | - | |||
优化 | 支持设置补数据任务的最大并发数上限。 | - | |||
优化 | 基线关联实例失败报警列表中增加展示基线名称。 | - | |||
优化 | 基线运维列表支持显示基线状态为“关闭”。原先在基线运维列表不区分基线的关闭状态,此次优化后,若基线状态为关闭,则在基线运维列表中,展示基线状态为“关闭”。 | - | |||
优化 | 任务列表和周期实例列表“所属基线”支持显示“展示关联下游基线”。 | - | |||
优化 | 基线设置页面中,新增“电话告警智能取消”的配置项,默认勾选,勾选后,当基线的预计完成时间超过预警时间但未超过破线时间,系统自动取消电话报警的产生。 | - | |||
优化 | 重跑时上次重跑成功节点判断逻辑优化。原先失败的实例,在重跑成功后,再次重跑时,仅判断第一次重跑结果,因此仍然会被标记失败,此次更新后,在重跑设置时,会判断节点标记时上一次重跑是否成功。 | - | |||
优化 | 实例详情-上游依赖详情弹框中刷新按钮逻辑优化。原先实例详情中,用户查看上游依赖详情的弹框中,点击刷新按钮,不会自动刷新实例ID,此次进行了优化。 | - | |||
优化 | 值班组告警中的主备告警逻辑优化。原先主备值班轮流发送告警的逻辑中,仅区分了基线和报警类型,没有区分实例ID,因此如果是不同实例ID,也会在主备值班之间轮流告警,此次优化后,如果是不同实例ID,会首先发给主值班人。 | - | |||
优化 | 查看运行日志时,支持跳转AI平台。 | - | |||
5 | 离线开发(v6.6.2) | 新增 | 【项目中心】任务运维相关权限的新增与优化。实例运维:原先“重跑、取消重跑”权限变更为“重跑、终止实例”,新增“失败实例置成功“权限;勾选后,即对指定任务的所有周期拥有对应的操作权限;基线管理:为此次新增的功能权限,勾选后,即可以进行基线的新建、编辑、删除等操作;任务管理:原先“补数据及取消、暂停”权限文案变更为“补数据”,勾选后,即对指定任务可以进行补数据及补数据相关的所有操作,同时新增“设置基线”、“转交任务”、“设置优先级”、“暂停、恢复调度”四个功能权限点。 | 2022.10 | - |
新增 | 【离线开发】导航栏新增“公共资源”入口,支持实时计算引用参数组。 | - | |||
6 | 指标系统(v2.5.1) | 新增 | 指标工单支持审批结果通知相关方。 | 2022.10 | - |
新增 | 解除衍生词编辑时若有引用就无法编辑的限制,给出影响范围。 | - | |||
优化 | 项目配置页面去除“注意事项”,让页面显示更紧凑。 | - | |||
优化 | 修饰词、衍生词、我的数据界面排版优化。 | - | |||
优化 | 支持无项目权限的项目组成员访问指标系统。 | - | |||
优化 | 治理配置中取消注册流程后,自动终止处理中的注册流程。 | - | |||
优化 | 支持页面显示换行。 | - | |||
7 | 数据地图(v2.2.1) | 新增 | 元数据治理过程中,创建的各类工单均支持设置工单通知对象,默认申请人必须通知,可选择通知其他人员例如业务负责人、技术负责人、数据BA或指定人员等。一旦工单审批通过、拒绝、超时、超时关闭,系统会发送邮件通知对应人员。 | 2022.10 | - |
新增 | 不同分类目录切换,元数据支持多套分类目录,系统支持切换不同分类目录展示元数据列表。 | - | |||
新增 | 视图表支持修改负责人。 | - | |||
优化 | 视觉7.0规范改造。主要是调整字体大小、样式等,形成平台整体统一的视觉规范。 | - | |||
优化 | 收藏和订阅列表增加“表中文名称”。 | - | |||
优化 | 手工采集默认为"立即触发"方式。 | - | |||
优化 | Hive表负责人修改接口优化,适配元数据中心。 | - | |||
8 | 控制台(v1.2.8) | 新增 | 支持批量登记MySQL、SQLServer、Oracle数据源。 | 2022.10 | - |
新增 | 支持通过数据源登记模版配置数据源。 | - | |||
新增 | 支持登记Pulsar数据源。 | - | |||
优化 | 逻辑数据源下添加物理数据源时,支持配置适用环境标签。 | - | |||
优化 | ES、MongoDB支持数据源测试连接。 | - | |||
优化 | MongoDB新增版本号配置项,版本号:3.4、3.6、4.2。 | - | |||
优化 | SQLServer数据源连接新增支持格式。 | - | |||
优化 | 支持查看数据源归属的逻辑数据源。 | - | |||
优化 | Vertica新增11.1.1版本。 | - | |||
9 | 流程协作与通知中心(v2.3.0) | 新增 | 支持批量同意、批量终止、批量撤回、批量撤销功能,支持通过子产品名称搜索,批量审批。 | 2022.10 | - |
新增 | 流协对接报警,支持模板级别和节点级别,模板级别支持通知创建人+自定义跟踪人,节点级别支持通知审批人+自定义跟踪人,可以通过配置修改默认设置。 | - | |||
新增 | 该版本上线自研画布,用户可以自己通过拖拽方式绘制流程模板。 | - | |||
新增 | 【子产品接入流协报警】所有流协接入的子产品,支持报警功能。 | - | |||
新增 | 流协接入平台统一邮件模板。 | - | |||
优化 | 【工单实例id优化】修改工单实例id为数字类型,方便理解和搜索。 | - | |||
新增 | 安全中心权限申请,工单页面展示申请备注。 | - |
6.5.0 Update 1.1
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 元数据中心(v5.0.7) | 新增 | 数据源版本为1.1.0-CDH 5.14.0时支持zk模式。 | 2022.09 | - |
新增 | ES支持源系统账号鉴权。 | - | |||
新增 | 数据源管理完善“使用授权”策略。 | - | |||
新增 | 数据源权限迁移至新的安全中心功能权限。 | - | |||
元数据中心(v5.0.9) | 新增 | 新增元数据合并功能,用于数据地图元数据管理中,当出现重复注册的元数据时,系统能够自动识别并提醒用户进行合并。 | 2022.09 | - | |
新增 | 元数据系统内置项增加数据BA, 表英文全称,表质量管理信息3个字段。 | - | |||
新增 | 元数据列表增加未分组目录、数据源目录。 | - | |||
新增 | 元数据采集新增整库采集。 | - | |||
新增 | 元数据增加待发布状态。 | - | |||
新增 | 元数据采集后的表状态自动为草稿态。 | - | |||
3 | 数据地图(v2.1.1) | 新增 | 元数据支持暂时保存功能。 | 2022.09 | 元数据注册 |
新增 | 元数据采集失败时支持邮件报警。当元数据采集失败时,可以根据设置的接收人名单接收对应的报警邮件通知。 | 元数据采集 | |||
优化 | 导入时若模板文件存在format但无内容时,忽略报错,可继续导入。 | - | |||
数据地图(v2.2.0) | 新增 | 新增元数据合并功能,用于数据地图元数据管理中,当出现重复注册的元数据时,系统提供合并元数据的功能。 | 2022.09 | - | |
新增 | 工单发起支持不同派发对象。 | - | |||
新增 | 系统内置项和自定义项可全局灵活设置排序。 | - | |||
新增 | 数据质量分对接元数据注册。 | - | |||
新增 | 新增NLP自动推荐,可推荐表物理名称、表英文名称、字段英文名称。当开启NLP自动推荐后,在元数据注册表单中就可触发自动推荐功能,根据相关字段信息自动推荐返回结果。 | - | |||
新增 | 数据治理管理员支持工单免审批。 | - | |||
新增 | 元数据采集的表支持按照数据源名称自动归属到对应的数据源目录下,方便用户快速管理和查找对应数据源下的表。 | - | |||
新增 | 元数据采集新增“整库采集”,包括未来新增的表均可自动采集到平台上。采集结果包括变更表、未变更表、新增表、未采集表,帮助用户直观了解采集的表情况。 | - | |||
新增 | 元数据新增批量操作,包括批量申请各类工单、批量编辑、批量删除。 | - | |||
新增 | 元数据新增待发布态,可以在草稿态、待发布态间按需设置。 | - | |||
新增 | 元数据注册时,支持手动设置原始字典码值;批量导入时,也可设置原始字典码值。 | - | |||
新增 | 新增数据资产目录详情,可查看该目录下子目录列表、资产清单、业务概述等。 | - | |||
优化 | 元数据列表新增“未分组”目录。 | - | |||
优化 | 元数据注册表单新增2个系统内置项:表数据质量规则、数据BA。 | - | |||
优化 | 确权工单指派对象增加限制,必须是指定部门下的专员。 | - | |||
优化 | 元数据采集后的表状态由新建态改为草稿态,可直接发起治理流程。 | - | |||
优化 | 元数据草稿态新增编辑功能、下线态新增删除功能。 | - | |||
优化 | 数据治理工单转办时,转办对象人员列表限定是数据治理专员、数据治理管理员2种角色。 | - | |||
3 | 数据标准(v1.5.0) | 新增 | 支持展示标准概览,统计标准相关信息。 | 2022.09 | - |
新增 | 标准添加时支持进行相似性分析。 | - | |||
优化 | 项目组粒度迁移。数据标准最早是以项目组+集群粒度进行管理的,但标准应当项目组下共享,因此需要去除集群粒度,从本版本开始,数据标准内所有资源都是项目组粒度。 | - | |||
优化 | 数据字典保存报错不明显问题优化。改动前:点击保存,没有看到报错提示,需要手动往上面滚动才找到错误字段;改动后:点击保存,若有报错信息,将滚动到对应位置。 | - | |||
优化 | 字典导入上限提升至10000。之前数据字典导入仅支持导入3000以内代码的字典,在实际实施的过程中,客户期望导入更大的字典。 | - | |||
数据标准(v1.6.0) | 新增 | 支持查看标准引用情况统计。新增表标准化率、字段标准化率、数据元引用统计、数据元引用排行、资源目录引用Top5统计。 | 2022.09 | - | |
新增 | 支持元数据导入的时候自动解析特定格式录入到原始字典。新增原始字典自动注入接口,支持新增、修改、查看原始字典列表。 | - | |||
新增 | 数据字典分析与管理,原始字典新增关联标准字典能力。 | - | |||
新增 | 词根翻译供模型设计中心调用。 | - | |||
新增 | 支持数据标准查看引用详情。支持在引用详情里展示引用的字段列表及指标列表。 | - | |||
新增 | 数据标准和元数据模块对接。元数据模块支持采集的元数据,根据输入的中文名称、英文全称、英文简称、描述返回数据元推荐列表。 | - | |||
优化 | 草案态编辑时不可修改版本。之前开放了版本自定义,用户可自行输入,但草稿态应该基于当前版本进行更新,因此本版本限制为草稿态不可编辑版本号。 | - | |||
优化 | 标准发布时多次点击发布会创建多条记录。标准发布时,如果多次点击会创建多条记录形成脏数据,本版本进行优化多次点击会进行拦截,只生成一条发布申请。 | - | |||
优化 | 数据元及数据字典详情根据按钮主次顺序调整。 | - | |||
优化 | 草稿态数据元及标准字典不再支持废止。草稿态废止没有意义,本版本进行限制不再支持草稿态进行废止,废止仅允许试用、标准态数据元或标准字典。 | - | |||
优化 | 数据元安全等级默认选中列表里的第一个。用户添加数据元时,将自动选择第一个安全等级,减少用户操作。 | - | |||
优化 | 字典代码值去除唯一键限制,代码侧进行校验。录入字典时,存在大小写区分的问题,但mysql配置为大小写不敏感,因此会当作重复处理,本版本取消限制,仅在代码测进行校验。 | - | |||
优化 | 数据元与数据字典属性项长度调整。 | - | |||
优化 | 词根中文名称及英文名称校验条件调整。 | - | |||
4 | 指标系统(v2.4.2) | 新增 | 已下线指标无引用且无临时版本时可删除。 | 2022.09 | - |
新增 | 支持控制是否同步数仓主题域以及是否启用标准目录。 | - | |||
新增 | 指标支持英文名称,增加系统自定义字段,英文名称,与表资产对齐。 | - | |||
新增 | 指标域支持搜索,让用户能够快速找到自己想要的域。 | - | |||
新增 | 支持资源目录分组顺序可调。 | - | |||
优化 | 优化添加指标域报错信息,原先问题是因为域标识首字母大写了才导致配置错误,提示里面只反馈了仅英文和数字,没有指出是因为大写才创建失败。 | - | |||
优化 | 优化修饰词搜索的返回顺序,修饰词默认列表页与修饰词搜索列表页的修饰词列内容排序不一致,导致客户侧UI自动化测试失败。 | - | |||
优化 | 导入增加进度提示。批量导入进行异步请求,解决超时报错问题;增加进度提示,界面交互更友好。 | - | |||
指标系统(v2.5.0) | 新增 | 指标对接安全中心项目组级别权限。指标原对接项目中心的权限,全部移到安全中心项目组级别权限。 | 2022.09 | - | |
新增 | 提供基于数据元查询被应用的指标详情的接口。 | - | |||
新增 | 衍生词支持临时版本记录,审核不通过时数据不再丢失。 | - | |||
新增 | 指标支持待发布态。 | - | |||
新增 | 申请治理工单根据提交人选择处理对象。 | - | |||
新增 | 指标表示生产方式支持选择连接符。 | - | |||
优化 | 指标7.0视觉规范改造。 | - | |||
优化 | 确权工单的审核人下拉列表要求只能是对应部门下的治理专员。确权工单当选择部门后,自动选择该部门下的第一个人员,且选择范围仅为该部门下的人员。 | - | |||
优化 | 草稿态支持编辑补充技术元数据。草稿态也支持直接编辑了,本版本之前开启了申请治理后,草稿态仅可通过申请治理的方式进行修改。 | - | |||
优化 | 指标导入模板提示优化:1. 模板中指标类型按照展示名称;2. 提示内容需要根据动态模板进行调整,如未启用复合指标的修饰词时,模板里修饰词列就不该展示复合指标的要求。 | - | |||
优化 | 指标新建时指标域展示全路径。选择指标域后,将展示全路径名称,之前仅展示最后一级。 | - | |||
优化 | 指标导入时指标域以及数据目录,兼容“/浙江/杭州/滨江”以及“浙江/杭州/滨江”两种填写情况。 | - | |||
优化 | 导入模板中若该列为多值,表头提示多值分割符。 | - | |||
优化 | 导入模板有具体枚举值的建议提供枚举范围下拉选。 | - | |||
优化 | 治理流程配置方式优化。改变之前列表配置的方式,使用流程图的方式进行配置,一方面告知用户指标的治理流程操作与状态的关系,第二方面增加页面可读性,方便用户操作决策。 | - | |||
5 | 模型设计中心(v1.4.0) | 新增 | 支持工单执行时区分建表成功以及元数据标签创建成功。 | 2022.09 | - |
新增 | 字段选择指标时支持选择多级指标域下的指标。 | - | |||
新增 | 维度支持导入导出。 | - | |||
新增 | 综合表工单支持下载模板。 | - | |||
优化 | 7.0规范改造。 | - | |||
优化 | 优化兼容sloth等不带集群信息时的页面跳转。 | - | |||
优化 | 优化表工单导入未校验元数据标签是否发生变更问题。 | - | |||
模型设计中心(v1.5.0) | 新增 | 模型设计中心对接流协打通审批管理。 | 2022.09 | - | |
新增 | 综合模板批量导入-第三步批量提交工单支持异步提交,提交时改为异步,用户能够看到加载提示。 | - | |||
新增 | 维度列表支持异步获取关联信息。 | - | |||
新增 | 支持调用数据标准词根翻译接口翻译字段中文到英文名称。 | - | |||
新增 | 主题域表列表支持直接进行编辑生成修改表工单。 | - | |||
优化 | 修改表时,添加字段当有报错时应当仅标红改输入框而非所有。 | - | |||
优化 | 工单管理与我相关页面优化。区分我申请的,我审批的,并增加我审批的数量提示以及审批历史。 | - | |||
优化 | 优化标准化标签中维度的交互太隐蔽,看不出来可以点击。 | - | |||
优化 | 优化新建表选择维度时及主题域时支持异步刷新。 | - | |||
优化 | 优化主题域列表维表变更维度名称弹框中主次维表判断调用元数据中心数据。 | - | |||
优化 | 优化工单列表可操作按钮调整。 | - | |||
优化 | 优化子产品项目或集群切换后,再切换到产品导航栏会出现刷新问题。 | - | |||
优化 | 优化分层暴露配置提示修改。 | - | |||
优化 | 优化数仓建设概览页面表分层统计合并到一行展示。 | - | |||
6 | 数据质量中心(v2.2.0) | 新增 | 质量分计算规则调整。 | 2022.09 | - |
新增 | 新增【配置管理】页面,质量分支持按六大校验类型和规则强弱配置规则权重。 | - | |||
优化 | 质量大屏优化:筛选条件移至顶部,全局生效,增加数据库筛选条件;展示6大维度质量分;监控配置情况-配置规则总量、调度监控执行情况-异常规则总量 支持按校验类型分类统计。 | - | |||
优化 | 单表质量报告展示优化:支持展示六大校验类型维度质量分;支持字段质量分统计;近七天综合结果统计-配置规则总量 异常规则总量、最近一次执行明细-配置规则总量、异常规则总量、支持按强弱类型/校验类型分类统计。 | - | |||
新增 | 对接安全中心,接入操作审计和功能权限。 | - | |||
优化 | 数据标准推荐规则优化。监控任务复制时,不复制标准推荐规则;标准推荐规则,规则列表、运行结果、异常规则明细,展示字段名。 | - | |||
优化 | 执行实例、执行趋势位置调整。执行实例调整为一级菜单,执行趋势位置调整到监控列表、监控任务的操作栏。 | - | |||
优化 | 【交互优化】新建/编辑 监控 数据源/库/表 加载的时候,不可下拉,给出状态“加载中”。 | - | |||
优化 | 优化基准值计算方式,字段/表级规则模板N天前基准值按照自然天计算。 | - | |||
数据质量中心(v2.2.1) | 优化 | 质量大屏六大维度质量分具体得分改为鼠标放置时悬浮显示。 | 2022.09 | - | |
优化 | 质量大屏六大维度质量分,没有该维度得分的不计算。 | - | |||
数据质量中心(v2.3.0) | 新增 | 测试中心数据比对功能迁移。 | 2022.09 | - | |
新增 | 在质量中心运行结果页面上展示异常数据,展示前1000条。同时提供SQL,及去往自助分析的查询入口。 | - | |||
新增 | 质量监控展示完整代码。 | - | |||
新增 | 当数据源类型为hive时,支持监控任务和试跑合并规则进行执行,从而节省资源。 | - | |||
优化 | 【执行实例】支持显示执行时长。 | - | |||
数据质量中心(v2.4.0) | 新增 | 支持跨字段表一致性规则。 | 2022.09 | - | |
新增 | 新建模板规则数据格式新增支持日期型。 | - | |||
新增 | 质量监控支持配置 Driver内存、最大Executor数目、Executor内存。 | - | |||
优化 | 给数据地图提供质量分接口。 | - | |||
优化 | 邮件/文字通知接入控制台模板。 | - | |||
优化 | 配合数据源权限方案改造。用户在A项目下选择数据源时,下拉列表仅展示“使用授权”中配置了项目A的所有数据源,过滤“使用授权”中未配置项目A的所有数据源。 | - | |||
优化 | 异常数据样本增加队列选项。执行实例-运行结果/质量报告 点击异常数据样本之后不默认队列,弹出弹窗让用户选择有权限的队列。 | - | |||
优化 | 【新建规则】选择模板规则后支持展示规则描述。 | - | |||
优化 | 交互/视觉优化:1.新建标准推荐规则交互/视觉优化;2.新建/ 编辑自定义SQL规则,删除其中一条后,序号重新排列;3.执行趋势切换监控任务后,加一个加载中的状态。 | - | |||
7 | 安全中心(v3.7.3) | 新增 | 【角色管理-功能权限】支持子产品资源搜索。 | 2022.09 | - |
新增 | 【操作审计】项目组筛选下拉可选择当前用户所在的项目组,全部仅包含当前用户所在的项目组。 | - | |||
新增 | 【数据管理】表删除校验逻辑去掉所属库的授权校验。 | - | |||
新增 | 数据传输查询敏感类型是返回安全等级。 | - | |||
新增 | 数据权限底层插件及授权页面性能优化。 | - | |||
安全中心(v3.8.0) | 新增 | 支持目录权限申请。 | 2022.09 | - | |
新增 | 审批配置支持安全登记配置审批流。 | - | |||
优化 | 【权限到期邮件】配合控制台进行邮件内容定制化。 | - | |||
优化 | 权限申请申请表权限支持手输表名。 | - | |||
优化 | 【我的权限-有权限的库/表】 展示最近使用时间和权限闲置标记。 | - | |||
优化 | 【安全等级】修改安全等级立刻生效,取消缓存。 | - | |||
安全中心(v3.8.1) | 新增 | 【功能权限】指标系统功能权限迁移。 | 2022.09 | - | |
优化 | 安全中心导航视觉规范优化。 | - | |||
优化 | 工单状态颜色变更。 | - | |||
优化 | 【权限申请-我的申请】中撤回操作增加二次确认。 | - | |||
优化 | 【安全管理-权限配置】优化新增安全接口人时,点击蒙版处会关闭弹框,容易引起误操作。 | - | |||
优化 | 【安全管理-权限配置】优化新建规则时,点击蒙版处会关闭弹框,容易引起误操作。 | - | |||
8 | 离线开发(v6.6.1) | 新增 | 【离线开发】支持版本一键回滚。在离线开发-版本列表页面,新增回滚操作按钮,支持将开发模式下的节点(配置与代码)与资源配置一键回滚到指定的版本。 | 2022.09 | - |
新增 | 【离线开发】支持提交上线时选择需关联的JIRA并在任务上线后自动变更JIRA状态。 | - | |||
新增 | 【离线开发】参数组的参数值支持隐藏。参数组的参数值支持隐藏,隐藏参数值后,参数值将会对所有用户默认隐藏,拥有对应参数组编辑权限的成员能够查看参数值。 | - | |||
新增 | 【用户中心】支持显示信息接收邮箱。用户中心-个人信息,支持显示信息接收邮箱,并支持编辑,方便用户设置邮箱用于接收平台发送的审批通知、报警等信息。 | - | |||
优化 | 【自助分析】spark 执行引擎队列支持选择。当自助分析使用Spark引擎为Kyuubi时,支持选择当前项目下所有yarn队列,默认按照CPU、内存降序排序。 | - | |||
优化 | 【用户中心】成员申请加入项目时支持选择想要申请的角色,同时审批工单迁移到新版流协。成员申请加入项目时支持选择当前项目下,除项目负责人以外所有角色,审批工单的入口从原先的用户中心-申请审批迁移到新版流程协作与通知中心,支持项目负责人与项目管理员审批。 | - | |||
优化 | 【离线开发】开发模式下运行节点时,增加引用资源组为线上资源组时资源组是否已上线的判断逻辑。 | - | |||
优化 | 【离线开发】参数组中“时间参数辅助说明”里增加azkaban_date_modify的函数使用说明。 | - | |||
优化 | 【项目中心】项目配置新增“离线开发任务线上执行资源控制”,支持设置队列权限为“线上执行账号”还是“任务负责人”,默认选中“线上执行账号”。 | - | |||
优化 | 【离线开发】调度配置支持设置优先级。 | - | |||
优化 | 【离线开发】新建参数组时,选择负责人的交互优化,原先默认为空,优化后,默认填充当前用户。 | - | |||
优化 | 【离线开发】批量导入导出相关优化,包括状态为“正在导入”与“正在导出”时,不允许编辑导入内容或导入内容等配置。 | - | |||
优化 | 【离线开发】MR节点配置内容中,classpath输入项新增提示语:“多空用‘,’分割”。 | - | |||
优化 | 【离线开发】默认文件夹权限控制的相关优化,包括子文件夹支持删除与重命名等。 | - | |||
优化 | 【离线开发&自主分析】操作审计从项目中心迁至安全中心,并丰富了审计操作内容。旧数据仍然保留在项目中心,此次新增开关,用于之后关闭入口。 | - | |||
优化 | 【旧运维中心】部分按钮置灰,不再支持操作,包括重跑、停止、批量重跑与批量终止,需前往新版任务运维中心操作。 | - | |||
优化 | 【离线开发】支持数据地图页面中离线开发指定任务的跳转。 | - | |||
优化 | 【数据管理】表删除校验逻辑去掉所属库的授权校验,原先若表所在的库授权给了其他项目的项目负责人,则该库下的表将不支持删除,此次优化逻辑允许删除,并新增提示用户确认删除操作的影响范围。 | - | |||
优化 | 【离线开发】配置文件增加平台级开关,控制是否允许跨项目组任务依赖。 | - | |||
9 | 控制台(v1.2.7) | 新增 | 项目中心(新)、平台管理接入安全中心。 | 2022.09 | - |
优化 | 导航栏、首页、用户手册“数据资产中心”改名为“数据治理360”。 | - | |||
10 | 数据资产(v2.1.3) | 新增 | “有数报表分析”功能通用化。之前有数报表分析只对接了云音乐的域,当前版本变为了通用化方案,可对接传媒、严选等业务线。(默认不开启) | 2022.08 | - |
新增 | 健康诊断增加价值资产分。 | 健康诊断 | |||
新增 | 健康诊断增加规范资产分。在价值资产分相同位置,增加规范相关内容。 | 健康诊断 | |||
新增 | 兼容性改造。 若没有有数BI、数据服务API和指标系统产品,健康分去掉价值健康分 若没有模型设计中心,健康诊断中去掉规范健康分 关于分数计算,若没有有数BI、数据服务API和指标系统,默认价值和规范不扣分 |
健康诊断 | |||
新增 | 资产健康分构成指标增加说明。 | 健康诊断 | |||
优化 | 资产页面图标空态处理。 | - | |||
优化 | 生命周期删除方案优化,支持删除大分区表。 | - | |||
数据资产(v2.1.4) | 新增 | 表备份功能增加累计预估备份表的费用,列表中针对每张表备份费用给出预估。操作列增加设置冷备的表快速进行任务运维中心查看任务详情,也可快速进入备份空间查看备份的详情内容。表头增加预估备份费用的选择,默认展示。 | 2022.08 | 数据备份 | |
新增 | 目录备份功能: 1.展示累计备份目录数据量和预估备份目录总费用的数值展示 2.列表中展示备份目录、目的地目录、目录冷备存储量和预估冷备费用等字段内容 3.操作栏支持启动、编辑、快速进入任务运维和备份空间入口 4.任务状态,针对全量备份,增加已完成状态 5.新增目录备份功能改版,任务名称系统默认生成,支持根据模板设置需要备份的数据,若不选择模板,则根据目录修改时间和天数进行备份 6.基于设置的备份条件,系统支持检测需要备份的内容,确认后才会真正创建备份任务 |
数据备份 | |||
新增 | 备份空间: 1.展示累计备份数据量、费用和备份数据空间占比信息,仅统计通过平台设置表和目录备份功能迁移的数据 2.支持备份数据量和费用趋势图展示 3.备份目录支持快速复制,列表展示备份目录名称、文件大小和修改时间等基本信息 4.非根目录下,支持快速返回上一级操作 |
数据备份 | |||
新增 | 域名统一规范,子产品的邮件/popo/短信通知中的跳转链接更换为新的easydata域名。 | - | |||
新增 | 计算分析中,节点下载支持任务负责人字段。 | - | |||
优化 | 多备份功能优化:比如目录A已经备份过了,在1号修改了目录A,在2号又修改了目录A,冷备会对目录额外有两次备份,导致备份版本较多;当前版本会根据修改时间保存最新的备份,对历史数据进行删除。 | - | |||
优化 | 列表展示优化,表名太长的话,最多展示两行,尽可能展示多的表名信息。 | - | |||
数据资产(v2.1.5) | 新增 | 健康诊断中支持质量健康分,包括项目组、项目和个人总览下: 1.项目组总览、我的总览和项目总览下,资产健康分增加质量健康分,历史趋势中增加质量健康分 2.项目总览下,待治理负责人排行榜增加质量维度,支持数据跳转 3.项目总览下,健康分待治理项增加质量维度,包含近7天表质量分均低于80和近7天监控任务实例存在异常或失败两条规则,支持查看详情和下载 4.个人总览下,健康分待治理项也增加质量维度,默认显示当前用户待治理项 |
2022.08 | 健康诊断 | |
新增 | 健康分规则说明和治理项优化建议中增加质量相关内容,供使用者参考。 | 健康诊断 | |||
新增 | 推荐下线表中,对于已下线且进入灰度空间的表,提供一键恢复功能。 | 推荐下线表 | |||
优化 | 推荐下线表,下线失败表清单由个人视角更新为项目视角,可以查看当前项目下所有的下线失败表清单列表。 | - | |||
优化 | 备份空间路径优化,可点击路径显示蓝色,可直接点击跳转。 | - | |||
优化 | 数据冷备任务取消心跳超时检测,避免大文件冷备失败。 | - | |||
优化 | 数据冷备任务支持前往新版任务运维中心。 | 数据备份 | |||
优化 | 服务日志回滚指标支持动态配置。 | - | |||
优化 | 有数报表获取下线指标接口性能优化。 | - | |||
优化 | 大分区表生命周期治理优化,支持服务升级重启情况下未处理完的分区持续删除。 | - | |||
优化 | 大分区表自动下线流程优化,仅记录最近分区DDL, 避免插入数据量过大导致MySQL服务拒绝。 | - | |||
优化 | 资产数仓任务节点 da_ads_tbldiagnosis_1d 性能优化,避免使用SELECT *。 | - | |||
11 | 数据服务(v1.5.2) | 新增 | 服务编排支持UDF节点,可通过上传jar包处理更为复杂的编排业务逻辑。 | 2022.08 | 服务编排 |
新增 | 服务编排使用功能改进。 1.画布支持整个flow上下移动,增加自动布局功能,可根据画布大小和工作流位置提供最优布局 2.python和条件节点的自定义代码区优化,提示留意python代码缩进规则,且调整返回数值位置 3.python和条件节点,放大代码区编辑优化,代码框放大后,由原本的退出和上一步操作,替换为保存与取消功能键 4.保留编排测试数据,在保存成功之后,再次进入服务编排,会自动保存上一次的测试数据,不需要重新输入,优化使用方式。 |
- | |||
新增 | 服务编排的结束节点支持系统填充返回参数功能,且仅支持填充上游为API类型的节点数据。 | 服务编排 | |||
新增 | 节点基本信息配置,不允许参数重名。 | - | |||
新增 | 支持服务编排API进行在线升级操作。 | 服务编排 | |||
新增 | 支持服务编排API的版本历史管理。 | 服务编排 | |||
新增 | 新建API的第二步,对于后置参数的二次处理,上传jar包功能优化,增加jar模板下载功能。 | API开发和管理 | |||
新增 | API列表支持API path定位搜索功能,API path包含前缀 + 集合path + api path。 | - | |||
新增 | API测试页面,执行测试操作,返回数据中打印执行SQL,便于问题定位。 | API测试 | |||
新增 | 资源组配置页面优化。 1.资源组增加启用功能,只有启用成功的资源组才可以被选择使用(对于线上已有的资源组,上线会默认均为已启用状态) 2.在启用资源组时,需要后台先启用对应的查询实例,有关于实例启动的步骤,可查看文档说明中的资源组配置,结合ops启动查询实例 3.若停用资源组,需保证资源组未被API引用,且停用后,资源组将不再可选被使用。 |
资源组管理 | |||
新增 | 事件跟踪功能迁移,对接安全中心审计日志,在审计日志中查看所有子产品的审计信息。 | - | |||
优化 | 解决对于新用户登录切换的问题。 | - | |||
优化 | 页面访问传递增加项目集群,解决以下问题:在一个页面上打开A项目,另外一个页面打开B项目,此时再回到A项目,右上角的项目为B,但显示的内容还是A。 | - | |||
优化 | 服务编排全局运行时,输出结果展示优化,运行结果中,根据节点名称,分为输入、输出和错误信息,便于快速定位报错节点信息。 | - | |||
数据服务(v1.5.3) | 新增 | 支持server配置外部redis cluster作为API缓存。 | 2022.09 | - | |
新增 | 请求和返回参数支持高精度浮点型,包括创建API和创建服务编排,且对参数类型增加英文说明。 | - | |||
新增 | 若当前项目的API绑定了非当前项目的应用,为了防止切换项目造成报错,对非当前项目的API/应用增加hover说明:非当前项目下应用/API,无法点击,去掉跳转和测试功能。 | - | |||
12 | 流程协作与通知中心(v2.0.6) | 新增 | 数据传输对接新流协。 | 2022.09 | - |
新增 | 模型设计中心对接新流协。 | - | |||
新增 | 指标治理模版新增业务属性。 | - |
6.5.0 Update 1.0
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 数据传输(v2.6.5) | 优化 | Hive2StarRocks数据传输支持先合并小文件再写入。 | 2022.09 | - |
6.5.0 Update 0.9
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 数据传输(v2.6.4) | 新增 | 接入数据源登记的数据源“使用授权”,即在数据传输配置数据源时,只能选择在数据源登记时选择了授权使用的项目。 | 2022.09 | - |
新增 | 数据传输支持选择同一集群下其余项目有读写权限的表 。 | - | |||
优化 | Hive2Doris数据传输支持先合并小文件再写入。 | - | |||
优化 | 支持读取Hive且版本号为1.1.0-CDH5.14.0时、连接模式为Zookeeper的Hive数据源。 | - | |||
优化 | 数据去向为Vertica且写入方式为copy时,支持适配simple认证的Hive集群。 | - | |||
优化 | 数据去向为关系型数据库时,PreSQL和PostSQL中未填写schema/databas时的默认schema/database调整。 | - | |||
优化 | 数据去向为Phoenix时,隐藏PreSQL和PostSQL。 | - | |||
2 | 控制台(v1.2.6) | 新增 | 账号密码支持加密传输。 | 2022.08 | - |
新增 | Hive数据源登记新增版本:Sensors Data-Impala 3.2.18.6,支持基于Impala JDBC连接神策Hive(Hadoop版本:3.1.1.3.1.4.0-315,认证方式:用户名认证)。 | 数据源Hive | |||
优化 | 导航数据从mammut服务迁移到控制台,并修复了跳转到数据标准不能正确跳转到正确的项目-集群的问题。 | - | |||
优化 | 控制台的邮件通知接入数据开发及管理平台的统一邮件模板。 | - | |||
优化 | 平台管理-基础配置隐藏“消息模板管理”入口。隐藏原因:当前子产品还未完全接入消息模板,待子产品都接入后重新暴露。 | - | |||
控制台(v1.2.6.2) | 新增 | SQL Server数据源登记配置修改,新增版本:2008。 | 2022.08 | 数据源SQLServer | |
新增 | Hive数据源登记配置修改:认证方式为Simple认证时用户名由必填改选填。 | 数据源Hive | |||
新增 | 无账号权限用户,进入控制台无产品页面,点击申请由跳转独立域名改为跳转统一域名。 | - | |||
控制台(v1.2.6.4) | 新增 | 支持配置“数据源使用授权”。 | 2022.09 | - | |
新增 | ES支持源系统账号鉴权。 | - | |||
优化 | 数据源类型为Hive、数据源版本为1.1.0-CDH 5.14.0时,支持zk模式。 | - | |||
优化 | 数据源功能权限迁移至:安全中心-安全管理-角色管理-项目级。 | - | |||
3 | 任务运维中心(v1.5.0) | 新增 | 新增基线甘特图。 | 2022.09 | - |
新增 | 新增周基线、月基线。 | - | |||
新增 | 操作审计对接安全中心。 | - | |||
新增 | 任务设置基线新增时间判断。 | - | |||
新增 | 任务失败基线告警中增加最晚完成时间和余量最少基线的提醒。 | - | |||
新增 | 任务和实例详情页增加节点的关系视图。 | - | |||
新增 | 任务血缘统计新增多种排序方式。 | - | |||
优化 | 域名跳转统一为easydata。 | - | |||
优化 | 任务列表和实例列表增加节点名称搜索。 | - | |||
优化 | 单任务补数据默认名称优化。 | - | |||
优化 | 任务详情执行计划列表中增加“终止补数据”快捷操作。 | - | |||
优化 | 新建补数据时增加是否有未完成的补数据任务的校验提示。 | - | |||
优化 | 补数据实例详情页补充重跑按钮。 | - | |||
优化 | 实例列表增加节点查看和日志查看操作。 | - | |||
任务运维中心(v1.6.0) | 新增 | 补数据支持走审批,可开关设置。 | 2022.09 | - | |
新增 | 支持项目组级别全局报警屏蔽,报警历史可标识未触发通知的记录。 | - | |||
新增 | 大盘统计、实例列表支持任务优先级筛选。 | - | |||
新增 | 支持查看任务下游基线。 | - | |||
新增 | 支持批量清空值班人及刷新操作。 | - | |||
优化 | 实例列表列冻结优化,用户体验优化,将实例ID、任务名称两列默认冻结。 | - | |||
优化 | 项目组运维大盘增加项目组管理员的默认查看权限。 | - | |||
优化 | 甘特图增加只看关键路径的快捷筛选,及文案优化。 | 待优化 | |||
优化 | 补数据任务创建时增加预估实例总数的逻辑。 | 待优化 | |||
优化 | 在生成规则时,日历上自动同步更新排班。 | - | |||
优化 | 补数据openAPI,支持设置调度时间、补数据队列。 | - | |||
任务运维中心(v1.6.1) | 新增 | 值班组备值班人个数开放至最多5个。 | 2022.09 | - | |
新增 | 新增批量设置基线的openapi。 | - | |||
优化 | 报警配置任务接收方式与上报人接收方式保持一致。原先任务报警接收人勾选上报人后,上报人仅会收到电话和短信的报警,本次版本更新后,上报人接收方式将与报警配置的接收方式保持一致,避免上报人未能及时接到电话或看到短信而错过报警的情况。 | - | |||
4 | 流程协作与通知中心(v2.0.4) | 新增 | 任务运维中心接入新流协。 | 2022.09 | - |
新增 | 安全中心接入新流协。 | - | |||
新增 | 资产地图接入新流协,新增2个业务数据:已完成确权和存在物理表。 | - | |||
5 | 离线开发(v6.6.0.3) | 新增 | 任务支持基于优先级的调度。 | 2022.09 | - |
优化 | hive数据源展示支持查看授权给当前项目和用户的库表。 | - | |||
6 | 数据安全中心(v3.7.1.2) | 新增 | 支持查询跨项目的数据权限,配合数据传输选择数据源时展示同一集群下其余项目有读写权限的表。 | 2022.09 | - |
新增 | 支持查询角色下的人员列表,配合流协等其它产品使用。 | - | |||
新增 | 数据源管理功能权限迁移到角色管理-项目-角色-功能权限中。 | - | |||
新增 | 数据源展示支持查看授权给当前项目和用户的库表。在自助分析页面,当前会向当前用户展示有权限的项目内和跨项目的表。 | - | |||
安全中心(v3.7.2) | 新增 | 新增负责人、管理员全部权限开关,开启时当前角色有包含新增权限在内的全部功能权限。 | 2022.09 | 角色管理 | |
新增 | 数据识别支持全表扫描,条数不设上限。新建识别任务时,扫描方式可选 全表扫描/抽样扫描,选择全表扫描时无需配置识别行数,全表扫描。 | 数据识别 | |||
新增 | 数据识别识别结果修改敏感类型时联动修改安全等级。 | 数据识别 | |||
新增 | 操作审计,审计日志不区分集群,展示项目组下全部日志,搜索条件增加项目组和集群。 | 操作审计 | |||
新增 | 数据授权/目录授权搜索优化: 1.数据授权左侧树支持模糊搜索库名 2.数据授权/目录授权 新增权限,选中授权对象为角色,选择授权对象所属项目时支持项目名模糊搜索 3.数据授权/目录授权 新增权限 ,搜索角色/用户时 搜索支持模糊匹配,忽略大小写,目前是大小写敏感的 |
数据权限 |
6.5.0 Update 0.8
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
3 | 数据地图(v2.1.1) | 新增 | 元数据支持暂时保存功能。 | 2022.08 | 元数据注册 |
新增 | 元数据采集失败时支持邮件报警。当元数据采集失败时,可以根据设置的接收人名单接收对应的报警邮件通知。 | 元数据采集 | |||
优化 | 导入时若模板文件存在format但无内容时,忽略报错,可继续导入。 | - | |||
4 | 数据服务(v1.5.2) | 新增 | 服务编排支持UDF节点,可通过上传jar包处理更为复杂的编排业务逻辑。 | 2022.08 | 服务编排 |
新增 | 服务编排使用功能改进。 1.画布支持整个flow上下移动,增加自动布局功能,可根据画布大小和工作流位置提供最优布局 2.python和条件节点的自定义代码区优化,提示留意python代码缩进规则,且调整返回数值位置 3.python和条件节点,放大代码区编辑优化,代码框放大后,由原本的退出和上一步操作,替换为保存与取消功能键 4.保留编排测试数据,在保存成功之后,再次进入服务编排,会自动保存上一次的测试数据,不需要重新输入,优化使用方式。 |
- | |||
新增 | 服务编排的结束节点支持系统填充返回参数功能,且仅支持填充上游为API类型的节点数据。 | 服务编排 | |||
新增 | 节点基本信息配置,不允许参数重名。 | - | |||
新增 | 支持服务编排API进行在线升级操作。 | 服务编排 | |||
新增 | 支持服务编排API的版本历史管理。 | 服务编排 | |||
新增 | 新建API的第二步,对于后置参数的二次处理,上传jar包功能优化,增加jar模板下载功能。 | API开发和管理 | |||
新增 | API列表支持API path定位搜索功能,API path包含前缀 + 集合path + api path。 | - | |||
新增 | API测试页面,执行测试操作,返回数据中打印执行SQL,便于问题定位。 | API测试 | |||
新增 | 资源组配置页面优化。 1.资源组增加启用功能,只有启用成功的资源组才可以被选择使用(对于线上已有的资源组,上线会默认均为已启用状态) 2.在启用资源组时,需要后台先启用对应的查询实例,有关于实例启动的步骤,可查看文档说明中的资源组配置,结合ops启动查询实例 3.若停用资源组,需保证资源组未被API引用,且停用后,资源组将不再可选被使用。 |
资源组管理 | |||
新增 | 事件跟踪功能迁移,对接安全中心审计日志,在审计日志中查看所有子产品的审计信息。 | - | |||
优化 | 解决对于新用户登录切换的问题。 | - | |||
优化 | 页面访问传递增加项目集群,解决以下问题:在一个页面上打开A项目,另外一个页面打开B项目,此时再回到A项目,右上角的项目为B,但显示的内容还是A。 | - | |||
优化 | 服务编排全局运行时,输出结果展示优化,运行结果中,根据节点名称,分为输入、输出和错误信息,便于快速定位报错节点信息。 | - | |||
1 | 数据传输(v2.6.1) | 新增 | 支持批量导入导出离线同步任务。 | 2022.08 | 离线同步任务批量导出导入 |
新增 | MySQL、Oracle、SQLServer支持全量初始化。 | 数据源MySQL | |||
新增 | 数据来源端为Hive时,支持基于Impala JDBC读取Hive数据。(Hive版本为:Sensors Data-Impala 3.2.18.6、Hive认证方式为:用户名认证) | 数据源Hive | |||
新增 | 支持ES动态索引模式。 | 数据源ES | |||
优化 | 按照逻辑数据源模式读取物理数据源时,接入源系统账号鉴权。 | - | |||
优化 | 独立域名强制跳转到统一域名。 | - | |||
优化 | 源系统账号鉴权功能修改。 修改前:数据传输试运行及离线开发开发模式运行时,连接数据源时使用执行任务的个人账号所映射的源系统账号;离线开发线上模式运行时,连接数据源时使用项目账号所映射的源系统账号 修改后:数据传输试运行、离线开发开发模式运行、离线开发线上模式运行时,通过Azkaban获取执行任务的账号信息,使用任务执行账号所映射的源系统账号 |
- | |||
数据传输(v2.6.2) | 新增 | 数据源类型为SQLServer时,新增支持版本:SQL Server 2008。 | 2022.08 | 数据源SQLServer | |
新增 | 数据来源为SQLServer时,数据过滤-流水型支持选用timestamp字段作为增量标识字段。 | 数据源SQLServer | |||
新增 | 浮框无效的异常报错限制最大长度为500个字符。 | - | |||
数据传输(v2.6.3) | 新增 | 数据来源为MySQL、SQL Server、Oracle时,字段映射的自定义表达式支持填写${source table}变量,表示来源表表名。 | 2022.09 | - | |
新增 | 数据来源或去向为MySQL、Hive、SQL Server、Oracle时,字段映射支持同行映射功能。 | - | |||
优化 | 数据来源为Oracle逻辑数据源时,解析符合正则匹配规则的库表的接口响应速度加快。 | - | |||
优化 | 数据来源配置中,数据过滤-流水型技术方案优化。 | - | |||
6 | 数据资产(v2.1.3) | 新增 | “有数报表分析”功能通用化。之前有数报表分析只对接了云音乐的域,当前版本变为了通用化方案,可对接传媒、严选等业务线。(默认不开启) | 2022.08 | - |
新增 | 健康诊断增加价值资产分。 | 健康诊断 | |||
新增 | 健康诊断增加规范资产分。在价值资产分相同位置,增加规范相关内容。 | 健康诊断 | |||
新增 | 兼容性改造。 若没有有数BI、数据服务API和指标系统产品,健康分去掉价值健康分 若没有模型设计中心,健康诊断中去掉规范健康分 关于分数计算,若没有有数BI、数据服务API和指标系统,默认价值和规范不扣分 |
健康诊断 | |||
新增 | 资产健康分构成指标增加说明。 | 健康诊断 | |||
优化 | 资产页面图标空态处理。 | - | |||
优化 | 生命周期删除方案优化,支持删除大分区表。 | - | |||
数据资产(v2.1.4) | 新增 | 表备份功能增加累计预估备份表的费用,列表中针对每张表备份费用给出预估。操作列增加设置冷备的表快速进行任务运维中心查看任务详情,也可快速进入备份空间查看备份的详情内容。表头增加预估备份费用的选择,默认展示。 | 2022.08 | 数据备份 | |
新增 | 目录备份功能: 1.展示累计备份目录数据量和预估备份目录总费用的数值展示 2.列表中展示备份目录、目的地目录、目录冷备存储量和预估冷备费用等字段内容 3.操作栏支持启动、编辑、快速进入任务运维和备份空间入口 4.任务状态,针对全量备份,增加已完成状态 5.新增目录备份功能改版,任务名称系统默认生成,支持根据模板设置需要备份的数据,若不选择模板,则根据目录修改时间和天数进行备份 6.基于设置的备份条件,系统支持检测需要备份的内容,确认后才会真正创建备份任务 |
数据备份 | |||
新增 | 备份空间: 1.展示累计备份数据量、费用和备份数据空间占比信息,仅统计通过平台设置表和目录备份功能迁移的数据 2.支持备份数据量和费用趋势图展示 3.备份目录支持快速复制,列表展示备份目录名称、文件大小和修改时间等基本信息 4.非根目录下,支持快速返回上一级操作 |
数据备份 | |||
新增 | 域名统一规范,子产品的邮件/popo/短信通知中的跳转链接更换为新的easydata域名。 | - | |||
新增 | 计算分析中,节点下载支持任务负责人字段。 | - | |||
优化 | 多备份功能优化:比如目录A已经备份过了,在1号修改了目录A,在2号又修改了目录A,冷备会对目录额外有两次备份,导致备份版本较多;当前版本会根据修改时间保存最新的备份,对历史数据进行删除。 | - | |||
优化 | 列表展示优化,表名太长的话,最多展示两行,尽可能展示多的表名信息。 | - | |||
数据资产(v2.1.5) | 新增 | 健康诊断中支持质量健康分,包括项目组、项目和个人总览下: 1.项目组总览、我的总览和项目总览下,资产健康分增加质量健康分,历史趋势中增加质量健康分 2.项目总览下,待治理负责人排行榜增加质量维度,支持数据跳转 3.项目总览下,健康分待治理项增加质量维度,包含近7天表质量分均低于80和近7天监控任务实例存在异常或失败两条规则,支持查看详情和下载 4.个人总览下,健康分待治理项也增加质量维度,默认显示当前用户待治理项 |
2022.08 | 健康诊断 | |
新增 | 健康分规则说明和治理项优化建议中增加质量相关内容,供使用者参考。 | 健康诊断 | |||
新增 | 推荐下线表中,对于已下线且进入灰度空间的表,提供一键恢复功能。 | 推荐下线表 | |||
优化 | 推荐下线表,下线失败表清单由个人视角更新为项目视角,可以查看当前项目下所有的下线失败表清单列表。 | - | |||
优化 | 备份空间路径优化,可点击路径显示蓝色,可直接点击跳转。 | - | |||
优化 | 数据冷备任务取消心跳超时检测,避免大文件冷备失败。 | - | |||
优化 | 数据冷备任务支持前往新版任务运维中心。 | 数据备份 | |||
优化 | 服务日志回滚指标支持动态配置。 | - | |||
优化 | 有数报表获取下线指标接口性能优化。 | - | |||
优化 | 大分区表生命周期治理优化,支持服务升级重启情况下未处理完的分区持续删除。 | - | |||
优化 | 大分区表自动下线流程优化,仅记录最近分区DDL, 避免插入数据量过大导致MySQL服务拒绝。 | - | |||
优化 | 资产数仓任务节点 da_ads_tbldiagnosis_1d 性能优化,避免使用SELECT *。 | - | |||
2 | 离线开发(v6.5.3) | 新增 | 离线开发编辑调度放开“完成超时”。离线开发任务,新增任务的完成超时报警功能。完成超时,指任务从计划执行时间开始计时,多久之后还没有运行成功的实例。超过该时间后,即会发送报警。 | 2022.09 | 编辑报警 |
新增 | 新增yarn队列相关接口,包括:所有队列列表、用户有权限的队列列表API、用户队列授权增加API、用户队列授权删除API。 | - | |||
优化 | 离线开发增加逻辑控制:已配置节点依赖的任务节点禁止重命名。 | - | |||
优化 | 调整导航样式,并将安全中心从右上角移入到统一菜单中其中导航数据,也从原本的mammut服务,迁移到了控制台。 | - | |||
优化 | 子产品独立域名全部跳转到easydata域名。 | - | |||
3 | 元数据中心(v5.0.6.1) | 新增 | 增加正则获取oracle表名接口。 | 2022.09 | - |
6.5.0 Update 0.7
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 数据地图(v2.1.0) | 新增 | 支持自定义目录。目录配置模块支持自定义数据的归属目录,包括标准目录、自定义目录2种。 | 2022.07 | 目录管理 |
新增 | 采集任务支持设置表的归属目录。创建采集任务时,可以设置采集后的表自动归属的目录,方便用户在采集完成后快速找到表。 | 元数据采集 | |||
新增 | 元数据注册信息支持自动生成DDL。对于增量元数据注册,此时还没有物理表时,系统可以根据元数据注册信息中的表、字段信息自动拼接生成DDL,方便用户查看DDL结构并复制后用于物理建模。若已存在物理表的元数据,则查看DDL从数据库实时获取。 | 元数据注册 | |||
新增 | 元数据列表增加已确权、已存在物理表的标识。 | 元数据注册 | |||
优化 | 字段血缘性能优化。 | - | |||
优化 | 表名信息为空无法扫描技术信息,相关提示信息优化。 | - | |||
优化 | 表的读写记录和DDL变更记录保留近3个月,时间筛选范围优化。 | - | |||
2 | 指标系统(v2.4.1) | 新增 | 支持我的数据模块。将用户收藏的、订阅的以及浏览记录统一展示,支持用户批量取消收藏和订阅。 | 2022.07 | 我的数据 |
新增 | 指标治理工单支持转办。对于指标治理工单,提交到流协后,支持对改工单进行转办。 | 指标治理 | |||
新增 | 指标提交工单支持配置审核人列表或指定审核人。 | 审批设置 | |||
优化 | 衍生词审批切换到新的流协系统里。统一指标审批的渠道,指标工单及衍生词工单都对接到新流协。 | 新流协 | |||
优化 | 指标对接安全中心操作审计类型调整。为了对接项目组级别权限,对操作类型进行了统一,因此需要进行调整。 | - | |||
优化 | 指标详情需要按照字段属性权限进行过滤。 | - | |||
3 | 元数据中心(v5.0.1) | 新增 | 元数据治理模块sourceType类型改为sourceTypeSign,不包括长度和精度。 | 2022.07 | - |
新增 | 采集数据的时候,相同数据源类型,相同db,相同table,采集表报错,采集任务不会报错。 | - | |||
新增 | 提供修改sourceType接口,供东证发版的时候使用。 | - | |||
新增 | 元数据注册信息自动生成DDL。 | - | |||
新增 | 开放StarRocks数据源。 | - | |||
元数据中心(v5.0.5) | 新增 | SQLserver2008版本适配。 | 2022.07 | - | |
新增 | 新增元数据暂存功能。 | - | |||
4 | 数据标准(v1.4.0) | 新增 | 支持按照标准类型比对发布的版本差异。支持用户对数据元或数据标准发布之前,查看版本比对,比对差异;以及对比历史版本查看发布变化。 | 2022.07 | 标准发布 |
新增 | 支持对单个数据元进行版本比对。 | 查看数据元 | |||
新增 | 支持对单个标准字典进行版本比对。 | 版本比对 | |||
新增 | 词根支持以词根中文作为主体。 | 词根管理 | |||
新增 | 词根导入支持对已存在词根进行修改。 | 词根管理 | |||
优化 | 词根导入限额从1000提升到5000。 | 词根管理 | |||
优化 | 添加数据元时支持跳转添加数据字典。 | - | |||
优化 | 数据元内部标识符改为落库生成。之前由前端生成,每刷新一次都会重新生成,本版本进行调整,落库时再生成。 | - | |||
优化 | 完善版本号的管理机制,用户能自定义设置。用户对已发布或废止的数据元及数据字典进行编辑时,系统会自动生成版本号,用户可自行编辑版本号,但用户填写的版本号需大于最新版本且需满足x.x.x的格式。 | 标准发布 | |||
优化 | 数据项分类改为不允许点击取消选中。 | - | |||
5 | 模型涉及中心(v1.3.0) | 新增 | 模型建表支持关联一级主题域且支持取消选择到末级主题域限制。 | 2022.07 | 主题域选择规范配置 |
新增 | 模型扩展信息配置支持枚举多选需求。之前模型的扩展属性仅支持枚举单选,现支持多选可对一张表同时打上多个标签。 | 扩展信息配置 | |||
新增 | 模型设计中心对接安全中心操作审计。 | - | |||
新增 | 模型设计中心对接控制台统一邮件、popo文案。 | - | |||
优化 | 当账号有项目但是没有数仓开发等角色时提示界面优化。区分用户是无项目还是无角色两种情况,无项目则提示加入项目,无角色提示用户申请角色权限。 | - |
6.5.0 Update 0.6
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 元数据中心(v4.10.0) | 新增 | 元数据治理模块sourceType类型改为sourceTypeSign,不包括长度和精度。 | 2022.06 | - |
新增 | 采集数据的时候,当遇到相同数据源类型、相同数据库、相同表情况,采集表报错,采集任务不会报错。 | - | |||
新增 | 提供修改sourceType接口。 | - | |||
2 | 数据标准(v1.3.1) | 新增 | 支持资源目录openapi。 | 2022.06 | - |
新增 | 前端支持了主应用域名跳转,强制跳转到统一域名。 | - | |||
3 | 指标系统(v2.4.0.2) | 新增 | 支持取消申请注册流程。 | 2022.06 | 治理配置 |
新增 | 指标详情openAPI按照新的详情信息调整。 | - | |||
优化 | 支持关闭衍生原子指标类型时,隐藏衍生词管理以及未提交工单。 | - | |||
优化 | 统一资源目录名称,与数据标准、数据地图、标签画像保持一致。 | - | |||
优化 | 增加自定义字段:数据质量分,用户可根据自己需要给指标打上质量分,目前没有质量判断依据,增加此字段为了满足资产统一接口的一致性。 | - | |||
优化 | 从模型设计中心同步过来的平台审批人未能加入到指标发布的审核人列表中优化。 | - | |||
4 | 数据地图(v2.0.0) | 新增 | 元数据确权审批完成后,更新主管部门信息。 | 2022.06 | 元数据确权 |
优化 | 元数据扫描字段类型时,长度信息分开展示。原来在扫描字段类型时,会把字段长度一并扫描出来,但预期效果是字段长度扫描结果应该显示在字段长度信息了。 | - | |||
优化 | 安全等级推荐结果为null时,提示文案优化。 | - | |||
优化 | 元数据注册时,表的中文名称校验格式放开,允许支持反斜杠等特殊字符。 | - | |||
优化 | OpenAPI优化,表搜索返回列表增加字段信息包括表安全等级、数据质量分、表中文名称、目录等。 | - |
6.5.0 Update 0.4(0.5)
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 控制台(v1.2.4.1) | 新增 | 支持登记逻辑数据源。 | 2022.06 | 逻辑数据源 |
新增 | 数据源登记增加使用授权。 | 数据源登记 | |||
新增 | 数据源登记增加数据源标识。 | 数据源登记 | |||
新增 | Hive数据源登记增加版本:1.1.0-CDH5.14.0。 | 数据源Hive | |||
优化 | 测试连接按钮从更多中露出。 | - | |||
优化 | 控制台消息通知跳转链接更新为easydata域名。 | - | |||
优化 | Kafka数据源登记增加认证模式:SASL认证。 | 数据源Kafka | |||
优化 | 数据源为PostgreSQL或greenplum时,schema的问号hover文案和输入框提示文案修改。 | 数据源Greenplum | |||
优化 | 数据源的编辑、删除和测试连接权限收口。 | 数据源登记 | |||
优化 | Redis数据源登记集群部署模式新增single模式和sentinel模式,用于实时计算。 | 数据源Redis | |||
2 | 元数据中心(v4.8.0) | 新增 | 新增Hive登记版本:1.1.0-CDH5.14.0。 | 2022.06 | 数据源Hive |
新增 | 数据源支持公开使用授权。 | - | |||
新增 | 支持逻辑数据源的登记、查询和挂载物理数据源。 | 数据源登记 | |||
新增 | 支持sqlserver2017版本适配。 | 数据源SQL Server | |||
新增 | 数据源增加“数据源标识”,对标catalog。 | 数据源登记 | |||
新增 | 定时任务同步ES索引对没开启源系统账号映射的oracle只查询当前schema。 | - | |||
新增 | /metahub/api/v2/table/search/datamap接口支持指定字段返回,来减少es的请求量。 | - | |||
新增 | 支持MySQL/Oracle/SQLServer库名表名正则匹配。 | 数据源MySQL | |||
新增 | 支持有sasl认证的kafka登记。 | 数据源Kafka | |||
新增 | 服务日志支持滚动配置。 | - | |||
3 | 数据传输(v2.6.0.1) | 新增 | MySQL、Oracle、SQLServer支持按照逻辑数据源模式匹配库表,用于同构异ip数据源批量抽取。 | 2022.06 | 数据源MySQL |
新增 | 支持读取版本号为1.1.0-CDH5.14.0的CDH Hive。 | 数据源Hive | |||
优化 | 接入数据源的读写功能权限。 | 数据源登记 | |||
优化 | 批量创建任务生成Hive分区表时支持选择分区字段类型。 | - | |||
优化 | 支持识别嵌套Azkaban参数的参数组参数。 | - | |||
优化 | logback和fastjson安全漏洞修复。 | - | |||
优化 | 增加高级参数指定数据来源为FTP、校验文件记录的数据行数值为0时任务报错。 | - | |||
4 | 安全中心(v3.7.1) | 新增 | 安全中心将各页面抽象成6个功能模块,做成部署时的配置项,与原有rangerEnable、admin开关并存。 | 2022.06 | - |
5 | 流程协作与通知中心(v1.2.2.5) | 新增 | 支持实时计算平台任务发布接入旧版流程协作与通知中心。 | 2022.06 | 新流协 |
6.5.0 Update 0.3
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 数据标准(v1.3.0) | 新增 | 数据标准对接安全中心项目组级角色权限。 | 2022.05 | 数据标准 |
新增 | 支持资源目录配置管理,对接表、指标、标签等资产。 | 资源目录 | |||
新增 | 支持词根批量导入导出。 | 批量导入、导出 | |||
新增 | 数据标准对接安全中心审计。 | 操作审计 | |||
新增 | 数据项分类支持多级分类值(原先只支持一级分类值)。 | - | |||
新增 | 数据标准对接新流程引擎(新流程协作与通知中心)。 | - | |||
新增 | 数据标准对接安全中心敏感类型、安全等级。 | 规则配置 | |||
新增 | 支持接入第三方API词根翻译接口(目前仅支持POST请求且入参出参格式有限定,具体格式参考参数示例和响应示例)。 | 非标准功能,需特定配置 | |||
新增 | 数据元及数据字典支持英文全称字段,支持通过词根进行翻译 | - | |||
优化 | 有项目的用户登录后,不再展示申请加入项目页面 | - | |||
优化 | 项目组负责人、项目组管理员默认具有数据标准相关的所有权限 | - | |||
2 | 数据质量中心(v2.0.0) | 新增 | 规则模板模块由监控列表页面移出,作为单独子页面。 | 2022.05 | 规则模板 |
新增 | 新建规则模板功能升级,支持配置表级模板、支持灵活配置比较周期(支持自定义采样方式、计算规则、基准值)。 | 规则模板 | |||
新增 | 内置规则模板全新改造扩充,共43条系统级模板规则。 | 规则模板 | |||
新增 | 新建监控 - 新建自定义规则基准值支持周期配置。 | - | |||
新增 | 质量中心打通数据标准,根据数据标准自动生成质量规则。(前提:当前字段已和数据标准中的数据元进行关联,在模型设计中心新建表添加字段时可关联数据元) | 监控任务创建流程 | |||
优化 | 监控任务新建规则优化,支持对一个字段配置多条监控规则。 | - | |||
优化 | 新建模板规则展示规则模板的采样方式、计算规则、基准值。 | 监控任务创建流程 | |||
优化 | 新建自定义规则展示规则模板的采样方式、计算规则、基准值。 | 监控任务创建流程 | |||
优化 | 执行实例 - 运行结果、质量报告 - 异常规则明细展示优化,运行结果展示每条规则的采样结果和期望范围信息。 | 质量报告详情 | |||
优化 | 执行趋势展示优化: 1. 执行趋势分为模板规则检测、自定义规则检测、标准推荐规则检查。 2. 当鼠标悬停在图表某个日期展示当天最后一次调度的详细结果。 |
执行实例 | |||
优化 | dqcClient容器化改造支持,dqcClient不再需要暴露端口,dqcClient支持 DQC_CLIENT_HOME 参数。 | - | |||
优化 | 数据质量中心对数据资产提供接口,用户计算资产质量健康分。 | - | |||
优化 | 当用户没有采购数据标准和模型设计中心时,标准推荐规则等相关功能将被隐藏。 | - | |||
优化 | 固定值模板规则阈值支持最多4位小数。 | - | |||
优化 | 规则模板期望范围支持负数阈值。 | - | |||
优化 | 唯一性规则和表唯一性规则SQL优化,避免kudu等实时写入表探查异常。 | - | |||
数据质量中心(v2.1.0) | 新增 | 数据质量中心支持Oracle数据源(11.2.0.4,19c)。 | 2022.05 | 质量大屏 | |
新增 | 支持监控任务批量导入导出,适用于相同环境及不同环境间的监控任务批量导入导出情况。 | 监控任务批量导入、导出 | |||
新增 | 支持监控任务批量移交负责人,适用于原监控负责人离职转岗场景,仅管理员、负责人可以进行批量移交负责人操作。 | 移交负责人 | |||
新增 | 数据质量中心对接元数据。 | 注册元数据关联质量中心 | |||
优化 | 试跑功能优化,试跑时分区禁止编辑分区值。 | - | |||
优化 | 数据质量对自定义sql的解析支持sparksql语法。 | - | |||
优化 | 唯一性校验支持多字段组合后的唯一性校验。 | - | |||
优化 | 数据质量新增openAPI:支持查询执行实例列表、查询执行实例运行结果、查询今日表质量分排行。 | - | |||
3 | 安全中心(v3.5.1-3.6.0) | 新增 | 安全中心支持配置安全等级定义、根据敏感类型发现安全等级,用于以后权限申请时审批链路配置、审计告警配置、白名单配置。 | 2022.05 | 安全等级 |
新增 | 数据识别功能识别后,会根据已配置的安全等级对识别的内容进行标记。 | 数据识别 | |||
新增 | 安全中心支持动态脱敏。 | 数据脱敏 | |||
新增 | 在数据脱敏-动态脱敏中支持手动对指定字段进行脱敏。 | 数据脱敏 | |||
新增 | 权限配置页面支持白名单配置,白名单主要应用于数据脱敏场景,添加至白名单的用户或角色,将不受脱敏影响,可直接看到字段明文。 | 白名单 | |||
安全中心(v3.6.1) | 新增 | 在数据保护-脱敏规则中,脱敏规则配置支持选择自定义UDF。 | 2022.05 | 非产品功能最终形态,使用时请参考功能提示。 | |
新增 | 权限申请页面,他人账号支持多选。 | - | |||
新增 | 数据脱敏算法支持SM3算法。 | 脱敏算法 | |||
新增 | 权限配置页面中,安全接口人支持勾选多个用户。 | - | |||
新增 | 在权限配置-白名单页面中,默认添加项目账号至脱敏白名单中。该功能主要是避免使用项目账号运行线上调度任务时因为项目账号不在白名单中影响线上调度任务的情况。 | 白名单配置 | |||
优化 | 数据识别-识别结果页面,增加文案说明:非string类型字段不支持动态脱敏。列表增加字段类型展示。 | - | |||
优化 | 安全等级、敏感类型、脱敏规则不区分集群,配置后全项目范围内生效。 | - | |||
安全中心(v3.6.2) | 优化 | 数据识别功能整体优化: 1. 新增识别任务配置过程中,“敏感类型”项取消配置脱敏后,不需要重新选择下方敏感类型 。 2. 识别结果的筛选条件“ 只看脱敏规则有变化结果 ”选择后立即生效 。 3. 数据识别配置脱敏时,同一个敏感类型只能配置一个脱敏规则。 4. 数据识别任务单表扫描行数上限为10W行。 |
2022.05 | 数据识别 | |
优化 | 权限申请页面视觉优化。 | - | |||
优化 | 安全中心菜单结构改造。 | - | |||
安全中心(v3.7.0) | 新增 | 新增项目组角色/成员管理(项目级别的角色/成员管理将在后续版本迁入安全中心)。 | 2022.05 | 角色管理 | |
新增 | 项目组角色支持增删改查操作,内置负责人、管理员、数据治理专员、数据治理管理员4个角色。 | 角色管理 | |||
新增 | 项目组角色下的成员支持增删改查。(项目组负责人下的成员不支持)。 | 角色管理 | |||
新增 | 新增项目组下成员的增删改查。 | 角色管理 | |||
新增 | 新增项目组角色/成员、项目角色/成员配置功能权限。 | 角色管理 | |||
优化 | 权限申请工单(申请表、 申请库 、申请续权)对接新版流协。 | - | |||
4 | 指标系统(v2.4.0) | 新增 | 支持指标治理流程配置,系统开启申请注册、申请发布、申请下线流程,用户可自定义选择是否开启申请确权、申请变更安全等级、申请治理流程。 | 2022.05 | 治理配置 |
新增 | 指标自定义模板改造(支持字段分组、新增系统字段、修改指标生成方式)。 | 自定义指标模板 | |||
新增 | 指标域支持多级,支持同步标准目录,支持自定义目录;用户添加指标时可选择数据目录归属。 | 目录管理 | |||
新增 | 指标列表支持版本、状态、临时草稿等,支持数据治理流程操作。 | 指标字典 | |||
新增 | 支持版本记录、版本比对、操作历史。增加版本记录页签,查看版本记录更便捷清晰,支持拉取不同版本进行版本比对,查看版本差异;增加操作历史页签,对当前指标的操作都将记录在这里。 | 指标字典 | |||
新增 | 支持收藏及订阅,订阅后指标发布及下线将收到邮件通知(已对接统一邮件模板)。 | 指标收藏与订阅 | |||
新增 | 支持对接安全中心审计。支持对指标进行操作审计,将操作记录同步至安全中心。 | 指标系统操作审计 | |||
5 | 流程协作中心(v1.2.2.4) | 新增 | 流程协作中心新增跳转新流程协作中心(简称:新流协)功能。 | 2022.05 | 新流协 |
流程协作中心(v2.0.0) | 新增 | 新流协支持子产品注册功能,需要填写:产品编码、产品名称、产品说明、产品归属和产品管理员。其中产品管理员可以多选。 | 2022.05 | 新流协 | |
新增 | 新流协后端预置流程管理员功能,负责新流协的日常运维。 | 新流协 | |||
新增 | 新流协提供流程模板可视化绘制功能,当前仅流程管理员与子产品管理员有权限使用。 | 新流协 | |||
新增 | 新流协提供管理员视角的流程实例管理功能。 | 新流协 | |||
新增 | 新流协-待我处理提供当前登录用户的审批功能,支持同意、终止、转签操作,支持查看审批详情。 | 新流协 | |||
新增 | 新流协-我已处理提供当前用户已经处理过的流程实例功能,并支持撤回操作。 | 新流协 | |||
新增 | 新流协-我的发起展示当前用户发起的流程实例,并支持撤销申请操作。 | 新流协 | |||
流程协作中心(v2.0.1) | 新增 | 流程协作中心对接子产品,提供了元数据管理、标签、安全、标准和指标等5个子产品的接入功能,一共创建22个流程模板(内置模板不允许编辑、删除)。 | 2022.05 | 新流协 | |
新增 | 新增安全中心权限授予异步调度能力和状态异步展示。 | - | |||
6 | 离线开发(v6.5.1.2) | 新增 | 新增OpenApi: 查询任务列表接口、离线开发的开发模式任务立即运行接口、查询离线开发的立即运行实例运行状态接口、终止离线开发的立即运行实例的接口。 | 2022.05 | - |
离线开发(v6.5.1) | 新增 | 离线开发和自助分析运行oracle时支持存储过程运行。 | 2022.05 | - | |
新增 | 离线开发和自助分析用spark引擎运行时支持hint语法。 | hint语法 | |||
离线开发(v6.5.2) | 新增 | 项目中心 - 队列授权支持yarn队列给角色授权。 | 2022.05 | 队列权限 | |
新增 | 离线开发/自助分析增加HQL和Vertica等外部数据源的库表列提醒功能。 | - | |||
新增 | 新增日期转换函数azkaban_date_modify。 | 调度日历时间参数 | |||
优化 | 离线开发中已调度任务再次编辑调度依赖时,优化“同周期依赖”开关逻辑。 | 同周期依赖 | |||
优化 | 离线开发支持配置Oracle类型的数据质量监任务。 | - | |||
优化 | 自助分析右侧边数据源下的MySQL、Vertica表增加“查看表详情”跳转数据地图的功能。 | - | |||
优化 | 平台用户数据迁移到控制台,项目组负责人数据改为从安全中心获取 。 | - | |||
优化 | 离线开发/自助分析数据源展示调整,包括离线开发的VerticaSQL节点,左侧支持数据源展示;自助分析右侧数据源,调整为仅能查看自己有安全中心的读或写权限的数据源。 | - | |||
优化 | 离线开发SQL节点使用Spark引擎执行时Spark日志中增加了SQL语句打印。 | - | |||
优化 | 自助分析针对无查询结果或结果太大等异常时,提示语居中改为居左。原先列数量过多时,提示语因居中显示被遮挡,现改为居左展示。 | - | |||
7 | 控制台(v1.2.3) | 新增 | 新增“通知模板管理”模块提供EasyData全产品的邮件主题、logo的定义能力,当前仅接入离线开发的邮件和文本通知,后续子产品陆续接入。 | 2022.05 | - |
优化 | Kafka数据源登记配置项修改。 | 数据源Kafka | |||
8 | 模型涉及中心(v1.2.8) | 新增 | 模型设计中心支持Oracle数据源。 | 2022.05 | 模型设计中心 |
新增 | 工单管理 - 修改表支持修改字段的扩展属性。 | 表设计工单管理 | |||
新增 | 与数据标准对接,新建表及修改表时支持给字段绑定数据元及标准字典,支持数据元名称辅助生成字段名称。 | 表设计工单管理 | |||
新增 | Hive表建模支持字段复杂类型(map、array、struct)。 | - | |||
优化 | 修改表工单支持记录及展示DDL语句。 | 表设计工单管理 | |||
优化 | 表单模式字段描述项较多,增加区块导引,帮助用户快速定位到对应区域。 | 表设计工单管理 | |||
优化 | 修改邮件里的通知链接为统一域名easydata。 | - | |||
优化 | 字段名称支持根据数据源类型区分大小写要求(如oracle大写,hive为小写)。 | - | |||
优化 | 增加平台管理员可直接使用模型设计中心。 | - | |||
模型涉及中心(v1.2.9) | 新增 | 模型设计中心支持模型批量导出及相关属性共同导出功能。 | 2022.05 | 批量导出 | |
优化 | 统一批量导入入口,修改按钮样式。 | 批量导入 | |||
优化 | 未加入任何项目的用户退出登录后,登录另一个已加入项目的用户,不再展示申请加入项目页面。 | - | |||
9 | 任务运维中心(v1.4.0) | 新增 | 实例支持置成功。 | 2022.05 | 实例置成功 |
新增 | 实例支持批量重跑和批量停止,方便多个任务实例失败时能一键批量重跑。 | 实例重跑 | |||
新增 | 补数据时,支持下游任务可以选择具体需要补数据的节点。 | 补数据实例运维 | |||
新增 | 基线运维详情页,新增基线历史完成曲线。新增基线历史完成曲线,可以直观的了解该基线最近一段时间多少天预警、多少天破线,方便运维和开发及时对基线进行治理。 | 基线运维 | |||
新增 | 支持设置值班规则,系统批量设置值班人。新增值班规则,可根据规则自动生成人员排班表。且系统会根据人员变动,自动补齐排班。解决目前每天都需要人工排班的困扰。 | 值班组管理 | |||
新增 | 新增项目组运维大盘,了解所有项目整体的任务运行情况,包括今日执行橄榄、今日任务完成情况、周期实例耗时排行Top10、调度延迟排行Top10。 | 项目组运维大盘 | |||
新增 | 新增项目组报警历史,可在报警历史页面查看项目组报警历史。 | 报警历史 | |||
优化 | 补数据任务日期可以升降序设置。 | - | |||
优化 | 队列增加CPU、内存信息。 | - | |||
优化 | 实例列表页、详情页的任务名称加上超链接。 | - | |||
优化 | 任务详情页默认显示“执行历史”页签页面。 | - | |||
优化 | 补数据并发数不算失败的实例。 | - | |||
优化 | 任务血缘性能优化。解决当任务上下游非常多时,同时展开上下游6层,任务血缘DAG图会接口超时的问题。 | - | |||
优化 | Azkaban表同步优化。解决由于机器时间问题引起的底层表数据同步问题。 | - | |||
任务运维中心(v1.4.1) | 新增 | 新增OpenAPI:支持创建补数据任务、查询补数据任务详情的OpenAPI、支持实例重跑、终止、查询的OpenAPI、支持报警规则创建、删除的OpenAPI。 | 2022.05 | - | |
10 | 数据地图(v1.7.0) | 新增 | 查看表的数据血缘时,可以查看上游依赖的表,哪个产出最晚、哪个产出最慢。 | 2022.05 | 数据血缘 |
数据地图(v1.8.0) | 新增 | 新增“物理视图”模块,项目成员均可查看当前项目集群下的hive库列表、表列表,方便用户查看本项目下的库表信息。 | 2022.05 | 物理视图 | |
新增 | 和数据标准产品打通,支持展示Hive、Oracle、Greenplum、MySQL、Vertica表字段关联的数据标准信息,包括数据元、数据字典信息。 | - | |||
新增 | 支持展示Oracle表的更多属性信息,包括主题域、表分层、标准化标签(维度和指标)、主键等。 | - | |||
新增 | 数仓表导引,增加Oracle类型表的搜索和展示。 | 数仓表导引 | |||
新增 | Hive表详情页操作按钮优化,当没有表权限时可直接点击“申请数据权限”进入安全中心申请页。 | Hive表 | |||
数据地图(v1.9.0) | 新增 | 元数据注册时,支持和数据质量、数据标准、数据安全、模型设计中心、指标系统、标签画像等子产品联动,用户可以在注册页面补充业务信息、技术信息等,包括主题域、表分层、数据质量规则模板、关联指标、关联标签、字段安全等级、字段引用的标准等等。 | 2022.05 | 元数据注册 | |
新增 | 元数据注册时,支持字段安全等级、字段物理名称自动推荐。字段的安全等级自动推荐方式支持从安全中心获取、调用第三方NLP接口,字段物理名称推荐支持调用第三方NLP接口。 | 元数据注册 | |||
新增 | 元数据支持申请确权、申请变更安全等级、申请治理、申请发布、申请下线。所有工单的申请审批流程与流程协作中心打通,可同意、拒绝、转办工单。在审批工单时,支持跳转查看元数据详情页。 | 元数据治理流程 | |||
新增 | 支持元数据批量导出,单次导出限制最多100张表,导出内容包括表和字段的信息。 | 元数据注册 | |||
新增 | 支持元数据版本管理,可查看版本列表、版本详情、版本对比。 | 元数据注册 | |||
新增 | 支持元数据采集,包括采集任务创建,采集实例监控。 | 元数据采集 | |||
新增 | 支持资产目录配置,资产目录展示。资产目录在配置管理模块中设置,可引用数据标准的资产目录结构。 | 资产目录 | |||
新增 | 数据查询支持全局检索,从原来的单类型搜索改为全局搜索,用户输入关键字搜索,可一次性查询各类资产的返回结果数。 | - | |||
新增 | 数据查询类型新增标签,此外查询结果中,表、指标、标签支持按“资产目录”进行筛选。 | - | |||
新增 | Hive、Oracle、MySQL表详情页,新增版本管理、申请治理、申请下线、订阅通知的功能。经过元数据治理且发布的Hive、Oracle、MySQL表,可展示更加完善的业务信息、技术信息。 | - | |||
新增 | 新增“我的数据”模块,可查看个人已收藏的表/指标/标签和已订阅的表/指标/标签。 | 我的数据 | |||
新增 | 新增对接安全中心操作审计功能,用户在数据地图上的相关操作可在安全中心操作审计中查看,审计内容包括操作人、操作时间、操作对象等。 | 操作审计 | |||
新增 | 新增功能权限授权,对接安全中心角色管理和功能授权模块。已授权的角色或人员具备数据地图相关功能的操作权限。 | - | |||
新增 | 配置管理中,表和字段注册模板新增规则,字段安全等级可设置是否从安全中心调用、第三方NLP接口推荐,字段物理名称支持设置是否使用第三方NLP接口推荐。 | - | |||
新增 | 数据地图访问权限放开,去掉必须项目人员才可访问的限制。只要登录到平台的用户并添加到项目组(租户)中,即可访问数据地图。添加新用户到项目组(租户)中,可在“安全中心-角色管理-项目组级”人员管理中添加即可。 | - | |||
新增 | 新增OpenAPI:根据资产名称搜索资产列表的OpenAPI;根据资产类型,查询对应目录下的资产列表的OpenAPI;根据资产id,查询资产详情的OpenAPI,资产详情包括元数据基础描述信息、字段信息、数据预览、DDL记录、读写记录等。 | - | |||
11 | 元数据中心(v4.6.0) | 新增 | 新增元数据采集。 | 2022.05 | 元数据采集 |
新增 | 新增元数据扫描。 | 元数据注册 | |||
新增 | 新增元数据多版本管理。 | 元数据注册 | |||
新增 | 元数据注册新增资产目录,主题域,分层,字段增加标准字典,原始字典,数据质量信息。 | 元数据注册 | |||
新增 | vertica字段补充Precision信息。 | - | |||
12 | 数据传输(v2.5.1) | 新增 | 当数据来源表(仅限关系型数据库)新增字段时,支持配置来源表结构变化策略。 | 2022.05 | 来源表结构变化 |
新增 | 支持批量转换来源表字段的数据类型。 | 配置字段映射 | |||
新增 | 开放10种数据源类型的创建任务的OpenAPI。当数据来源或去向为以下数据源类型:mysql、sqlserver、oracle、tidb、pg、hive、doris、es、hbase、GP时,支持使用OpenAPI创建任务。创建的任务可在数据传输任务列表维护。 | - | |||
优化 | 数据传输读写SQLServer适配2000SP4版本。 | 数据源SQL Server | |||
优化 | 数据来源数据源类型为:Hive、MySQL、Oracle、Vertica时,写入Vertica的写入规则支持选择Copy。 | 数据源Vertica | |||
优化 | 数据来源为ES时,支持选择字段名称并展示字段类型;数据去向为ES时,支持展示字段名称和字段类型。 | 数据源ES | |||
优化 | 数据来源或去向为ES时,Index-Type新增提示文案:ES 7.0以下版本,Type为必填项;ES 7.0及以上版本,Type可不填。 | 数据源ES |
6.5.0 Update 0.2
该补丁仅修复BUG,无其它功能更新。
6.5.0 Update 0.1
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 数据传输(v2.4.1) | 新增 | 离线同步任务新建任务时,数据来源为FTP,文件格式为:csv、txt、dbf时增加原始字符集选项。 | 2022.04 | FTP读取方式 |
新增 | 离线同步任务新建任务时,数据去向为Greenplum时,支持Presql和PostSql。 (说明:a. 最多允许执行五条SQL语句,字符最大长度为2000个字符。 b. 如果Greenplum表是通过快速创建表生成的,则在首次运行任务时PreSql无效) |
Greenplum数据去向 | |||
数据传输(v2.4.2) | 新增 | 数据来源为FTP时新增文件格式:csv,支持读取del文件等符合csv转义规范的文件。原csv格式命名改为“csv(旧)”,读取csv文件格式时建议选用文件格式:csv。(功能补充说明:csv支持更加规范的csv格式,因此包含csv(旧),当前两者并存的主要原因是考虑到历史用户使用问题,后续会对csv(旧)进行迁移并下线) | 2022.05 | FTP读取方式 | |
优化 | 离线同步任务,当时数据来源为FTP时,文件格式为:csv、txt、excel、csv(旧)时,跳过行数为必填项。 | FTP读取方式 | |||
优化 | 离线同步任务,当数据去向为Doris,Presql和Postsql由支持单条SQL语句改为支持5条SQL语句。(说明:多条SQL语句间以分号分隔) | Doris作为数据去向 | |||
数据传输(v2.5.0) | 新增 | 离线同步任务新建任务支持读写Teradata数据源。(支持版本:16.20.25.00) | 2022.05 | Teradata | |
新增 | 离线同步任务新建任务支持读写StarRocks数据源。(支持版本:1.19) | StarRocks | |||
优化 | 开启数据沙箱功能且用户选择Hive测试库时,离线同步任务模块和数据导入模块根据选择是否是Hive测试库返回生产队列/测试队列。(涉及离线同步任务-运行页面以及数据导入/导入本地数据配置页面) | - | |||
优化 | Hive2Doris/Hive2Starrocks支持复杂类型转换。数据来源端字段类型为:map、array类型时,支持转为json写入去向端。 | 复杂类型转换 | |||
优化 | 优化登录处理逻辑: 1.用户使用无项目的账号登录时,提示未参与任何项目;若退出切换为有项目的账号,则成功登录并跳转到默认页。 2.用户使用有项目的账号访问无权限的项目时,提示无项目权限并提供申请权限的入口;申请权限后,刷新页面跳转回默认页。 |
- | |||
2 | 控制台(v1.2.1) | 新增 | 支持登记Teradata数据源(支持版本16.20.25.00)。 | 2022.05 | - |
新增 | 支持登记StarRocks数据源(支持版本1.19)。 | - | |||
优化 | 数据源为GreenPlum时,schema由必填项改为选填项。如果填写schema,可使用登记数据库中该schema下所有用户账号有权限的表;如果未填写schema,可使用登记数据库中所有schema下用户账号有权限的表。 | Greenplum数据源登记 | |||
优化 | 数据源为PostgreSQL时,schema由必填项改为选填项。如果填写schema,可使用登记数据库中该schema下所有用户账号有权限的表;如果未填写schema,可使用登记数据库中所有schema下用户账号有权限的表。 | PostgreSQL数据源登记 | |||
优化 | 数据源引用详情跳转变为跳转easydata域名。 | - | |||
3 | 元数据中心(v4.4.0) | 新增 | 新增teredata数据源类型,支持连接测试、库表列获取功能,可用于数据传输读写teredata数据源。 | 2022.04 | - |
新增 | Oracle表详情支持查看主键信息、唯一键信息、非空信息。 | - | |||
新增 | Oracle8表详情支持查看主键信息、唯一键信息、非空信息。 | - | |||
新增 | 支持ES7及以上版本的表详情查询支持。 | - | |||
新增 | 增加根据项目名称查询数据源列表的接口。 | - | |||
新增 | vertica静态血缘解析支持跨DB。 | - | |||
新增 | sloth流表搜索接口支持前缀搜索。 | - | |||
新增 | mysql表字段类型获取支持从schema_info系统表中直接获取,保证与create table展示一致。 | - | |||
新增 | mysql8表字段类型获取支持从schema_info系统表中直接获取,保证与create table展示一致。 | - | |||
元数据中心(v4.4.5) | 新增 | 支持StarRocks数据源登记,库表列元数据获取,用于数据传输任务可以读写StarRocks数据。 | 2022.04 | Starrocks |
6.5.0
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 指标系统(v2.2.9) | 新增 | 指标系统对接安全中心,在安全中心管理的功能权限,包括指标字典、修饰词管理、衍生词管理以及字段属性,即对于指标字段中的字段内容,也可以通过安全中心赋权是否可查看的权限。 | 2022.02 | 指标系统权限设置 |
新增 | 解除对平台"指标审批者"角色的依赖,新增在新建二级指标域时需配置指标审批者。原先指标审批者的角色由系统预置,所属该角色的用户有指标及衍生词新建、编辑、上传的审批权限,现可针对不同指标域进行单独设置。 | 指标审批者 | |||
新增 | 新增衍生词审批者设置,解除对指标审批者角色的依赖,可在项目配置中指定,默认为项目组负责人、数据团队管理者和指标管理者角色。 | 衍生词审批者 | |||
新增 | 指标字典列表增加关联表数量,包括直接和间接关联表的总数量,支持排序。该字段在指标详情页中默认展示,不受权限控制。 | - | |||
新增 | 自定义指标模板中如果未开启衍生原子指标,则主原子指标默认为原子指标。 | 指标类型自定义设置 | |||
新增 | 如果平台没有模型设计中心和数据地图两个子产品,则同步数仓域功能不显示,可分析维度下拉中无模型设计中心的维度,指标应用不显示直接关联表和间接关联表,列表中不显示关联表数量。 | - | |||
新增 | 如果未对接有数BI,则指标详情页,有数报表分析不显示。 | - | |||
优化 | 创建或编辑派生指标、复合指标时,修改指标依赖的某些字段,比如时间、修饰词等,指标名称和指标标识均随之变化。 | - | |||
指标系统(v2.3.0) | 新增 | 指标系统支持openAPI开放。 | 2022.03 | - | |
优化 | 大小写指标域标识转换。在自定义模板中,若开启了指标标识由系统自动生成,默认为一级指标域+二级指标域+自动编码且仅支持小写英文、数字和_。如果指标域通过模型设计中心同步创建,由于模型设计中心的数仓域标识支持大写,创建指标时会报错,需要将模型设计中心的数仓域大写转换为小写字母。 | - | |||
2 | 数据服务(v1.4.7) | 优化 | SQL模式下,Mybatis动态查询增加特殊字符转义说明。 | 2022.01 | - |
优化 | 事件跟踪中,动作筛选补充API相关,去掉数据抽取等模块。 | - | |||
数据服务(v1.4.8) | 新增 | 增加API协助管理者功能,新建API时,可选择项目内成员,权限等同创建人,拥有对API的所有操作权限。 | 2022.02 | - | |
新增 | 在SQL模式下,支持将数据字段快捷作为返回填充,可选择快速填充至返回参数列表中。 | - | |||
新增 | 支持GreenPlum数据源类型,在向导或SQL模式下,均支持选择GP数据源构建API。 | - | |||
新增 | 向导模式下新增Clickhouse、Hive和Doris数据源类型。 | - | |||
新增 | HBase数据源类型,在向导模式下,支持输入Rowkey获取列数据填充至返回参数列表。 | - | |||
新增 | 增加系统参数system_empty_result_not_cache=true,允许用户将获取数据为空的内容不存储在缓存中。 | - | |||
新增 | API详情页面,增加超时时间信息展示。 | - | |||
优化 | SQL模式下,启用分页以及order by字段等内容提示完善。 | - | |||
优化 | API集市和API列表的筛选项支持多选,包括API集合、数据源类型、API类型等内容。 | - | |||
优化 | 交互视觉优化,应用删除按钮保持一致。 | - | |||
优化 | 在API详情页,增加安全中心权限对描述、标签等内容是否有编辑权限的控制。 | - | |||
数据服务(v1.4.9) | 新增 | 数据服务openAPI对外开放。 | 2022.03 | - | |
新增 | SQL模式下,选择数据表后,支持直接复制表名,在代码编辑区可快速粘贴。 | - | |||
优化 | 创建API时,在SQL模式下,若不勾选"启用分页",系统仅返回200条数据,在测试页面增加相关内容提醒。包括: 1. 若API升级且未开启缓存,测试页面增加提示; 2. 在非升级状态且SQL模式下,进入测试页面未开启分页时,增加提醒; 3. 启用分页参数按钮增加说明; 4. 注意事项增加提醒。 |
- | |||
数据服务(v1.5.0) | 新增 | 新建API时,SQL和向导模式均支持Vertica数据源类型创建API,API列表支持筛选Vertica数据源类型。 | 2022.03 | - | |
新增 | 在API集市、申请API中,调用截止时间和调用频次支持自定义。 | API集市 | |||
新增 | 数据服务API调用,支持前端跨域请求。 | - | |||
新增 | 域名规范统一,统一为easydata域名。 | - | |||
优化 | 在API集市中,若开启了行列级权限控制,流程协作与通知中心的工单详情页中,增加行列级权限文字显示。 | - | |||
优化 | 在API集市和API详情页,设置调用截止时间时,不可选择当前时间段之前的时间。 | - | |||
3 | 数据测试中心(v1.0.6) | 优化 | 枚举字段探查占比优化,进行百分比计算时,不再四舍五入,保留原有计算结果。 | 2022.01 | - |
优化 | 支持前端性能统计。 | - | |||
优化 | 数据探查、数据比对Spark参数支持默认值填入。 | - | |||
4 | 元数据中心(v4.2.0) | 新增 | 增加OpenAPI:数据源详情获取、数据源列表获取。 | 2022.03 | - |
新增 | 登记Greenplum、PostgreSQL数据源时,支持选填Schema信息。 | - | |||
新增 | 数据源驱动设置为可配,支持mgr驱动更换。 | - | |||
新增 | table list增加参数用于返回假count数据,便于调用方控制循环。 | - | |||
新增 | 表owner增加开关,并增加字段mammutTableOwner,对外默认开启。开启时,优先从metadata中获取owner,关闭时,优先从serde的owner获取。 | - | |||
5 | 任务运维中心(v1.2.0) | 新增 | 新增任务血缘DAG图。点击查看任务详情,切换到“任务血缘”tab页,可查看任务的上下游血缘,支持血缘范围筛选、血缘层数筛选、缩略导航图引导等。 | 2022.02 | 任务血缘 |
新增 | 新增任务详情基本信息。在任务列表点击任务详情可进入查看详情页,详情页包括对任务的操作(编辑、补数据、转交任务、设置基线、设置优先级、取消调度等)、任务基本信息、调度信息、节点信息等。 | 任务详情 | |||
新增 | 任务列表页新增一列“血缘统计信息”,方便用户快速查看每个任务的血缘统计情况。血缘统计信息包括该任务的全部上游数、上游总层数、直接上游数、全部下游数、下游总层数、直接下游数、最近更新时间等。 | 任务列表 | |||
优化 | 报警规则操作权限优化。原先有权限对报警规则编辑、删除的人默认为项目负责人、管理员、创建人,本次增加了在项目中心-功能权限模块中授权过该功能点的人均有操作权限。 | 报警规则权限 | |||
优化 | 优化运维大盘中基线完成时间曲线图。例如基线实际是次日02:00完成,以前会展示成当日02:00会造成用户误导,本次优化后会展示成“02:00(+1天)",更加直观清晰的判断出基线跨日完成的情况。 | - | |||
任务运维中心(v1.3.0) | 新增 | 旧版运维中心下线。 | 2022.04 | - | |
新增 | 任务详情页,增加执行历史、执行计划,方便用户了解任务的历史执行情况和未来计划执行的实例列表。 | 执行历史 | |||
新增 | 增加查看节点的执行历史。 | 任务列表 | |||
新增 | 运维大盘,增加实例耗时排行、调度延迟排行。 | 运维大盘 | |||
新增 | 补数据新增跨周期自依赖开关、正序/倒序、并发设置、选择队列等功能。 | 补数据配置 | |||
新增 | 支持任务完成超时告警的功能。例如在离线开发中设置任务计划执行时间为每天09:00,完成超时时间为2h,则当11:00点任务实例未成功,则会触发告警。需后台设置才可使用。 | 编辑报警 | |||
新增 | 增加旧版任务运维中心的跳转入口。为了能够平稳的过渡到新版任务运维中心,产品上保留旧版的跳转入口,待过渡期结束将去掉旧版跳转入口。目前在任务列表页、任务详情页、实例列表页、实例详情页均有旧版跳转入口供用户查看历史数据。 | - | |||
优化 | 重跑权限优化。原来只有项目负责人和管理员有重跑权限,权限比较固定。现在将重跑权限对接功能授权,只要授权的角色和人员均可操作重跑,使得权限更加灵活可控。 | 重跑权限 | |||
优化 | 报警发送失败时,增加失败的原因文案。通常发送失败的原因包括:手机号有误、邮箱有误、人员离职等。 | 报警响应 | |||
优化 | 大盘基线统计接口性能优化。 | - | |||
6 | 数据质量中心(v1.3.1) | 新增 | 新增质量报告,原有的质量排行榜、表质量评分合并为质量报告模块。表质量排行列表展示所有线上调度过的表,并支持跳转到表级质量报告。 | 2022.03 | 质量报告 |
新增 | 新增表质量报告。 | 质量报告详情 | |||
优化 | 实例的运行日志页面增加application的跳转链接,跳转至yarn日志。 | - | |||
优化 | 质量大屏图表样式优化。 | 质量大屏 | |||
优化 | 自定义sql解析优化并增加解析失败提示。 | - | |||
优化 | 监控对象支持选择当前用户有读写权限的数据源。 | - | |||
优化 | 增加参数dqc.partitions.replace作为分区替换的开关,默认情况下为true,可在的set参数中添加。 | - | |||
优化 | 规则模板校验类型更改,统一归为及时性、有效性、准确性、唯一性、完整性、一致性、其他七大类。 | - | |||
数据质量中心(v1.3.2) | 优化 | tableOwner 统一使用元数据中心的mammutTableOwner。 | 2022.03 | - | |
7 | 安全中心(v3.4.0) | 新增 | 新增审计日志,审计日志展示项目组的日志,当前子产品只接入安全中心。 | 2022.02 | 操作审计 |
安全中心(v3.5.0) | 新增 | 脱敏管理新增数据识别功能,用于识别指定范围内的敏感字段。 | 2022.03 | 数据识别 | |
8 | 数据资产中心(v2.1.0) | 新增 | 新增健康诊分扫描,计算增加自助分析相关规则。 | 2022.01 | 健康诊断 |
新增 | 对于未设置生命周期的表,若确实需要将表永久保存,支持加入永久保存的白名单,则健康分扫描时将不会包含白名单中的表。 | 生命周期永久保存 | |||
新增 | 数据冷备中支持表级别数据冷备。 | 表级别数据冷备 | |||
新增 | 小文件发现,以Hive表维度,展示分区数、文件数和平均文件大小等内容,对发现小文件提供数据。 | 小文件发现 | |||
数据资产中心(v2.1.1) | 新增 | 新增健康诊断页面,将资产大盘中资产健康分相关内容抽出,单独作为健康诊断的内容。 | 2022.01 | 健康诊断 | |
新增 | 资产大盘增加数据源和任务概况。 | 资产概况 | |||
新增 | 治理项的优化建议,在健康诊断-待治理项列表,增加针对治理项的优化建议。 | 治理项优化建议 | |||
新增 | 存储计算增加规则:分区数量大于3W的表。 | 存储健康分规则 | |||
新增 | 计算分析-调度任务:节点列表增加队列信息、支持下载任务和下载节点功能。 | 计算分析-调度任务 | |||
优化 | 在生命周期设置中,若表需要永久保存,加入了永久保存的白名单,则在存储健康分扫描中将去掉此类表,且周一上午发送的数据治理邮件通知中,"生命周期管理相关"也会去掉已经加入白名单的表。 | - | |||
优化 | 计算健康分的自助分析比例调整,由原本的40%降低至10%。 | - | |||
优化 | 数据备份列表,交互视觉优化,列表统一。 | - | |||
数据资产中心(v2.1.2) | 新增 | 生命周期诊断列表,增加分区数字段,支持排序,便于查询大分区表是否设置生命周期。 | 2022.01 | 分区展示 | |
优化 | 图表等空态处理。 | - | |||
新增 | 资产大盘–资产概况,数据源类型筛选,保持和控制台支持的数据源类型一致。 | 资产概况 | |||
新增 | 健康诊断,待治理负责人排行,任务数量支持点击并跳转至"健康分待治理项",作出筛选。 | 待治理排行榜 | |||
新增 | 存储分析,Hive表详情中,支持快速筛选出表文件是否符合规范的表,对于不符合规范的表,不支持在平台进行下线操作或设置生命周期。 | 不符合规范表 | |||
新增 | 待治理项,对于离线任务,"任务名称"指的是flow名称;对于自助分析任务,同一个Query实例聚合展示。 | - | |||
优化 | 有数报表分析底层架构优化。 | - | |||
优化 | 生命周期到期删除策略优化,优化获取待删除的分区详情的时间,优化性能提升近40%。 | - | |||
优化 | 冷备功能支持hadoop2.9版本,优先支持表冷备功能。 | - | |||
优化 | 存储分析,推荐下线表和生命周期诊断页面联动优化,拆分为独立页面,筛选条件等互不影响。 | - | |||
9 | 离线开发(v6.4.3) | 新增 | 离线开发支持显示修改记录和版本历史。 | 2022.03 | 修改记录与版本历史 |
新增 | 离线开发-线上模式-编辑报警,支持配置完成超时。 | 完成超时规则 | |||
优化 | 微前端升级改造,统一到easydata域名。 1. 本次将所有子产品都升级到了easydata域名,同时导航栏切换时闪烁的问题得到解决。 2. 建议各用户将原本收藏的域名,都改为新的easydata域名,老域名的顶部导航和新域名的不互通。 |
- | |||
优化 | 邮件、短信和popo等支持自定义产品名称。当前仅支持后台数据库配置。 | - | |||
10 | 数据传输(v2.3.2) | 优化 | 支持Doris新版Spark Connector。 | 2022.03 | Doris数据源使用说明 |
数据传输(v2.4.0) | 新增 | 新增数据导入模块,支持导入excel、txt、csv、log格式的本地文件至Hive等20+种数据去向,需配置EasyOps参数开启该功能。 | 2022.03 | 数据导入 | |
新增 | 数据去向为Doris,新增导入方式:broker load,主要适用场景为Hive2doris的大数据量导入场景。 | Doris作为数据去向 | |||
新增 | 并发读取支持选择字符型字段作为切分键。 | 并发设置 | |||
优化 | 数据去向为Hive时,快速建表时支持获取源表表名注释写入建表语句。 | - | |||
优化 | 任务链接对应的任务已删除时,跳转报错页面。 | - | |||
11 | 数据地图(v1.6.0) | 新增 | 支持GreenPlum的浪潮MPP版本,可搜索表、详情展示、数据表血缘查看。 | 2022.03 | Greenplum |
新增 | 支持修改MySQL、Vertica、GreenPlum的表描述、列描述。 | - | |||
新增 | 实时流表血缘支持写入HBase/Kudu的血缘。 | 实时流表 | |||
优化 | Hive分区元数据刷新问题修复,包括分区信息中的记录数、存储空间、文件数。 | - |
6.4.0 Update 0.3
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 数据标准(v1.1.0) | 新增 | 支持词根管理,维护中文、英文、简写对应关系。 | 2022.02 | 词根管理 |
新增 | 支持数据项分类管理及关联数据元。 | 数据项分类 | |||
新增 | 支持数据元批量导入。 | 数据元批量导入 | |||
新增 | 支持数据元按照选择的内容、最新状态或发布版本进行导出。 | 数据元批量导出 | |||
新增 | 支持数据元添加分类方案。 | 关系类属性 | |||
新增 | 支持数据字典项批量导入。 | 添加字典值 | |||
新增 | 支持数据字典按照状态进行标识以及筛选。 | 字典筛选 | |||
新增 | 支持单个数据字典的码表导出。 | 字典导出 | |||
新增 | 支持数据字典添加字典英文名。 | 添加字典 | |||
新增 | 支持数据元及数据字典点击版本记录切换版本查看。 | 发布历史 | |||
新增 | 支持在发布历史点击发布版本查看发布内容。 | 发布历史 | |||
优化 | 支持数据元与开发状态数据字典进行关联(之前仅允许发布过后的标准字典进行关联)。 | - | |||
优化 | 支持数据标准制定人及审核人查看一般用户视角(即预览发布后的内容展示情况)。 | 查看数据元 | |||
优化 | 数据元及数据字典名称和内部标识符支持即时校验。 | - | |||
数据标准(v1.2.0) | 新增 | 支持自定义数据元注册模板,用户可对系统内置项的启用及必填配置以及支持用户添加自定义描述项。 | 2022.03 | 数据元自定义模板 | |
新增 | 支持自定义数据字典注册模板,用户可对系统内置项的启用及必填配置以及支持用户添加自定义描述项。 | 数据字典模板 | |||
新增 | 1. 数据元英文名称支持按中文名称拆字根据词根进行翻译; 2. 数据元拼音支持按中文名称自动生成。 |
数据元创建 | |||
新增 | 支持数据元及字典的标识符自动生成。 | 标识类属性 | |||
新增 | 数据元值域新增取值范围类型。 | 表示类属性 | |||
新增 | 支持与模型对接提供数据元及数据字典接口,模型设计(V1.2.8)时支持绑定数据元及数据字典。 | 待补充,模型设计中心尚未支持 | |||
新增 | 支持与质量中心对接,提供稽核规则要求。 | 待补充,质量中心尚未支持 | |||
优化 | 字典添加或编辑是支持字典值必填校验。 | - | |||
优化 | 导航栏名称简化,去除管理字样。 | - | |||
优化 | 一般用户界面提供操作指引。 | - | |||
2 | 数据地图(v1.5.3) | 新增 | 数据地图新增元数据管理模块,包括元数据表单注册、批量导入、元数据查看、元数据搜索、元数据注册模板自定义。 | 2022.03 | 元数据管理 |
新增 | 元数据注册,支持基础表、指标、标签三类元数据的注册。 | 添加元数据 | |||
新增 | 用户可通过批量导入功能,将线下维护的基础表、指标、标签元数据导入到平台中。平台支持下载模板,根据模板填写规范即可导入,若导入内容不规范系统会提示相应文案。 | 批量导入 | |||
新增 | 元数据列表支持查看、编辑、删除以及元数据搜索。 | 元数据其它操作 | |||
新增 | 元数据注册模板管理,支持表级、字段级、指标、标签四类注册模板的自定义(项目负责人、项目管理员有操作权限)。 | 注册模板配置 |
6.4.0 Update 0.2
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 数据传输(v2.3.1) | 新增 | 数据传输接入安全中心功能权限,实现数据传输的离线同步任务和实时同步任务的功能权限管控。 | 2022.02 | 功能权限 |
新增 | 数据传输接入控制台源系统账号鉴权。 | 数据源管理 | |||
新增 | 数据传输支持静态脱敏。 | 新建单个离线同步任务 | |||
新增 | 数据来源为:FTP时,支持校验数据传输读取行数和校验文件记录的数据行数是否一致。 | - | |||
优化 | 无权限访问项目时,增加报错提示。 | - | |||
优化 | 在使用数据过滤条件时,提供参数splitWithoutCondition指定在切分过程中是对整表切分,还是对本次的查询区间切分。 | - | |||
新增 | 离线同步任务支持读写浪潮云海MPP,当前支持浪潮云海Insight MPP V4版本。 | - | |||
优化 | 数据传输读写GreenPlum时,库表选择请选择数据库改为请选择schema。 | - | |||
优化 | 数据来源端为GreenPlum时,分区字段改为选填项。若数据源版本为PostgreSQL v9.4时,分区字段为必填项;若数据源版本为浪潮云海Insight MPP V4时,分区字段可选填。 | - | |||
优化 | 数据去向为GreenPlum时,新增写入规则:Overwrite-truncate(清空表数据后插入数据)。当数据去向为GreenPlum时,目前支持的写入规则:Append、Overwrite-delete、Overwrite-truncate。 | - | |||
2 | 离线开发(v6.4.2) | 新增 | 批量导出和导入增加调度信息。 | 2022.03 | 任务批量导出和导入 |
新增 | 离线开发任务编辑调度,支持设置调度失效时间。 | 编辑调度 | |||
新增 | 离线开发任务开发模式运行,支持配置执行参照时间。 | 运行测试 | |||
新增 | 离线开发开发模式运行,支持配置完成通知。 | 运行测试 | |||
新增 | 离线开发编辑调度,智能推荐依赖支持推荐数据同步节点。 | - | |||
新增 | 离线开发的依赖授权支持项目组内全公开功能。 | 依赖授权 | |||
新增 | 公共资源的资源组,增加存储路径显示。 | 公共资源 | |||
新增 | 公共资源的参数组,增加数据传输产品的引用信息。 | - | |||
优化 | 项目中心的项目配置,相关文件夹圈选优化。 | 项目配置 | |||
优化 | 任务发布增加资源组和参数组等引用信息。 | - | |||
优化 | 任务复制、导出、导入时增加附带信息,原来只包含任务和资源,目前任务会有引用参数组、引用资源组、任务描述、任务配置等内容。 | - | |||
优化 | 离线开发的VerticaSQL节点(需要开启该节点)运行和自助分析中连接Vertica数据源运行,在日志中增加显示执行sql、运行时长、影响行数、运行结果。 | - | |||
3 | 元数据中心(v4.1.8) | 新增 | 新增浪潮MPP数据源支持(Greenplum的一个定制版本),包括数据源登记、测试连接、库表列获取等功能。在数据源登记时,可选择登记GreenPlum数据源,可选择版本号:浪潮云海Insight MPP V4。 | 2022.02 | - |
新增 | 支持GreenPlum数据类型的血缘以及表DDL实时推送流程,表DDL实时推送包括在模型设计中心、离线开发、自助分析中建表后,能够将DDL实时推送给元数据中心存储下来,以便在数据地图能够即时搜索查询到新建的表。 | - | |||
新增 | 支持模型设计中心GreenPlum类型的建表,存储及查询GreenPlum信息。 | - | |||
新增 | 支持查看数据源引用任务详情,对接数据服务的引用任务信息。 | - | |||
新增 | 支持登记CDH Hive,支持的版本号为:0.14-CDH5.3、1.1.0-CDH5.16、2.1-CDH6.3.4。(仅限实时计算使用) | - | |||
优化 | 数据源名称修改为项目组下唯一,之前是限制同类型下唯一。 | - | |||
优化 | 数据源重复登记的报错文案优化。 | - | |||
4 | 控制台(v1.2.0) | 新增 | 支持浪潮云海MPP登记,用于数据传输、模型设计中心、离线开发、数据质量中心、数据地图等子产品使用。 | 2022.02 | - |
新增 | 支持登记CDH Hive,用于实时计算。(支持版本号为:0.14-CDH5.3、1.1.0-CDH5.16、2.1-CDH6.3.4) | - | |||
新增 | Kafka增加用户名密码认证模式及源系统账号鉴权功能,用于实时计算。 | - | |||
新增 | 提供openAPI接口: 1. 数据源列表及详情查询; 2. 实时累计用户数(不分项目); 3. 指定项目用户数; 4. 项目列表及详情查询; 5. 项目用户及对应角色查询。 |
- | |||
5 | 数据质量中心(v1.3.0) | 新增 | 质量大屏支持下钻到次级主题域。针对Hive表,涉及表质量平均分、监控配置情况、调度监控执行情况,增加主题域筛选条件,按主题域展开展示结果,可下钻到次级主题域。 | 2022.02 | 数据质量评估 |
新增 | MySQL支持自定义分区:对于MySQL此种不自带分区的数据源类型,提供自定义分区设置。 | 创建稽核监控任务 | |||
优化 | 规则模板分类: 1. 支持规则模板按规则类型(字段级/表级)、校验类型(完整性校验、有效性校验、数值型校验、波动型校验、唯一性校验、准确性校验、一致性校验、通用保障、其它)分类展示 ; 2. 增加筛选条件:规则类型、适用数据表类型、校验类型。 |
- | |||
新增 | 丰富规则模板: 1. 系统内置新增7个字段级规则模板; 2. 新建规则模板支持新增通用、固定值、重复性、波动性规则模板。 3. 新建规则选择字段时展示字段类型,支持选择新增的字段级内置模板进行规则灵活配置。 4. 新增模板规则支持执行实例、执行趋势展示。 |
- | |||
优化 | 执行趋势字段级规则检查的筛选条件优化为按规则名称筛选。 | - | |||
优化 | 表行数波动率规则运行结果和执行趋势中,会展示此次的表行数和上一周期表行数。 | - | |||
优化 | 点击执行实例ID跳转任务运维中心(新)实例详情页。 | - | |||
优化 | 报警配置统一收拢到报警中心。 | - | |||
新增 | 质量中心支持Greenplum数据源: 1. 支持对Greenplum数据源进行数据质量监控配置; 2. 支持适用 postgresql数据表(适用Greenplum数据源)规则模板; 3.支持展示监控对象为Greenplum数据源的相关质量结果。 |
2022.03 | - | ||
优化 | 试跑的执行队列,增加CPU和内存的显示。 | - | |||
6 | 模型设计中心(v1.2.7) | 新增 | 模型设计中心支持Greenplum数据源类型。 | 2022.03 | 外部数据源建表演示 |
7 | 数据地图(v1.5.1) | 优化 | 优化hive表负责人的查询和存储。表负责人信息由原来查询平台的接口改成查询元数据中心接口,修改负责人会同时更新到hms和metahub。 | 2022.03 | - |
8 | 任务运维中心(v1.1.0) | 新增 | 新增调度失效功能。 | 2022.02 | 任务列表 |
优化 | 智能诊断优化,对底层报错日志获取方式重构,同时增加用户诊断结果反馈打标。 | 智能诊断 | |||
优化 | 告警模板文案优化,优化标题和新增跳转链接。 | - | |||
优化 | 优化基线运维中已完成的基线的文案。 | - | |||
新增 | 告警历史增加响应信息,包括响应人、响应时间。 | 报警历史 | |||
9 | 安全中心(v3.3.2) | 新增 | 安全中心新增脱敏管理模块进行数据敏感类型配置、脱敏规则配置、脱敏算法查看。 | 2022.02 | 脱敏管理 |
优化 | 权限申请功能优化: 1. 取消申请对象项目组和项目信息选择,只能为本项目下的账号申请权限。 2. 将账号类型划分为当前账号、他人账号、项目账号三种。 3. 交互视觉优化:优化布局和交互,将待添加和待申请以穿梭框的形式选择。 |
权限申请 | |||
优化 | 支持视图权限授予和申请,创建、删除视图时,自动为创建人授予和回收hive权限。 | - | |||
优化 | 我的权限和权限到期通知展示资源的项目。 | - | |||
新增 | 支持查看脱敏规则引用的传输任务数和引用详情并支持跳转到相应传输任务,已被引用的规则不可删除。 | 脱敏配置 | |||
新增 | 静态脱敏的补充功能:支持查看线上调度的传输任务脱敏情况,父表展示一个传输任务扫描一次产生的结果(执行实例),子表展示脱敏详情。 | 脱敏结果 |
6.4.0 Update 0.1
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 元数据中心(v4.1.7) | 新增 | 实时血缘扩增数据源类型,在数据地图流表/Topic血缘中可查看写入Kudu、HBase的血缘。 | 2022.02 | Kafka流表 |
新增 | 支持同一任务内的临时表删除后,保持上下游表的血缘关系。 | Hive | |||
新增 | Vertica、Oracle、MySQL数据源,支持离线开发、自助分析、数据传输任务数据产出订阅。 | - | |||
新增 | 获取表列表中增加是否视图表的标识信息。 | - | |||
新增 | 支持自助分析推送任务血缘给元数据中心,目前支持Vertica、Oracle、MySQL。 | - | |||
新增 | 元数据中心返回DECIMAL数据的精度。 | - | |||
新增 | 新旧附加列接口兼容改造,支持批量删除、修改,适配模型设计中心。 | - | |||
优化 | 离线开发任务上线时影响标签tag检测数量过多而卡顿问题优化,通过新增接口限制返回500个标签以及标签总数。 | - | |||
优化 | 线上环境,es定时任务同步默认时长从8h修改为20h。 | - | |||
2 | 模型设计中心(v1.2.6) | 新增 | 模型设计中心支持MySQL、Vertica,相关界面都进行展示调整。 | 2022.02 | 外部数据源建表演示 |
新增 | 主题域界面,支持流批一体表标识展示。 | 主题域 | |||
新增 | 在表设计工单管理-与我相关中,新建/修改表工单、工单列表/工单详情展示均支持MySQL、Vertica。 | - | |||
新增 | 新建/修改表时支持填写/修改表及字段的扩展属性。 | 扩展信息配置 | |||
新增 | 维度可关联多层主题域,不限于二级主题以内。 | - | |||
优化 | 在维度、度量等模块选择表时,支持展示数据源类型标识。 | 维度 | |||
优化 | 新建表时放开维度表只允许选择一个主键的限制。 | - | |||
优化 | 数仓建设概览支持对数据源类型进行合并统计(之前只统计Hive)。 | - | |||
优化 | 去除原表设计规则管理中字段附加列的配置,升级为扩展属性管理页面。 | 扩展信息配置 | |||
优化 | 支持子主题域采用相同命名,放开不同层级主题域不可重名的限制。 | - | |||
优化 | 修改表工单页面排版优化。 | - | |||
3 | 数据地图(v1.5.0) | 新增 | 流表血缘链路中增加区分是读写流表还是Topic的标识。 | 2022.02 | Kafka流表 |
优化 | Hive表详情操作按钮UI入口优化。 | Hive | |||
新增 | Hive表详情增加产出任务信息、产出SQL脚本信息。 | Hive | |||
新增 | 表详情增加快捷搜索入口,方便用户直接搜表,不需要返回搜索首页。 | Hive | |||
新增 | MySQL、Vertica表详情页增加表扩展业务属性信息、字段附加列信息、字段关联的维度或指标、字段编辑等。 | MySQL | |||
新增 | 数仓表导引增加不同类型数据源的支持,包括Hive、MySQL、Vertica,并提供筛选功能。 | 数仓表导引 | |||
优化 | 数据地图记录用户上次登录时的项目集群信息。 | - |