EasyData-V6.5.0-Update2.3
新增功能
数据传输（3.2.1）
子版本号3.2.1
1.新增Kafka版本。
- 功能介绍：数据来源为Kafka时，新增阿里云Kafka2.2.0版本。
- 注意事项：该版本认证方式为无认证，版本号为2.2.0。
2.新增Hive版本。
- 功能介绍：新增数据源Hive版本，版本号为1.1.0-CDH5.14.0，支持基于webhdfs协议复制文件数据。
- 注意事项：数据源登记时，传输协议请选择【WebHDFS协议】。
- 功能界面及使用步骤：
3.新增JDBC数据源读取增加超时检测机制。
- 功能介绍：新增JDBC数据源读取增加超时检测机制，解决客户环境可能出现网络等环境原因导致的jdbc作业阻塞的问题，通过超时检测功能当任务超时时则失败退出。建议此功能与节点的失败重试功能配合使用，完成自动重试。
- 功能界面及使用步骤：需通过任务或节点自定义参数进行参数配置。
- source.checkTaskBlock：是否检测阻塞，默认false
- checkTaskBlockTimeout：阻塞超时时间（包括连接建立），单位：秒，默认值为1800
- checkTaskBlockInterval：检测间隔，单位：秒，默认值为60
控制台（1.2.14）
子版本号1.2.14
1.新增登记Druid数据源。
2.新增OpenAPI：支持返回用户有权限的队列。
3.新增/open-api/app-navi/config/list接口用户鉴权。
- 注意事项：考虑到增加校验流程会增加响应时间，所以默认不开启鉴权，可通过navi-config-list-api.authentication.enable配置设置为true开启。
4.新增“平台管理-基础配置”的【通知模板管理】模块。
- 功能介绍：新增“平台管理-基础配置”的【通知模板管理】模块，支持按照平台粒度由用户自定义邮件通知和文本通知的样式。
- 注意事项：目前数据地图部分主题的邮件暂未接入邮件通知模板，未接入范围为：DDL变更邮件通知，包括添加列、字段更新、表分区添加、表分区删除、表分区修改、表重名、表删除等，此部分邮件不受此邮件模板统一管理。
- 功能界面及使用步骤：
5.新增数据源名称复制功能。
离线开发（7.0.3）
子版本号7.0.3
1.新增进行批量导出、导入任务时配置任务数和文件大小上限。
- 功能介绍：批量导出时任务个数和导出的文件大小上限支持在easyops上配置，参数分别为mammut.projectDeploy.maxExportNum和mammut.file.maxSizeMb。批量导入时支持分片上传和断点续传，且支持查看导入的进度。
- 注意事项：如果上限设置的比较大，可能会导致服务器瘫痪，请谨慎设置。
- 功能界面及使用步骤：
- 批量导出任务包默认最多导出200个，最大导出500M，用户自定义配置上限后，此处将调整导出的上限。
- 导入批量任务包时，用户可以查看导入的进度。并且支持分片上传和断点续传，当用户导入任务包的过程中暂停导入，3天内上传同样的任务包到同样的任务目录，将从上次暂停导入的地方继续导入。
- 批量导出任务包默认最多导出200个，最大导出500M，用户自定义配置上限后，此处将调整导出的上限。
元数据中心（5.5.2）
子版本号5.5.2
1.新增安全中心数据源权限申请接口。
2.新增登记CDH Hive时支持选择传输协议和webhdfs相关配置项。
3.新增druid数据源测试连接功能。
4.新增ES索引支持通配符匹配索引功能。
数据安全中心（3.9.4）
子版本号3.9.4
1.新增数据源功能权限申请。
- 功能介绍：在权限中心-权限申请页面，新增申请功能权限，当前仅支持数据源。在权限中心-我的权限页面，展示有权限的资源（数据源）。申请通过后，在角色管理页面相应权限也同步展示在功能权限列表中。
- 注意事项：
- 功能权限没有权限到期日期
- 功能权限不支持用户自行释放权限
- 申请某数据源类型下所有数据源权限工单审批人默认为项目负责人/项目管理员，申请具体数据源权限工单审批人默认为数据源负责人和数据源管理员
- 功能界面及使用步骤：
- 权限中心-权限申请页面
- 权限中心-我的权限页面
- 权限中心-权限申请页面
2.新增查看接入功能权限（安全中心页面）。
- 功能介绍：无
- 注意事项：1）项目管理员负责人默认可以访问所有页面；2）目录授权、冻结目录、权限治理页面仅项目管理员和负责人可访问，其它成员无法授权访问（待优化）。
- 功能界面及使用步骤：
3.新增数据脱敏类型——数字类型。
- 功能介绍：新增脱敏算法，数字取整（原先只支持string类型）。算法配置：从小数点前第N位开始取整，N取[0，18]正整数。说明：适用于bigint、int、double、decimal等数值型字段，返回值和原值类型一样。若N小于字段整数部分的位数，从小数点前第N位开始取整，第N位后的字段内容用0代替；若N大于字段整数部分的位数，全部位数用0代替；若N等于0，则小数点后位数用0代替。例如：原值123456.78,N为2，则脱敏后值为123400.00。
- 注意事项：无
- 功能界面及使用步骤：
- 数据保护-脱敏规则。支持用户选择‘数字取整’算法，支持用户输入N值，N为非负整数，取值范围[0,18]。
- 数据保护-数据识别、数据脱敏。字段类型为 bigint、int、double、decimal等数值型字段可选取数字取整脱敏规则。
- 数据保护-脱敏规则。支持用户选择‘数字取整’算法，支持用户输入N值，N为非负整数，取值范围[0,18]。
4.新增数据识别任务支持复制功能。
5.新增数据识别任务运行时支持选择spark版本。
指标系统（2.7.2）
子版本号2.7.2
1.新增根据数据元标识批量获取关联的已发布指标功能。
- 功能介绍：接口能力，模型设计中心选择标准后，会自动回填标准关联的指标。
- 注意事项：无
- 功能界面及使用步骤：
模型设计中心（1.8.0）
子版本号1.8.0
1.新增批量导入表时受表设计规则（外部表）控制。
- 功能介绍：新增导入时获取建表属性配置，按照配置进行表工单的创建功能，解决导入表时建表属性使用默认属性而未使用用户配置的建表属性问题。
- 注意事项：无
- 功能界面及使用步骤：
2.新增表单模式hive表压缩方式选项。
- 功能介绍：新增根据不同存储格式提供新的压缩格式，解决客户需要对常见的parquet、orc文件格式支持压缩方式选择问题，但目前仅支持对TextFile格式进行lzo压缩。
- 注意事项：无
- 功能界面及使用步骤：
目前支持的格式：- Parquet：uncompressed、snappy、lzo、gzip、lz4
- TextFile：不压缩、lzo
- SequenceFile：不支持
- ORC：zlib、none、snappy
- AVRO：不支持
3.新增批量导入表名元素功能。
功能介绍：新增批量导入表名元素能力，支持新建与更新，解决用户希望通过导入的方式批量导入表名元素问题。
注意事项：无
功能界面及使用步骤：
4.新增模型设计中心建表支持主键非必填功能。
功能介绍：新增模型设计中心建表支持主键非必填功能，支持按需配置哪些数据源类型需要配置主键，解决hive建表时强制选择主键问题。
注意事项：无
功能界面及使用步骤：
5.新增基于数据元添加字段时自动回填数据元关联的指标。
- 功能介绍：新增某标准关联了指标，那么选择标准后，对应的指标会自动填入功能。
- 注意事项：无
- 功能界面及使用步骤：无
数据标准（1.9.2）
子版本号1.9.2
1.新增系统字段支持编辑属性解释以及输入提示功能。
- 功能介绍：新增系统字段也支持编辑属性解释和输入提示功能，解决之前仅支持对自定义字段编辑属性解释和输入提示，系统字段没有放开，不够灵活问题。
- 注意事项：无
- 功能界面及使用步骤：
2.新增创建人筛选功能。
- 功能介绍：无
- 注意事项：无
- 功能界面及使用步骤：
3.新增标准发布\审批时应展示前后版本差异功能。
- 功能介绍：新增标准发布\审批时应展示前后版本差异功能，在发布时进入版本比对页面，提供发布按钮。解决用户发布版本时，无法知道本版本有哪些变更，因此希望在发布时能够查看版本比对结果问题。
- 注意事项：无
- 功能界面及使用步骤：
4.新增数据地图查看标准字典码值。
- 功能介绍：新增数据地图查看标准字典码值，接口能力，提供字典码值查看接口给数据地图。
- 注意事项：无
- 功能界面及使用步骤：无
数据服务（1.5.7 1.5.8）
子版本号1.5.7
1.新增数据源权限判断和源系统账号鉴权功能。
- 功能介绍：控制台登记数据源，支持"使用授权"功能，可针对当前数据源开放给项目组使用或只赋权某个项目使用，且数据源使用权限可以通过安全中心或数据权限功能进行管控，故在通过数据服务构建API时需要对当前项目可使用的数据源、创建者可使用的数据源进行管控，实现数据的安全开放。
- 注意事项：easyops中相关参数配置
- subSysActAuth.enable设置为false：不接入源系统账号鉴权。
- subSysActAuth.enable设置为true，useDsInfoIfUserNoActAuth.enable设置为false：接入源系统账号鉴权，提交任务的用户没有源系统账号则任务报错。（相当于彻底开启了源系统账号鉴权功能）
- subSysActAuth.enable设置为true，useDsInfoIfUserNoActAuth.enable设置为true：接入源系统账号鉴权，提交任务的用户没有源系统账号则使用数据源登记的号。（相当于开启了源系统账号鉴权的同时使用数据源登记的账号密码作为兜底）
- 功能界面及使用步骤：
- 在选择数据源时，只有在登记数据源时"使用授权"配置了当前项目的数据源才可被选择，否则数据源不可见；
- 增加对当前用户是否对数据源有读权限的判断，对于平台自带的hive数据源，在安全中心"数据授权"模块管理读权限；对于非hive数据源，在安全中心-角色管理-项目级别的功能权限中，“数据源管理”中管理数据源读权限；
- 目前仅MySQL、Oracle、GreenPlum、Vertica和ES有源系统账号鉴权的功能，为了保证不影响线上已使用的API场景，源系统账号鉴权功能默认关闭，以满足以下场景：在该版本之前用户已经创建了API，没有开启源系统账号鉴权功能，使用的是登记时的用户名和密码执行的查询，在当前版本支持了源系统账号鉴权功能，且该用户也配置了源系统账号，但该用户对数据源没有读权限，此时会导致API报错，故该功能默认关闭。
2.新增Kong网关监控功能。
- 功能介绍：新增在ops后台查看Kong网关监控，可以根据api id唯一定位API查看每秒请求数等指标内容。
- 注意事项：无
- 功能界面及使用步骤：无
3.新增MongoDB数据源创建API。
- 功能介绍：新增SQL模式下可选择MongoDB数据源，且列表中支持MongoDB数据源的筛选。
- 注意事项：无
- 功能界面及使用步骤：
4.新增审计信息详情。
- 功能介绍：新增审计信息详情，在安全中心操作审计功能模块，针对API操作增加审计详情。
- 注意事项：无
- 功能界面及使用步骤：
5.新增API详情页发布和下线的操作按钮，不需要额外到API列表再执行操作。
6.新增服务编排API，结束节点，返回参数支持自定义形式功能。
7.新增服务编排API列级权限功能。
8.新增API列表API ID的内容展示和筛选功能。
- 功能介绍：新增API列表API ID的内容展示和筛选功能，支持在查看Kong网关监控中，通过api id唯一定位API需求。
- 注意事项：无
- 功能界面及使用步骤：
子版本号1.5.7
1.新增修改超时时间功能。
- 功能介绍：新增修改超时时间功能，可以在API详情页面修改API超时时间，不影响API在线使用。
- 注意事项：无
- 功能界面及使用步骤：
2.新增切换为个人账号执行功能（hive数据源类型）。
- 功能介绍：hive数据源类型新增切换为个人账号执行功能，若通过安全中心，对数据字段配置了脱敏，创建hive API时，需要选择以个人账号执行，以达到字段脱敏的目的。
- 注意事项：无
- 功能界面及使用步骤：
3.新增api path和描述内容搜索功能。
- 功能介绍：新增api path和描述内容搜索功能，其中api path指的是集合path+api path，方便快速定位；同时增加表头过滤，默认列表展示全部。
- 注意事项：无
- 功能界面及使用步骤：
4.新增缓存清除的openAPI，可以在缓存失效情况下，清除缓存内容。
功能优化
数据传输（3.2.1）
子版本号3.2.1
1.优化批量创建任务后端机制。
- 功能介绍：优化批量创建任务后端机制，支持获取元数据中心数据源catalog的接口增加缓存和重试机制。
2.优化Hive和VastBase G100兼容包含关键字或特殊字符的字段名称（其余关系型数据库此前已兼容）。
控制台（1.2.14）
子版本号1.2.14
1.优化切换项目时支持展示项目描述。
2.优化“登记数据源”、“登记逻辑数据源”、“批量登记数据源”、“批量修改数据源”的选择数据源页面，增加搜索数据源功能。
3.优化“登记数据源”、“登记逻辑数据源”、“批量登记数据源”、“批量修改数据源”的选择数据源页面，增加搜索数据源功能。
4.优化Hive数据源展示信息顺序。
离线开发（7.0.3）
子版本号7.0.3
1.优化项目名注册和hive库名注册时的策略。
- 功能介绍：优化检测机制，新建项目、申请开通新集群、注册hive库时，去除“hive库不能和已有项目重名”的校验；新建项目时，去除“所选集群上存在与项目同名的库”的校验。解决了用户无法在一个项目下新建另一个项目同名库的问题。
2.优化下载运行结果的操作审计（自助分析）。
- 功能介绍：优化审计内容，在安全中心的操作审计中，当操作类型为“下载运行结果”时，扩展信息中增加jobid，且动作详情中的SQL语句移至扩展信息中。
元数据中心（5.5.2）
子版本号5.5.2
1.优化oracle获取表结构方法，由sql换成jdbc方法获取。
2.优化api/v4/datasource/listByType 接口，无needPassword参数时，去掉info外的password字段。
3.优化推送流程，SQL解析推送ES的时候，如果碰到临时表被删除了，不影响产出推送流程。
数据安全中心（3.9.4）
子版本号3.9.4
1.优化数据识别/动态脱敏选择表时不展示视图表问题。
模型设计中心（1.8.0）
子版本号1.8.0
1.优化核心表、推荐表由开关组件，变为标签多选框。
2.优化选择指标时支持对指标域进行搜索，并且指标列表支持展示归属的域。
3.优化字段类型支持搜索。
4.优化引用标准页面展示，现在的加号和数量按钮有歧义，改为用单独列展示引用数量。
5.优化工单列表，增加重大变更表示，让用户不进入详情就能查看影响。
6.化工单列表同时支持工单编号和表名称的模糊搜索。
数据标准（1.9.2）
子版本号1.9.2
1.优化提供给模型的接口，支持数据元搜索结果按照匹配度进行倒排。
2.优化引用模板导入时需要对数据元进行分类挂载问题。
3.优化模板配置中“是否启用”列需要固定问题。
4.优化自定义字段支持根据输入的名称自动填充显示名称以及输入提示问题。
5.优化放开数据格式的长度最大为999的限制。
数据服务（1.5.7 1.5.8）
子版本号1.5.7
1.优化API详情页面展示。
- 功能介绍：API详情页面展示优化，将基础信息、授权信息、绑定策略、监控管理、响应示例、调用示例分为不同的tab展示，包括API列表详情页和API集市的详情页。
- 注意事项：无
- 功能界面及使用步骤：
2.优化策略管理页面。
- 功能介绍：优化策略管理页面，策略管理页面合并，将流控策略、访问策略、报警策略和行级权限策略分为了不同的tab展示。
- 注意事项：无
- 功能界面及使用步骤：
3.优化API创建过程步骤。
- 功能介绍：优化API创建过程步骤，支持两列展示，包括新建API、注册API和新建服务编排。
- 注意事项：无
- 功能界面及使用步骤：
- 新建/编辑API页面。
- 注册API页面。
- 新建服务编排API页面。
- 新建/编辑API页面。
4.优化功能权限。
- 功能介绍：优化功能权限，统一在角色管理中管理权限。数据服务原本对接的是安全中心-功能权限，通过创建权限方案赋权角色或成员的方式管理，安全中心后续将权限管控统一收拢到角色管理中，故数据服务也需要对应迁移到角色管理-项目级-功能权限中管控，权限粒度不变，用户需要到角色管理-项目级-功能权限中针对数据服务赋权。
- 注意事项：无
- 功能界面及使用步骤：
5.优化API测试、发布流程。
- 功能介绍：优化API测试、发布流程，对于测试成功的API，支持在测试页面直接发布，而不需要在列表中再执行发布操作。
- 注意事项：无
- 功能界面及使用步骤：
6.优化服务编排节点删除功能。
- 功能介绍：优化服务编排节点删除功能，支持delete快捷键删除。
- 注意事项：无
- 功能界面及使用步骤：
7.优化SQL模式下，返回参数列表展示。
8.优化服务编排代码编辑框展示。
9.优化列表页增加分页，接口响应不及时的问题。
- 功能介绍：优化列表页增加分页，接口响应不及时的问题，包括资源组引用详情页面、API绑定的策略弹窗、应用详情、流控策略、访问策略、报警策略和行级权限策略，绑定API的列表均支持分页优化。
子版本号1.5.8
1.优化资源组功能，创建成功且已启用的资源组，支持在详情页查看实例IP详情，便于问题定位。
BUG修复
数据传输（3.2.1）
子版本号3.2.1
1.修复Oracle表名带“/”任务向导模式会报错的问题。
2.修复实时传输数据来源为Kafka、版本为2.2.0、认证方式为sasl_plaintext的数据源适配异常导致任务报错的问题。
离线开发（7.0.3）
子版本号7.0.3
1.修复了资源详情-剩余百分比飘红提示位置不正确问题。
2.修复了项目配额报警在cluster1集群下配置保存的报警接收人在cluster2集群配置时展示同样的接收人问题。
3.修复了线开发上传作业资源未超过500MB限制报错问题。
4.修复了query执行失败场景下（语法检查失败），勾选“语法检查”后，页面报错提示与执行结果中的序号不一致问题。
5.修复了query结果中的"SQL"内容可以编辑问题。
6.修复了自助分析编辑后点击导航栏跳转别的子服务后 再次进入自助分析会弹出弹窗“未保存确认离开”点击取消后页面一直处于空白状态问题。
7.修复了自助分析查询回到最上最小图表显示存在问题。
8.修复了CDH集群任务取消调度走工单失败问题。
9.修复了数据地图血缘展示的任务owner不对问题。
数据安全（3.9.4）
子版本号3.9.4
1.修复自助分析Spark使用CREATE TABLE LIKE建表可以建在default库下问题。
2.修复日志级别设置为debug时发生NullPointerException问题。
3.修复数据源管理所有成员都有这个数据源的权限问题。
4.修复A项目下授权方案保存到了B项目问题。
5.修复安全中心没有拿到hive的catalog信息问题。
6.修复安全中心审批展示策略异常问题。
模型设计中心（1.8.0）
子版本号1.8.0
1.修复模型设计中心ddl解析异常。
2.修复模型设计中心点击跨层依赖数据下载，下载的文件中提示未登录。
数据准备（1.9.2）
子版本号1.9.2
1.修复数据标准新增数据元之后，无法变更数据元状态问题。
元数据中心（5.5.3）
子版本号5.5.3
1.修复数据传输，sql 模式，表名中存在/ ，打开任务后报获取表信息异常问题。