更新历史
版本:v1.14.0
新增功能1.【项目中心(新)-资源运维】“资源运维”模块适配Impala队列,支持查看Impala队列的资源使用情况并设置报警,以及支持针对队列下的查询进行终止和资源诊断
- 功能说明:
- “资源运维”模块中,tab栏选择Impala队列后,会展示该项目-集群的Impala队列列表,查看各队列的内存配额和使用率,并支持对队列的内存使用率排队中作业数设置报警。
- 队列详情页,支持查看指定时间范围的查询列表和队列资源监控,并支持终止查询,以及查看自助分析Query和离线开发SQL节点(执行引擎为Impala)的资源诊断。
- 资源诊断页,支持查看查询内逐条SQL语句的执行详细情况、耗时操作、耗时原因和优化建议。
- 权限说明:仅项目负责人/项目管理员支持设置报警,仅有查询的终止权限的用户支持终止查询,其余查看类型的操作项目内任意成员均可操作。
- 功能使用注意事项:
- 仅已购买“EasyEagle”产品且版本高于2.5.0的客户环境支持Impala队列的资源运维功能。
2.【项目组中心-集群管理】集群支持“资源运维”
- 功能说明:
- 集群列表中,点击操作列的“资源运维”按钮,即可进入该集群的“资源运维”页面。 -“资源运维”页面中,会区分Yarn队列和Impala队列,展示该集群下且归属于当前项目组的队列列表。
- 队列列表页,支持查看各队列的归属项目、资源配合、资源使用情况和其余队列基础信息。 -点击“查看详情”,可以跳转查看该队列的详情页,了解更详细的队列资源使用情况;点击“修改队列”,可以跳转项目中心,修改队列配额等队列信息。
- 功能使用注意事项:
- 仅已购买“EasyEagle”产品且版本高于2.0.0的客户环境支持Yarn队列的资源运维功能。
- 仅已购买“EasyEagle”产品且版本高于2.5.0的客户环境支持Impala队列的资源运维功能
- 功能详细使用步骤:
- 功能入口:
3.【数据源登记】新增GoldenDB数据源类型
- 功能说明:
- 新增GoldenDB数据源登记,包括物理数据源和逻辑数据源,支持数据源连通性测试、编辑、批量变更等功能。
4.【数据源登记】达梦数据源新增8.1.3版本。
5.【平台管理-集群管理】支持查看集群的Hive-Site文件
版本:v1.13.1
新增功能1.【数据源登记】ES数据源新增认证方式字段
- 功能说明:
- ES数据源新增认证方式字段,当版本为6时默认为用户名密码,当版本为7或8时,支持选择用户名密码或api Token认证方式,且当请求协议为https时支持上传SA证书。
2.【调度日历】平台级和项目级调度日历中定时同时策略新增“同步日期策略”配置
功能说明:
- 调度日历支持设置为定时同步模式,之前的版本中在设置“同步日期范围”后,系统会严格按照设置的日期范围进行同步,如果存在取少的日期,则会同步失败;
- 当前版本新增了“同步日期策略”配置,支持配置“至少包括1个日期”和“必须包含所有日期”。选择“至少包括1个日期”则表示“同步日期范围”内设置的日期中,至少有1个合法日期,就认为同步成功。
详细用法说明:
- 如下图,为具体调度日历修改更新模式时的页面,在底部新增了“同步日历策略”配置项:
1.【逻辑数据源】修复创建逻辑数据源时保存成功后数据源标签丢失的问题。
版本:v1.13.0
新增功能1.【项目中心(新)】新增“资源运维”模块,支持查看Yarn队列的资源使用情况并设置报警,以及支持针对队列下的实例进行终止和资源诊断
- 功能介绍
- “资源运维”为项目粒度的产品模块,tab栏选择集群后支持展示该项目-集群的Yarn队列列表,查看各队列的内存/CPU配额和使用率,并支持对队列的内存使用率、CPU使用率、排队中作业数设置报警。
- 队列详情页,支持查看指定时间范围的运行中实例列表和队列资源监控,并支持终止实例,以及查看MR、Spark、SQL(执行引擎为Spark或Hive)节点的资源诊断。
- 资源诊断页,支持查看节点下各application的资源使用情况和诊断结果,针对Spark类节点支持提供内存参数调优建议。
- 权限说明:仅项目负责人/项目管理员支持设置报警,仅有实例的终止权限的用户支持终止实例,其余查看类型的操作项目内任意成员均可操作。
2.【数据源登记】新增数据源类型:S3
- 功能介绍 新增数据源类型:S3,用于数据传输读写
3.【数据源登记】支持批量移交数据源负责人和数据源管理员
- 功能介绍
- 权限说明:仅当用户有数据源的编辑权限(数据源负责人、数据源管理员、项目组负责人、项目组管理员有编辑权限)时,才可批量移交数据源负责人和数据源管理员。
- 移交内容支持选择负责人和管理员。
- 新数据源负责人支持选择项目组成员。设置新数据源负责人后,选中的数据源的负责人均移交至该成员。
- 新数据源管理员支持选择被移交人和接收对象。数据源的管理员如包含被转交人,会将被转交人改为接收对象,其余管理员保持不变;如接收对象为空,则仅从数据源管理员中删除被移交人。
1.【首页】产品模块名称由“模型设计中心”更名为“维度建模”
版本:v1.12.0
功能优化1.【数据源登记】GaussDB新增版本:5.1(OpenGauss)
- 功能介绍:
- 版本为5.1(OpenGauss),格式为:jdbc:opengauss://ServerIP:Port/Database,若存在多个ServerIP:Port以,相连
- 版本为8.1(GaussDB),格式为:jdbc:postgresql://ServerIP:Port/Database,若存在多个ServerIP:Port以,相连
版本:v1.11.0
新增功能1.平台项目组级别支持集群管理
功能说明:
- 新增当前项目组下所有项目的已开通集群合集的页面。若集群下有配置Presto集群,支持进入查看配置的Presto集群列表。若Presto集群中有多种数据源类型,且需要在离线开发、自助分析等产品使用,为获得这些外部数据源的表血缘数据源,需要在Presto集群中配置catalog和平台具体数据源的映射关系。在SQL中使用三元组操作库表时,系统可基于此处的配置,将Presto集群的catalog和本平台的数据源的catalog进行替换,从而识别并记录血缘数据。
功能详细使用步骤:
a.功能入口:右上角“项目中心(新)”
新页面左下角的“项目组配置”
进入集群管理页面
2.【数据源登记】数据源类型新增:WebService
- 功能说明:
- 数据源类型新增WebService,用于数据传输。
3.【平台管理】平台级别支持集群管理
- 功能说明:
- 新增当前平台下所有已开通集群合集的页面。若集群下有配置Spark引擎,支持进入查看配置的Spark引擎列表。若Spark引擎版本为3.3,支持在引擎下针对表格式登记Catalog。离线传输基于Spark引擎使用三元组读写对应表格式的数据时,将使用此处登记的该Spark引擎该表格式的Catalog。
- 同一集群下,Catalog名称不可重复。同一Spark引擎下,针对某一表格式仅支持登记一个Catalog。
- 功能详细使用步骤:
- 功能入口:右上角“平台管理-基础配置”(仅平台管理员可访问该页面)
- 新页面左下角的“集群管理”
- 点击“集群配置”按钮,进入对应集群的配置页面,可配置引擎Catalog
1.调度日历支持自动定时同步
功能说明:
- 平台级和项目级调度日历,新增支持定时从数据库中读取
- 平台级,支持选择平台任意一个项目组下的某个MySQL数据源下的库表;项目级,支持选择当前项目组下的某个MySQL数据源下的库表
- 选择的库表需要符合一定的格式,参考页面的说明
- 定时同步模式下,支持手动立即触发一次同步
功能详细使用步骤:
a.功能入口: 下图为平台级调度日历设置页面,右上角可“修改更新模式”
下图为修改更新模式,改为定时同步后的配置页面
下图为定时同步场景下,手动立即同步日历的弹框
版本:v1.9.0
功能优化1.成员账号管理中导入成员和导入部门的模板优化
- 功能介绍:
- 导入模板填写说明完善,以及修改后导入,修改为不需要删除第二行的备注信息。
- 导出人员和部门,增加第二行的说明信息。
- 功能详细使用步骤:
- a.功能入口:
- a.功能入口:
版本:v1.8.1
新增功能
1.数据源登记中针对StarRocks数据源支持账号认证方式
功能介绍:
- StarRocks数据源,开启“源系统账号鉴权”功能后,支持设置“账号认证方式”(指当前数据源的“源系统账号映射”中账号的认证方式),未开启“源系统账号鉴权”,默认按照账号密码方式。设置后,账号映射中的账号执行时,会按照设置的认证方式去执行。
- “账号认证方式”支持账号密码和LADP认证2种方式。
功能详细使用步骤:
- a.功能入口:
- a.功能入口:
2.导航中新增“关系建模”
功能介绍:
- 关系建模是本数据平台的一个新产品,部署后,导航中会显示该产品的导航入口;
- 该产品的介绍,参见其用户手册。
功能详细使用步骤:
- a.功能入口:
- a.功能入口:
功能优化
1.用户支持修改已加入项目的角色
功能介绍:
- 平台级审批工单均已迁移至流程协作与通知中心,因为本版本对顶部导航中“申请审批”入口进行隐藏。
功能详细使用步骤:
- a.功能入口:
- a.功能入口:
版本:v1.8.0
功能优化
1.【数据源管理】Doris增加“联邦查询”开关
- 功能介绍
- 如同时需使用有数BI报表,为保证数据资产地图的BI报表血缘展示准确,请在此处登记Doris数据源并开启联邦查询开关,登记Doris的External Catalog(外部Catalog)和平台内置数据源间的关联关系。后续在BI中登记的这类Doris数据源(底层关联的Catalog元数据为iceberg),系统支持打通BI和中台的血缘,在中台iceberg表详情的血缘模块中支持查看下游的BI报表。
版本:v1.6.0
新增功能
1.【首页】首页产品全景图不再展示数据测试中心
- 功能介绍:
- 由于数据测试中心功能已迁移至数据质量中心,后续数据测试中心不可再新建任务,故首页的产品全景图中不再展示数据测试中心
- 功能详细使用步骤
- a.功能入口:
- a.功能入口:
2.【数据源登记】新增Clickzetta数据源
- 功能介绍:
- 新增Clickzetta数据源,可在数据传输-离线同步任务中使用
- 功能详细使用步骤
功能优化
1.【数据源登记】RocketMQ支持ACL认证
- 功能介绍:
- RocketMQ支持ACL认证,可在实时开发SQL任务-DDL方式和meta方式中使用
2.【数据源登记】Kafka版本为2.6.3、Kerberos认证支持测试连接
3.【数据源登记】HBase新增版本:2.1,支持Kerberos认证
4.【数据源登记】Kudu新增版本:1.10,支持Kerberos认证
5.【数据源登记】Hive新增版本:3.1.0,支持Simple认证
- 功能介绍:
- Hive新增版本:3.1.0,支持Simple认证,可在离线同步任务中使用
6.调度日历功能改为对所有用户默认开启
版本:v1.4.1
新增功能
1.【数据源管理】Doris数据源支持源系统账号鉴权功能,并新增版本:2.0
- 功能介绍:
- Doris数据源支持源系统账号鉴权功能,并新增版本:2.0
- 功能详细使用步骤
- a.功能入口:
- a.功能入口:
2.【数据源管理】TiDB新增版本:6.1
- 功能介绍:
- TiDB新增版本号字段,原已支持4.7、5.1版本,此次新增6.1版本。
- 针对历史已登记的数据源,版本号置为空,连接该数据源时会默认使用原驱动,不影响使用。
- 功能详细使用步骤
- a.功能入口:
- a.功能入口:
3.【数据源管理】Oceanbase数据库模式为MySQL时新增版本:3.2.4(企业版)
- 功能介绍:
- Oceanbase数据库模式为MySQL时新增版本:3.2.4(企业版)
- 功能详细使用步骤
- a.功能入口:
- a.功能入口:
功能优化
1.查询平台用户名下的资源数量的OpenAPI优化:如子产品未部署,则不查询对应的子产品
其他变更
1.导航栏“指标中台”更名为“指标平台”
版本:v1.4.0
新增功能
1.【数据源管理】数据源登记新增数据源类型:Oceanbase
- 功能介绍:
- 数据源登记新增数据源类型:Oceanbase,支持Oceanbase for Oracle-3.2.4(企业版)和Oceanbase for MySQL-3.1.1(社区版)。
- 功能使用注意事项:
- 数据库模式为Oracle时,数据源连接格式为jdbc:oceanbase://ServerIP:Port/Database;
- 数据库模式为MySQL时,数据源连接格式为jdbc:mysql://ServerIP:Port/Database。
- 功能使用详细步骤:功能入口
2.新增OpenAPI接口,用于查询平台内用户名下的资源数量
- 功能介绍:
- 详见OpenAPI说明文档。
功能优化
1.数据源唯一性校验的报错文案优化
- 功能介绍:
- 项目组下存在唯一性校验不通过的数据源时,报错提示文案优化为“项目组下已存在相同数据源(数据源名称:xxx,数据源负责人:yyy,归属项目:zzz),不可重复登记!”
版本:v1.3.9
新增功能
1.【数据源管理】数据源登记新增数据源类型:GaussDB
- 功能介绍:
- 数据源登记新增数据源类型:GaussDB,仅支持GaussDB for PostgreSQL,版本为:8.1
- 功能使用详细步骤:功能入口
功能优化
1.【数据源管理】Doris数据源新增版本:1.2
- 功能介绍:
- Doris数据源新增版本:1.2
2.【数据源管理】数据源查看态视觉优化
版本:v1.3.8
新增功能
1.【平台整体】产品名称和产品logo升级
- 功能介绍:
- 导航栏:原“数据开发及管理”logo更改为“EasyData”logo。
- 通知模板管理:邮件主题前缀和文本主题前缀的默认值由【数据开发及管理】改为【EasyData】,平台logo的默认值修改如图。备注说明:如客户环境已修改邮件主题前缀、文本主题前缀或平台logo,此次默认值修改不影响客户环境已有值。
- 控制台-标签页:logo修改如图。备注说明:如客户环境已通过EasyOps修改标签页logo,此次修改不影响客户环境已有值。
- 导航栏:原“数据开发及管理”logo更改为“EasyData”logo。
功能优化
1.【数据源管理】MongoDB新增版本:3.0、6.0
- 功能介绍:
- MongoDB新增版本:3.0、6.0,支持standalone模式
2.【数据源管理】Redis新增版本:3.0(集群部署模式:single)、3.2(集群部署模式:single)
- 功能介绍:
- Redis新增版本:3.0(集群部署模式:single)、3.2(集群部署模式:single),版本为5.0且集群部署模式:single时新增支持测试连接功能
3.【数据源管理】TDSQL新增版本:10.3.14(MySQL 8.0)
- 功能介绍:
- TDSQL新增版本:10.3.14(MySQL 8.0),历史版本“10.3.14”改为“10.3.14(MySQL 5.7)”
- 功能使用注意事项:
- 版本为10.3.14(MySQL 5.7),数据源连接格式为:jdbc:mysql://ServerIP:Port/Database;版本为10.3.14(MySQL 8.0),数据源连接格式为:jdbc:tdsql-mysql://ServerIP:port/database。
4.【数据源管理】编辑数据源时,如数据源已被引用,支持填写修改备注,并在展示安全中心-审计日志-编辑数据源中展示修改备注
- 功能介绍:
- 修改数据源时,如数据源已被引用,会进行保存的二次确认,并支持填写修改备注,备注此处修改内容。
- 填写修改备注后,安全中心-操作审计-数据源编辑的事件详情中,扩展信息支持展示修改备注信息。
版本:v1.3.7
新增功能
1.【数据源管理】数据源登记新增类型:TelePG
- 功能介绍:
- 支持TelePG数据源类型,支持版本为:42.2.9
- 功能使用详细步骤:功能入口
功能优化
1.【数据源管理】Hive新增版本:2.1.x-CDH6.3.x
- 功能介绍:
- 数据源登记支持基于HiveMetaStoreDB连接数据,认证方式支持用户名密码认证(LDAP)
2.【数据源管理】HBase新增版本:2.1
- 功能介绍:
- HBase新增版本2.1
版本:v1.3.5
新增功能
1.【数据源管理】数据源支持定期测试连接
- 功能介绍:
- 在项目组配置模块,支持由项目组负责人或项目组管理员在项目组配置-数据源管理-定期测试连接默认配置:新增数据源测试连接策略和定期自动测试连接默认配置。
新增数据源测试连接策略:指项目组后续新增数据源时,测试连接策略默认为仅手动测试连接还是定期自动测试连接,不针对历史已登记的数据源生效。
定期自动测试连接默认配置:针对单个数据源设置定期测试连接的测试连接配置和批量设置测试连接策略的测试连接配置的默认值均从此取值。
- 支持针对单个数据源或数据源批量设置测试连接策略。
- 在项目组配置模块,支持由项目组负责人或项目组管理员在项目组配置-数据源管理-定期测试连接默认配置:新增数据源测试连接策略和定期自动测试连接默认配置。
功能优化
1.【数据源管理】新增数据源类型:TDSQL、Vastbase G100、DM、StarRocks支持源系统账号鉴权
2.【数据源管理】Kudu新增版本:1.16.x
- 功能使用注意事项:已登记的数据源版本置为空,会路由至默认驱动,不影响数据源使用。
3.【数据源管理】数据源登记-传值单选类型的自定义项的更新频率支持小时级
4.【数据源管理】数据源引用详情支持展示子产品在项目组下所有项目的引用详情
版本:v1.3.4
功能优化
1.【数据源管理】API数据源支持测试连接
- 功能介绍:
- API数据源支持测试连接
- 功能使用注意事项:
- API数据源登记时,基于API请求详情的首个自定义参数测试数据源连通性。
- API数据源登记时,基于API请求详情的首个自定义参数测试数据源连通性。
2.【数据源管理】传值单选字段支持搜索
- 功能介绍:
- 项目组配置-数据源登记模板配置中,字段类型为传值单选时,支持配置【是否作为搜索项】。
- 项目组配置-数据源登记模板配置中,字段类型为传值单选时,支持配置【是否作为搜索项】。
3.【数据源管理】系统内置项增加业务系统字段
- 功能介绍:
- 项目组配置-数据源登记模板配置中,系统内置项增加“业务系统”字段。默认作为选填项,作用范围为物理数据源,支持在列表中展示,支持作为搜索项。
- 功能使用注意事项:
- 可根据业务需要修改【值域】、【是否必填】、【作用范围】、【是否启用】。
- 如无需登记数据源的业务系统,可配置禁用此字段,禁用后数据源登记时不再展示业务系统字段。
- 支持由项目组负责人/项目组管理员配置业务系统值域,值域将作为数据源登记时业务系统的下拉选项范围。
4.数据库中的手机号字段加密存储
- 功能介绍:
- 出于安全考虑,数据库中的手机号字段加密存储,不影响平台的手机号展示和报警等服务使用。
版本:v1.3.3
功能优化
1.【调度日历】支持添加自定义日历,自定义日历为项目粒度,在项目间隔离。
版本:v1.3.2
新增功能
1.【数据源管理】支持登记TDSQL数据源,用于数据传输读写。
功能优化
1.【数据源管理】批量登记数据源和批量修改数据源时,数据源密码实现加密存储
- 功能介绍:
- 批量登记数据源和批量修改数据源时,数据源密码实现加密存储,保证数据安全。
- 功能使用注意事项:
- 批量修改数据源时,导出需修改的数据源时,Excel中密码列值为空。如无需修改数据源密码,上传文件时密码列值保持空即可;如需修改数据源密码,则上传文件时请在Excel文件中的密码列中修改密码。
2.DM新增版本号字段,可支持选取7或8版本。
3.数据源类型筛选的视觉优化。
4.数据源登记完成后,增加元数据采集相关引导提示
- 功能介绍:
- 新建MySQL、Oracle、Vertica、SQLServer、Greenplum、Kudu、HBase数据源时,保存数据源后,若用户有元数据采集权限则引导其可前往创建元数据采集任务,若用户没有元数据采集权限则不弹框提示。
- 数据源类型页增加元数据采集的操作按钮,点击则新开页面前往数据资产地图的元数据采集模块。
4.Hive版本为1.1.0-CDH5.14.0时传输协议选项新增Hive JDBC,用于数据传输读写。
5.用户手册跳转链接配置修改。