健康诊断
健康诊断从项目组、项目和当前用户视角,展示资产健康分、健康分历史趋势、待治理负责人排行榜以及健康分待治理项等内容。
项目组总览
资产健康分
展示项目组的资产健康分,总分100,由计算(35%)、存储(40%)、价值(5%)、规范(5%)、质量(5%)和安全(10%)健康分折算后构成,支持一键检测功能。项目组治理概览给出具体的治理情况以及评分等级,评分等级根据健康分可分为如下几种:
- 健康分处于0~60分为不及格,请尽快处理待治理项!
- 健康分处于60~75分为待提升,有较大优化空间,请继续努力!
- 健康分处于75~85分为良好,仍有提升空间,请继续努力!
- 健康分处于85~100分为优秀,请持续努力,继续保持!
项目健康分
展示项目组中健康分最低的5个项目。
健康分历史趋势
展示项目组健康分的变化趋势,支持通过近7天、近30天以及30天范围内任意时间进行筛选,右侧饼状图展示各项目的健康分情况。
项目总览
资产健康分
展示当前项目的资产健康分。资产健康分总分100,由计算(35%)、存储(40%)、价值(5%)、规范(5%)、质量(5%)和安全(10%)健康分折算后构成。
项目治理概览
项目组治理概览给出具体的治理情况以及评分等级,评分等级根据健康分可分为如下几种:
- 健康分处于0~60分为不及格,请尽快处理待治理项!
- 健康分处于60~75分为待提升,有较大优化空间,请继续努力!
- 健康分处于75~85分为良好,仍有提升空间,请继续努力!
- 健康分处于85~100分为优秀,请持续努力,继续保持!
健康分排行榜展现当前项目下所有成员健康分得分,支持排序功能。
健康分历史趋势
点击健康分历史趋势按钮展示当前项目健康分的变化趋势,支持通过近7天、近30天以及30天范围内任意时间进行筛选。
健康分待治理项
此处将会展示计算、存储、价值以及规范四个角度下,任务扣分的详细情况,列举待治理项,点击查看详情展示待治理项的使用情况,支持根据csv或txt格式进行单个或批量任务导出。
计算
存储
价值
规范
质量
安全
说明:对于自助分析任务,同一个Query实例聚合展示。 |
待治理负责人排行榜
以计算、存储、价值、规范、质量和安全6个维度展示当前项目下待治理负责人的累计扣分等情况。
计算
任务总数项的数字对应健康分待治理项中的计算页签,点击具体的数字,在健康分待治理项的计算页签会根据任务负责人进行筛选。存储
同计算页签一样,存储页签也对应健康分待治理项中的存储页签。
价值
同计算页签一样,价值页签也对应健康分待治理项中的价值页签。
规范
同计算页签一样,规范页签也对应健康分待治理项中的规范页签。
质量
同计算页签一样,质量页签也对应健康分待治理项中的质量页签。
安全
同计算页签一样,安全页签也对应健康分待治理项中的安全页签。
个人总览
个人资产健康分
个人总览页面展示个人的资产健康分。
待我治理tab下展示从整体、存储、计算、价值、规范、质量和安全方面当前用户的得分情况,支持点击数字可进入"治理工作台"快速定位。
我已治理(仅统计通过360平台加入白名单、表下线、设置生命周期等操作处理的治理项数量)tab下展示通过平台进行数据治理的内容。
健康分历史趋势
点击健康分历史趋势按钮展示当前用户健康分的变化趋势,支持通过近7天、近30天以及30天范围内任意时间进行筛选。
我的治理工作台
此处将会展示计算、存储、价值以及规范等多个角度下,当前用户为负责人的任务扣分的详细情况,列举待治理项,点击查看详情展示待治理项的使用情况,支持根据csv或txt格式进行单个或批量任务导出。
计算
存储
价值
规范
质量
安全
健康分规则说明
此处将根据计算、存储、价值、规范四个维度进行健康分的规则说明,其中计算健康分规则分为调度任务和自助分析。
计算健康分 - 调度任务
序号 | 规则 | 说明 | 权重 | 扣分原则 |
---|---|---|---|---|
1 | 超长任务 | 任务实例的运行时长大于10小时 | 30分 | 运行时长超过10h小时的任务实例数量大于1且比例小于等于1%,扣2分,达到2%,扣4分,达到30%即扣完 |
2 | 无效计算 | 产出的表为当前项目中推荐下线表 | 10分 | 任务产出的表为推荐下线表,此类任务的数量大于1且比例小于等于2%,扣2分,达到4%,扣4分,达到20%即扣完 |
3 | 异常计算1 | 近30天任务无产出表 | 10分 | 近30天,任务无数据表产出,此类任务的数量大于1且比例小于等于2%,扣2分,达到4%,扣4分,达到20%即扣完 |
4 | 异常计算2 | 近7天任务持续出错,且没有配置报警 | 10分 | 近7天,任务持续出错,且有配置报警,任务数量大于1且比例小于等于2%,扣2分,达到4%,扣4分,达到20%即扣完 |
5 | 异常计算3 | 近7天任务持续出错,且没有配置报警 | 20分 | 近7天持续出错且没有配置告警的任务数量大于1且比例小于等于1%,扣2分,达到2%,扣4分,达到20%即扣完 |
6 | 异常计算4 | 近7天任务实例出错率达50% | 20分 | 近7天任务实例出错率达50%数量大于1且比例小于等于1%,扣2分,达到2%,扣4分,达到20%即扣完 |
计算健康分 - 自助分析
序号 | 规则 | 说明 | 权重 | 扣分原则 |
---|---|---|---|---|
1 | 超长Adhoc查询 | 最新统计日期下,单次执行耗时超过10分钟的Adhoc查询任务实例 | 40分 | 单次执行耗时超过10分钟的Adhoc查询任务实例数量大于1且比例小于等于1%,扣2分,达2%,扣4分,达到40%即扣完 |
2 | 单次Adhoc查询费用高 | 最新统计日期下,单次Adhoc查询费用超过1元的任务实例,即单次消耗CPU和内存较多 | 30分 | 单次Adhoc查询费用超过1元的任务实例大于1且比例小于等于1%,扣2分,达2%,扣4分,达到30%即扣完 |
3 | Adhoc异常计算 | 最新统计日期下,存在Adhoc查询失败的实例 | 30分 | 最新统计日期下,Adhoc查询失败的实例数量大于1且比例小于等于1%,扣2分,达2%,扣4分,达到30%即扣完 |
存储健康分
序号 | 规则 | 说明 | 权重 | 扣分原则 |
---|---|---|---|---|
1 | 空表 | 表为空表,不占用存储空间,存储量为0,但没有被删除 | 10分 | 存在空表,数量大于1且比例小于等于2%,扣2分,达到4%,扣4分,达到20%即扣完 |
2 | 推荐下线表 | 项目:存在推荐下线表未处理 | 30分 | 项目存在推荐下线表,数量大于1且比例小于等于3%,扣2分,达到10%,扣4分,达到90%即扣完 |
个人:存在推荐下线表未处理 | 35分 | 个人存在推荐下线表,数量大于1且比例小于等于2%,扣2分,达到10%,扣4分,达到70%即扣完 | ||
3 | 表存储格式为txt | 表未压缩,建议parquet/orc,非txt | 20分 | Hive表存储格式为txt,数量大于1且比例小于等于5%,扣2分,达到10%,扣4分,达到100%即扣完 |
4 | 未设置生命周期 | 表未设置生命周期,同时提供入口,可以选择将表加入"永久保存"的白名单 | 20分 | 未设置生命周期的表数量大于1且比例小于等于10%,扣2分,达到20%,扣4分,达到100%即扣完 |
5 | 表未分区 | 表规范化都是需要设置分区的,创建表时需设置分区 | 5分 | 存在表为非分区表,数量大于1且比例小于等于5%,扣2分,达到10%,扣4分,达到25%即扣完 |
6 | 未管理表 | 表没有负责人,负责人为"--"或项目名称,仅项目健康分有此指标 | 5分 | 存在表负责人为空或项目,数量大于1且比例小于等于5%,扣2分,达到10%,扣4分,达到25%即扣完 |
7 | 分区数量大3W的表 | 表的分区数量大于3W | 10分 | 存在分区数量大于3W的表,表数量大于1且比例小于等于10%,扣1分,达20%,扣2分,达到100%即扣完 |
价值健康分
序号 | 规则 | 说明 | 权重 | 扣分原则 |
---|---|---|---|---|
1 | 闲置API | 数据服务中存在待下线API,发布成功但从未被调用 | 15分 | API数量大于1且比例小于等于5%,扣5分,达到10%,扣10分,达到15%即扣完 |
2 | 异常API | 数据服务,近30天内存在调用异常的API,包括超时等原因造成的调用失败 | 15分 | API数量大于1且比例小于等于5%,扣5分,达到10%,扣10分,达到15%即扣完 |
3 | 闲置指标 | 指标系统中存在创建成功,但在近30天内,未被其他指标引用,也未在其他产品中应用的指标 | 10分 | 指标数量大于1且比例小于等于10%,扣5分,达到20%即扣完 |
4 | 闲置报告 | 有数BI中存在日PV和UV均为0 ,且最近修改时间在30天之前的报告 | 60分 | 报告数量大于1且比例小于等于5%,扣5分,达到10%,扣10分,达到100%即扣完 |
规范健康分
序号 | 规则 | 说明 | 权重 | 扣分原则 |
---|---|---|---|---|
1 | 模型跨ODS层依赖 | ODS层的表,一级下游表中含有除DWD和DIM之外的其他层的表 | 40分 | 表数量大于1且比例小于等于2%,扣5分,达到4%,扣10分,达到16%即扣完 |
2 | 不规范的模型分层引用 | 针对模型设计中心的系统分层,一级下游表中: 1. DWD层表依赖了非ODS层的表; 2. DWS层表依赖了非DWD和DIM层的表; 3. ADS层表依赖了非DWS层的表 |
60分 | 表数量大于1且比例小于等于2%,扣5分,达到4%,扣10分,达到24%即扣完 |
质量健康分
序号 | 规则 | 说明 | 权重 | 扣分原则 |
---|---|---|---|---|
1 | 近7天表质量分均低于80 | 数据质量中心,存在近7天表质量分持续低于80分的表 | 60分 | 表数量大于1且比例小于等于10%,扣10分,达到20%,扣20分,达到60%,扣完 |
2 | 近7天监控任务实例存在异常或失败 | 数据质量中心,近7天存在监控任务实例出现异常或失败的情况 | 40分 | 监控实例数量大于1且比例小于等于10%,扣10分,达到20%,扣20分,达到40%,扣完 |
安全健康分
序号 | 规则 | 说明 | 权重 | 扣分原则 |
---|---|---|---|---|
1 | 近60天存在表权限闲置 | 安全中心,存在近60天权限闲置的表 | 60分 | 表数量大于1且比例小于等于10%,扣10分,达到20%,扣20分,达到60%,扣完 |
2 | 近60天存在库权限闲置 | 安全中心,存在近60天权限闲置的库 | 40分 | 库数量大于1且比例小于等于5%,扣10分,达到10%,扣20分,达到50%,扣完 |
治理项优化建议
针对计算、存储、价值、规范、质量及安全分别给出优化建议。
计算优化建议
序号 | 规则 | 治理依据 | 优化建议 |
---|---|---|---|
1 | 超长任务 | 任务实例的运行时长大于10小时,对下游依赖、系统资源等均会产生影响,需关注并优化 | 相关负责人需定位任务实例查看具体原因,若因数据量等而导致超长执行,建议加入白名单,不再作为健康分扫描项 |
2 | 产出表为推荐下线表 | 推荐下线表即在扫描周期内文件open次数(仅读取,不含写入)、访问次数和日均表引用数均为0,若任务产出的表为当前项目中推荐下线表,建议优化 | 核对任务是否还有保留的必要,若没有,可考虑将任务进行下线处理 |
3 | 近30天无产出表 | 近30天内,任务无产出表 | 此处的规则仅针对任务是否有产出表,若任务虽未产出表,但存在被下游依赖等情况,建议加入白名单,不再作为健康分扫描项 |
4 | 近7天持续出错且配置报警 | 任务持续出错且有发送报警,但7天内仍未被处理,有可能存在负责人离职等情况,需关注并治理 | 若任务负责人存在离职等情况,可由管理员直接处理或在"任务运维中心-任务列表“转交任务,重新指定任务负责人进行治理 |
5 | 近7天持续出错且未配置报警 | 近7天内,任务持续出错且没有配置报警,可能会影响下游依赖或带来严重的业务影响等问题,需关注 | 相关负责人对任务配置出错或延时报警规则 |
6 | 近7天实例出错率达50% | 近7天内,任务实例出错率达50%,若长期运行会造成大量资源的浪费,且有可能影响下游数据产出和使用,需特别关注 | 查看失败任务实例报错日志,相关负责人定位原因并修复,如有需要可进行重跑或补数据操作 |
7 | 超长Adhoc | 可能由于系统或SQL语法等原因,导致单次Adhoc查询执行耗时超过10分钟,需关注 | 需任务负责人关注,定位是否由系统故障引起,或查看SQL语句是否可优化 |
8 | 单次Adhoc费用高 | 单次Adhoc查询费用超过1元的任务 | 可对于执行时间短但费用较高的Adhoc查询重点关注,查看SQL语句是否可优化 |
9 | Adhoc异常计算 | 最新统计日期下,存在Adhoc查询失败的实例,造成计算资源的浪费,若SQL中有建表语句,也会占据部分存储资源 | 可查看错误Adhoc的日志,定位原因,吸取经验,减少资源浪费的情况 |
存储优化建议
序号 | 规则 | 治理依据 | 优化建议 |
---|---|---|---|
1 | 空表 | 表的物理存储大小为0,建议清理,防止表数量的膨胀 | 表负责人可核对表是否还有保留的必要,若没有,建议对空表进行删除 |
2 | 推荐下线表 | 推荐下线表即在扫描周期内文件open次数(仅读取,不含写入)、访问次数和日均表引用数均为0,建议项目/个人对此类表进行治理,以节省存储空间 | 表负责人可在"数据治理360-存储分析-推荐下线表"列表中,对表二次确认后,执行下线操作,系统会自动对表元数据和目录文件进行处理 |
3 | 表存储格式为txt | 表未压缩,若txt格式的表数量众多,会占用较多存储空间,建议优化 | 表负责人可将txt转化为parquet/orc存储,后续在建表时需规范化指定存储格式 |
4 | 未设置生命周期 | 未设置生命周期的表,数据会一直保留,数据量逐渐膨胀,带来存储上的浪费 | 表负责人可在"数据治理360-存储分析-生命周期管理"列表中,对表设置生命周期,若表是需要永久保存的,建议加入"永久保存白名单",不再作为健康分扫描项 |
5 | 表未分区 | 分区表有利于提高数据查询效率,建议大数据量表进行分区设置 | 表负责人可将大数据量的非分区表转换为分区表,后续在建表时需规范化指定分区方式 |
6 | 未管理表 | 项目视角下,表没有具体的负责人,负责人为"--"或项目名称,导致表无专人治理,占据存储空间 | 项目管理员可在"数据治理360-存储分析-Hive表详情"中,针对负责人为"--"或项目名称的表进行"修改表负责人"操作,指定专人对此种表进行治理 |
7 | 分区数量大3W的表 | 表的分区数量大于3W,有可能存在小文件或不规范命名的问题,带来存储的浪费 | 表负责人可定位具体原因,设置表分区生命周期或定期清除策略,在表分区命名上规范化定义 |
价值优化建议
序号 | 规则 | 治理依据 | 优化建议 |
---|---|---|---|
1 | 闲置API | 数据服务中存在待下线API,发布成功但从未被调用,建议关注 | API创建者或对API有管理权限的用户,可至"数据服务"产品中查看闲置API详情,核对API是否还有保留的必要,若没有,可考虑将API下线删除 |
2 | 异常API | 数据服务,近30天内存在调用异常的API,包括超时等原因造成的调用失败,需要治理 | API创建者或对API有管理权限的用户,可至"数据服务"产品中查看异常API详情,定位调用异常的具体原因,以免影响业务方使用 |
3 | 闲置指标 | 指标系统中存在创建成功,但在近30天内,未被其他指标引用,也未在其他产品中应用的指标,建议关注 | 指标创建者或对指标有管理权限的用户,可至"指标系统"产品中查看指标详情,核对指标是否还有保留的必要,若没有,可考虑将指标删除 |
4 | 闲置报告 | 有数BI中存在日PV和UV均为0 ,且最近修改时间在30天之前的报告,建议治理 | 报告创建人或对报告有管理权限的用户,可至"价值分析--数据报表分析"模块中查看报告关联数据表,确认关联表是否可下线处理,还可至有数BI中定位报告,核对报告是否可删除,对表和报告均做治理 |
规范优化建议
序号 | 规则 | 治理依据 | 优化建议 |
---|---|---|---|
1 | 模型跨ODS层依赖 | ODS层的表,一级下游表中含有除DWD和DIM之外的其他层的表,建议治理 | 跨ODS层依赖的下游表的负责人,可至"模型设计中心"产品中查看表设计,还可至"数据地图"中定位表,根据血缘关系重新调整表依赖,建设规范的数据仓库 |
2 | 不规范的模型分层引用 | 针对模型设计中心的系统分层,一级下游表中: 1.DWD层表依赖了非ODS层的表; 2. DWS层表依赖了非DWD和DIM层的表; 3. ADS层表依赖了非DWS层的表。 建议优化 |
不规范分层引用中,上游表负责人可至"模型设计中心"产品中查看表设计,还可至"数据地图"定位表,根据表血缘调整表依赖,建设规范的数据仓库 |
质量优化建议
序号 | 规则 | 治理依据 | 优化建议 |
---|---|---|---|
1 | 近7天表质量分均低于80 | 数据质量中心,表质量分近7天持续偏低,影响项目整体表质量平均分,建议治理 | 表负责人可至"数据质量中心",查看表所关联的监控任务,检查配置监控规则的合理性,有必要的话,调整规则定义,提高表质量分 |
2 | 近7天监控任务实例存在异常或失败 | 数据质量中心存在配置的监控任务,实例运行异常或失败的情况,需要优化 | 监控任务负责人在数据质量中心,可查看任务详情,根据实例日志定位失败或异常的原因,调整监控规则,提高监控任务成功率 |
安全优化建议
序号 | 规则 | 治理依据 | 优化建议 |
---|---|---|---|
1 | 近60天存在表权限闲置 | 表权限长期闲置,造成权限浪费,增加管理成本,建议治理 | 表闲置权限的拥有者可以在安全中心查看具体的表权限,由管理员进行回收或权限释放,若仍需要使用表权限,建议加入白名单,不再作为健康分扫描项 |
2 | 近60天存在库权限闲置 | 近60天库权限存在闲置,增加库权限管理成本,建议优化 | 库闲置权限的拥有者可以在安全中心查看具体的库权限,由管理员进行回收或权限释放,若仍需要库权限,建议加入白名单,不再作为健康分扫描项 |
需要注意的是: 1. 若没有有数BI、数据服务API和指标系统产品,健康分去掉价值健康分; 2. 若没有模型设计中心,健康诊断中去掉规范健康分; 3. 关于分数计算,若没有有数BI、数据服务API和指标系统,默认价值和规范不扣分。 |