任务诊断
更新时间: 2024-12-04 15:44:20
任务诊断模块当前支持展示异常任务列表和异常实例列表,同时也支持将任务加入诊断白名单:
- 异常任务列表中,展示对调度依赖诊断、Spark性能诊断两个纬度的诊断异常任务结果
- 异常实例列表中,展示未按时就绪、就绪超时、阻塞下游三类异常实例列表
调度依赖诊断
调度依赖诊断支持诊断SQL节点是否存在多余依赖和缺少依赖的情况。对于多余依赖和缺少依赖的判断依据如下:
调度依赖诊断规则说明
- 调度依赖诊断仅针对SQL节点,若SQL节点的输入表与上游依赖节点的输出表不一致,则认为存在多余依赖;
- 若节点的输入表对应的产出任务非本节点的依赖上游,则认为缺少对应依赖。
- 节点的输入表与输出表支持在任务内传递,即同一任务内的上游节点的输出表会视作下游节点的输出表,下游节点的输入表会作为上游节点的输入表。
- 需注意,任务之间的依赖关系不支持传递,建议用户按照实际依赖情况添加依赖关系,便于直观地查看和管理血缘。
注意: 当前仅支持判断“SQL”节点的上游依赖情况,推荐数据来源于任务的运行实例,因此请确保上游表的产出任务至少在线上调度运行过一次。
点击“查看完整输入输出”,可以查看多余依赖的上下游节点的实际输入输出表信息:
Spark性能诊断
Spark性能诊断支持诊断Spark节点、Hive-Spark节点的Spark执行性能,目前已支持的诊断内容包括Task长尾、数据膨胀等14种异常情况:
在任务详情页面,点击诊断结果标签,可查看具体指标以及相关建议:
注意: 当前仅支持部署了高级版本easyeagle的客户才可使用“Spark性能诊断”功能。
诊断白名单
针对一些特殊业务场景下确实不需添加依赖的任务,任务运维中心也支持将任务加入白名单,加入白名单后的任务将不再出现在异常任务列表中。加入白名单的入口有两处,分别是任务诊断的任务列表中,以及任务详情页的任务诊断标签页中。
注意: 加入诊断白名单需由项目管理员或负责人审批;申请审批通过后,将不再进行诊断,若需要修改白名单诊断内容或将任务从白名单中删除,需联系管理员前往任务诊断-白名单管理中操作。