运行测试
更新时间: 2024-12-04 15:42:57
SQL类节点节点内运行
完成任务编辑和质量监控配置后,可进行任务运行测试。对于SQL类节点,可以直接在画布中点击顶部“运行”。
如果需要配置节点的参数,也可以点击“运行设置”,在弹框中完成参数设置后运行。此处设置的参数仅对本次运行生效。
如果测试运行结束,结果符合预期,节点参数配置也符合预期,则可以将点击“运行设置”将运行的参数生效到“其他设置”中。其他设置是当前节点在线上调度时,会使用的节点配置。
用户也可以在SQL类节点右侧,点击“其他设置”,直接在弹框中配置。
节点直接运行
对于所有节点,都支持节点右键,或者勾选后,在顶部点击“运行”,来进行直接运行整个节点。
如果点击顶部“运行”,则会出现运行设置弹框,在弹框中可进行相关配置。
参数信息 | 说明 |
---|---|
测试模式 | 测试模式(又叫数据沙箱)是本平台的高级功能,需要额外部署对应的集群以及在项目中心申请开通。开启时,支持按照沙箱模式来控制SQL、Spark、Script等使用Hive、Spark去执行sql或操作相对hdfs路径的节点。具体可查看手册中关于数据沙箱部分的介绍。如果没有开启时,默认不显示该项。 |
执行参照时间 | 1. 离线开发任务支持配置执行参照时间,通过设置该时间,可改变azkaban的时间参数,从而实现在开发模式操作指定业务日期的功能。比如,今天是2024年1月3日,对应的${azkaban.flow.1.days.ago}=2024-01-02,那么通过指定“执行参照时间”为“2024-01-02 10:00”,则可以实现让azkaban参数${azkaban.flow.1.days.ago}=2024-01-01,以及其它参数对应调整的功能。 2. 此外,针对部分客户存在多个集群,且集群时区和平台服务时区不一致的场景,离线开发支持在两个时间不一致时,展示UTC时间,如图所示。 |
质量监控 | 1. 测试模式为关下,可配置“执行线上态”(默认选中)、“执行开发态”、“不支持”。 2. 测试模式为开,则仅能选择“不执行”。 |
资源组引用 | 1. 支持在开发模式下选择引用开发资源组或线上资源组。 2. 默认选中引用线上资源组,线上资源组任务相对稳定,非调试资源组场景,一般选择线上资源组。 |
队列 | 执行任务的yarn队列,需要由项目管理员授权给执行者。 |
完成通知 | 支持选择需要进行通知的场景,目前包括运行成功或者运行失败。 |
通知方式 | 支持多种通知方式,不同客户环境支持的通知方式不同,可由平台运维人员配置。 |
高优先级 | 开启高优先级,任务在执行中会抢占更多资源。 |
节点自动重试 | 支持开启自动重试并设置重试间隔和次数。 |
失败设置 | 任务失败后的处理策略: 1. 继续完成其他分支节点:忽略失败节点,继续完成不依赖失败节点的节点; 2. 停止所有节点:立即停止所有执行的节点,包括正在执行的节点; 3. 仅完成执行中的节点,继续完成正在执行的节点,结束后不再启动新节点。 |
并发设置 | 1. 如果有相同的任务执行是,选择忽略本次操作会忽略本次执行; 2. 选择并行执行,则会和执行中的作业并行执行。 |
自定义参数 | 任务支持引用参数组,运行时也可设置参数。 |
说明:参数可能存在重复设置的问题,其优先级为:节点内单独设置的参数优先级最高,此处配置的参数次之,任务内引用参数组的最低。 |