运行设置
更新时间: 2024-12-04 15:34:52
离线开发配置的基础配置,目前主要包括内容:SQL节点默认设置、离线开发提交控制、离线开发任务命名规范、python节点默认设置。
SQL节点默认设置
该部分主要用于控制离线开发中,在任务中新加入的SQL节点,默认采用什么执行引擎以及针对不同引擎的下的默认配置。
对于Spark引擎,支持默认运行方式、运行参数的设置,包括Driver内存、最大Executor数目以及Executor内存。
对于Hive引擎,支持默认运行方式设置。
离线开发队列控制
该部分主要用于控制离线开发中,离线同步任务使用的队列。开启后,开发模式执行、线上调度、重跑、补数据执行时将使用该队列执行。此处的选项为适用场景包含离线同步的队列。
离线开发任务命名规范
该部分主要用于控制离线开发中,新建的任务需要遵循前缀和后缀命名规范,支持通过圈定不同的文件夹设置不同的规范约束。
python节点默认设置
针对已安装python环境的项目-集群下,可设置python节点的默认环境。在离线开发中使用python节点时会自动使用此处配置的版本。