离线开发配置基础配置,目前主要包括内容:SQL节点默认设置、离线开发提交控制、离线开发任务命名规范、python节点默认设置。

SQL节点默认设置


该部分主要用于控制离线开发中,在任务中新加入的SQL节点,默认采用什么执行引擎以及针对不同引擎的下的默认配置。

  • 对于Spark引擎,支持默认运行方式、运行参数的设置,包括Driver内存、最大Executor数目以及Executor内存。

  • 对于Hive引擎,支持默认运行方式设置。

离线开发队列控制


该部分主要用于控制离线开发中,离线同步任务使用的队列。开启后,开发模式执行、线上调度、重跑、补数据执行时将使用该队列执行。此处的选项为适用场景包含离线同步的队列。

离线开发任务命名规范


该部分主要用于控制离线开发中,新建的任务需要遵循前缀和后缀命名规范,支持通过圈定不同的文件夹设置不同的规范约束。

python节点默认设置


针对已安装python环境的项目-集群下,可设置python节点的默认环境。在离线开发中使用python节点时会自动使用此处配置的版本。