更新合辑（2023年）

版本：v7.2.0

1.自助分析支持并发执行SQL

• 功能介绍：
  • 自助分析支持并发执行多个SQL语句，并将停止运行的按钮移动至运行结果处，且运行结果中支持查看每次执行的运行设置。
• 功能使用步骤：
  • 自助分析同一个query中，点击运行按钮，成功提交任务后，支持同时运行其他SQL语句
  • 任务被提交后，在运行结果的tab页中增加停止的状态，点击后可将对应的SQL语句暂停
  • 停止运行的快捷键由原先的 Ctrl+F11（Cmd+F11）调整为 Ctrl+F10（Cmd+F10），使用停止快捷键时，将把运行结果中选中态正在执行的SQL语句停止
• 功能使用注意事项：
  • 最多支持并行执行的SQL语句支持配置，默认为10，当正在执行的SQL语句超过该值时，运行按钮和高级运行按钮禁止点击
  • 当最多展示的tab数小于最大并行数时运行按钮禁止点击
  • 正在执行的运行结果不支持关闭

2.资源组支持S3和OSS

• 功能介绍：
  • 原来的存储在HDFS上调整为支持存储在S3上，对于S3的文件夹，无法显示文件大小、文件总数和最后修改时间；且无法对S3的文件和文件夹进行重命名。对于数据管理的个人文件和项目文件、公共资源中的资源组、作业资源支持对接OSS。
• 功能使用注意事项：
  • 该操作需要联系运维开启，未开启时默认还是存储在HDFS上。

3.新增GaussDB节点

• 功能介绍：
  • 支持在离线开发中新增GaussDB节点，对GaussDB数据源进行SQL代码开发。
• 功能使用注意事项：
  • GaussDB节点为外部数据源节点，默认不在画布显示，使用时需要有运维人员开启。

4.SQL节点支持AI代码智能提示

• 功能介绍：
  • 类似AirCoder, 在给定的上下文中，AI大模型会基于用户输入的SQL上下文信息，包括历史的行为数据和数据库表结构，自动完成SQL的生成。用户只需按下TAB键即可一键补全所需的SQL代码。
• 功能使用注意事项：
  • 该功能暂未商业化，仅支持内部试用。

1.报警组支持配置手机号

• 功能介绍：
  • 报警组中支持登记手机号和邮箱，直接给手机号和邮箱发送报警信息。
• 功能使用步骤：
  • 项目中心，新建报警组时，支持选择平台外成员
  • 支持输入平台外成员的用户账号、手机号和邮箱
• 功能使用注意事项：
  • 平台外成员只能通过手机或邮箱接收报警。如果报警组中未登记项目外成员的手机号或邮箱，则相应的手机或邮箱报警不会被发送。

2.禁用项目时支持检测其他子产品的任务

• 功能介绍：
  • 禁用项目前支持检测实时计算、数据传输、数据质量中心的任务。只有不存在调度任务或自动启停的任务，才能禁用项目。
• 功能使用步骤：
  • 在平台管理中，平台管理员可以对项目进行禁用，禁用前将检测以下类型的任务：
    • 离线开发：检测是否存在状态为已调度的任务。
    • 实时计算：检测是否存在线上任务和自动启停的任务。
      • 线上任务：状态为运行中、启动中、停止中、停止等待中、未知、运行失败状态的实时计算任务。
      • 开启自动启停的任务：开启了自动启停功能的任务。
    • 数据传输：检测是否存在状态为运行中、启动中、停止中、未知状态的实时同步任务。
    • 数据质量中心：检测是否存在状态为独立调度的任务。

3.注册hive库、申请修改hdfs配额、申请负责人变更的工单迁移到新流协

• 功能介绍：
  • 注册hive库、申请修改hdfs配额、申请负责人变更的工单已迁移到新流程协作中心。

4.自助分析的query支持查看文件路径

• 功能介绍：
  • 自助分析的queryhover时支持查看文件路径。

5.离线开发任务上传到git的文件夹改为任务展示名在前uuid标识在后

• 功能介绍：
  • 离线开发任务上传到git的文件夹改为任务展示名在前uuid标识在后，增加可读性。

6.加入项目时根据是否选择项目组角色判断审批人

• 功能介绍：
  • 申请加入项目时，如果没有选择项目组角色，则审批人为项目负责人、项目管理员；如果选择了项目组角色，则一级审批人是项目负责人、项目管理员，二级审批人是项目组负责人、项目组管理员。

7.项目中心的操作审计剩余事件跟踪迁移至安全中心

• 功能介绍：
  • 项目中心中的操作审计已迁移至安全中心，并增加部分操作审计。

8.自助分析的非hive表，自助分析执行血缘支持生成产出信息

• 功能介绍：
  • 自助分析的非hive表，支持推送血缘。

9.离线开发的script节点编辑脚本页面优化

• 功能介绍：
  • 离线开发的script节点编辑脚本弹窗放大，并增加hover提示。

版本：v7.1.8

1.新增Python节点

• 功能介绍：
  • 支持在离线开发中添加python节点，在线编辑、运行python代码并查看日志与输出结果。
• 功能使用步骤：
  • 需要联系运维提前安装python环境。

版本：v7.1.7

1.个人文件和项目文件支持S3存储

• 功能介绍：
  • 数据管理的个人文件和项目文件由原来的存储在HDFS上调整为支持存储在S3上，对于S3的文件夹，无法显示文件大小、文件总数和最后修改时间；且无法对S3的文件和文件夹进行重命名。
• 功能使用步骤：
  • 该操作需要联系运维开启，未开启时默认还是存储在HDFS上。

2.公共资源下的参数组支持设置可用项目

• 功能介绍：
  • 参数组由原来的项目组下面的所有项目共享调整为支持设置授权项目，只有被授权的项目才可以选择使用参数组。

• 功能使用步骤：

  • 功能入口：公共资源-参数组-新建或编辑
  • 支持在授权项目中选择项目组同集群的所有项目或指定项目，当选择项目组同集群的所有项目时，项目下离线开发任务、实时计算任务、数据传输任务、质量监控任务选择参数组的地方均可以选择到对应参数组；当选择指定项目时，只有授权的项目才可以选择对应参数组。该操作需要联系运维开启，未开启时默认还是存储在HDFS上。

• 功能使用注意事项：

  • 当任务引用参数组后，如果参数组的授权项目中回收了权限，则任务执行时将会失败。
  • 如接收方任务映射的参数组未授权给接收方项目，则“参数组引用”的强规则检测不通过，任务发布会失败。

3.任务支持设置智能跳过

• 功能介绍：
  • 离线开发任务支持设置智能跳过，支持设置当满足上游执行失败、下游到达下一执行时间的条件时，直接将实例跳过，不阻塞下一个批次的执行。

• 功能使用步骤：

  • 功能入口：离线开发-编辑调度
  • 步骤一：在任务自动重跑的字段下面新增“智能跳过”的开关，开关开启时，下方出现“跳过条件设置”
  • 步骤二：在跳过条件设置中，支持两种条件的设置，条件1：延迟时长：表示到达下次执行时间或超出计划执行时间多久之后实例仍未开始执行；条件2：任务依赖：表示当前任务的上游依赖执行失败，支持选择任一执行失败或全部执行失败，不包括节点依赖。如果两个条件均设置，对于添加了任务依赖的实例，只有同时满足才生效。对于未添加任务依赖的实例，只要延迟时长的条件满足时就生效。

• 功能使用注意事项：

  • 对于智能跳过的实例，将打上“智能跳过”的标记。智能跳过具有传递性，当前的实例跳过时，如果下游添加的是任务依赖节点，则下游的实例将跳过；如果下游添加的是节点依赖节点，则下游依赖的节点将跳过。
  • 当满足触发条件时，针对已生成的实例，直接返回成功，执行时长为0秒，实例将在任务运维展示，不会真实跑数据；针对未生成的实例，生成实例之后再将实例跳过，实例状态为成功，执行时长为0秒，实例将在任务运维展示，不会真实跑数据。

4.版本对比支持选择历史版本

• 功能介绍：
  • 离线开发的任务支持选择开发模式和线上其他版本进行对比，以及线上版本之间的对比。
• 功能使用步骤：
  • 入口1：离线开发-版本列表-版本对比
  • 入口2：离线开发-提交上线-版本对比 在版本对比页面中支持选择开发模式以及线上模式的版本，选择两个版本后将用右侧的版本作为被比对的版本，可查看左侧的版本基于右侧的版本新增、修改和删除的节点。
• 功能使用注意事项：
  • 目前最多支持选择线上模式下的最近10个版本进行对比。

5.离线开发选择节点优化

• 功能介绍：
  • 原先选择节点仅支持根据上游节点运行结果来指定下游执行分支，此次升级后，选择节点新增根据上游节点输出参数来指定下游执行分支。例如当上游输出参数为0时执行A分支，上游输出参数为1时执行B分支。
• 功能使用步骤：
  • 在离线开发双击选择节点后进入选择节点的编辑页面，选择逻辑可以选择是根据上游节点执行结果，还是上游节点输出参数，若选择上游节点输出参数，需要确保上游节点有指定输出参数。

1.线上模式支持添加到发布池

• 功能介绍：
  • 离线开发任务线上模式增加“添加到发布池”按钮，支持直接将任务添加到发布池。
• 功能使用步骤：
  • 入口：离线开发-线上模式-添加到发布池
  • 点击之后，可直接将任务添加到发布中心的发布池。
• 功能使用注意事项：
  • 如果当前“项目-集群”在“发布中心”的“发布策略”中没有有效的在线发布策略，则按钮不显示。如果用户没有任务发布中心的“资源列表-创建相关操作”权限，则“添加到发布池”按钮置灰不可点击。

2.自助分析共享query下无编辑权限时禁止复制SQL语句

• 功能介绍：
  • 自助分析共享query中如果没有编辑权限，则禁止在编辑器以及运行结果中复制SQL语句。
• 功能使用步骤：
  • 入口：自助分析-项目内共享文件夹
  • 如果安全中心未授予编辑的权限，则页面中增加以下限制：编辑器中禁止选中SQL语句、运行结果的SQL模块禁止选中SQL语句、运行历史的复制语句按钮置灰不可点击。

3.新建项目、申请开通新集群、申请开通测试集群的工单迁移至新流协

• 功能介绍：
  • 新建项目、申请开通新集群、申请开通测试集群的工单统一在新的流程协作中心进行审批，原先已申请的工单依然在老的流程协作中心进行审批。

4.平台URL上方的logo修改

• 功能介绍：
  • 平台URL上方的logo统一修改为easydata。

5.数据开发任务运维-任务列表支持一键清空已选任务

• 功能介绍：
  • 项目中心的功能权限中，添加任务时，支持对已选的任务一键清空。

6.队列被授权到其他项目时，资源管理页面队列个数及资源需要增加统计

• 功能介绍：
  • 项目中心的集群列表中统计队列和K8S资源池的个数和使用资源时，增加被授权的队列和K8S资源池的统计。

7.代码恢复按钮文案修改

• 功能介绍：
  • 代码恢复弹窗中将原来的“编辑器代码”改为“服务器代码”，原来的“自动保存代码”改为“本地缓存代码”。

8.离线开发数据质量监控节点增加文案提示

• 功能介绍：
  • 质量监控的set参数旁增加问号提示文案。

9.【离线开发&自助分析】无编辑权限的文案提示修改

• 功能介绍：
  • 对于离线开发，线上模式下查看SQL节点和其他外部数据源界节点时，提示语改为：“不支持修改！”；对于自助分析，项目内共享文件夹，没有编辑权限时，提示语改为：“无编辑权限！”。

10.离线开发SQL节点、Spark节点和数据识别节点增加Executor核心数

• 功能介绍：
  • 离线开发SQL节点Spark执行引擎、Spark节点和数据识别节点增加Executor核心数字段。 11.公共资源页面调整
• 功能介绍：
  • 公共资源页面整体布局调整，在左侧增加目录，分别展示资源组、参数组。

版本：v7.1.6

1.自助分析格式化后ctrl+z可返回至原样

• 功能介绍：
  • 自助分析格式化后，点击ctrl+z可以返回格式化前的内容。

2.自助分析和离线开发greenplum格式化优化

• 功能介绍：修复自助分析和离线开发 greenplum 语法格式化之后自动加空格问题

版本：v7.1.5

1.SQL节点及外部数据源节点代码编辑器全新升级

• 功能介绍：
  • SQL节点及外部数据源节点代码编辑页面UI全新升级，并对代码自动提示、结果集展示等内容进行了优化。
• 功能使用步骤：
  • 双击节点进入编辑页面后，既可以进行新版UI交互体验。
    代码开发提效的相关功能说明可查看编辑器代码提效
    

版本：v7.1.4

1.支持禁用项目

• 功能介绍：
  • 平台管理员支持禁用项目，禁用前将会检测是否存在已调度的离线开发任务，如果存在将不能禁用项目。项目被禁用后，将无法在页面上进入项目，项目的数据不会清理。

• 功能使用步骤：

  • 步骤一：在平台管理的项目管理中，支持对项目进行禁用。
  • 步骤二：点击禁用后，将检测离线开发中是否存在已调度的任务，如果存在，则不能禁用项目，需要先取消调度才能禁用。

• 注意事项：

  • 该功能默认关闭，开启方式为：在easyops上将参数mammut.product.soft-delete.enable改为true。

2.离线开发支持设置任务命名规范

• 功能介绍：
  • 支持在离线开发中设置任务的命名规范，支持根据文件夹设置前缀或后缀，新建任务时将按照设置的命名规范进行命名。

• 功能使用步骤：
  • 步骤一：离线开发设置中，项目-集群配置的基础配置中，增加离线开发任务命名规范，支持添加分组，圈选一级文件夹，设置前缀或后缀。
  • 步骤二：新建任务时，由原来的先输入任务名称再选择保存位置调整为先选择保存位置再输入任务名称，如果选择的保存位置设置了命名规范，则在保存位置下方将展示设置的前缀或后缀，仅支持输入任务名称主体。
  • 步骤三：复制任务、重命名任务时也将根据选择的文件夹中设置的规范展示对应的任务名称。移动目录和提交上线时将检测任务名称是否符合规范，如果不符合，将阻断移动或提交。

3.Yarn队列支持跨项目共享

• 功能介绍：

  • Yarn队列支持授权给同集群同项目组下的其他项目，队列授权后，可以在被授权的项目中使用队列执行。

• 功能使用步骤：

  • 步骤一：注册Yarn队列时，支持将队列授权给其他的项目，只能选择同集群同项目组下的其他项目。
  • 步骤二：授权给其他项目之后，支持将队列授权给当前项目中的成员或角色，有权限的成员选择队列时可以使用被授权的队列。如果权限回收后被授权的项目中使用该队列的线上任务将会执行失败。如果集群开通了测试功能，当队列授权了其他项目，测试队列同样页会授权给对应的项目。

4.【自助分析】下载数据上限支持流程审批

• 功能介绍：
  • 自助分析支持设置下载行数超过上限的审批策略，并支持自定义下载行数的上限。

• 功能使用步骤：

  • 步骤一：自助分析配置管理的数据下载审批配置中支持设置下载行数超过上限的策略，支持选择集群、下载行数上限、审批级数、审批人。
  • 步骤二：下载结果时如果下载行数超过了设置的下载行数上限，将生成一个工单，工单审批通过后，可以下载数据。

• 注意事项：

  • 当同时命中多个审批策略时，优先级为：安全等级的策略>下载行数超过上限的策略>所有数据的策略。

5.【离线开发】编辑报警触发规则增加运行开始和运行完成

• 功能介绍：
  • 离线开发编辑报警时支持设置任务和节点运行开始和运行完成的报警，可以满足用户及时了解任务启动和完成的信息，能够把握数据处理的进度。

6.【离线开发】代码扫描增加不存在insert操作的规则

• 功能介绍：
  • 离线开发代码扫描规则中增加规则：未使用"insert"关键字。指未使用insert关键字，其中对于包含alter、create、drop临时表以及load data的不作提醒。

7.【离线开发】离线设置调度时支持设置任务自动重跑

• 功能介绍：
  • 离线开发设置调度时支持设置任务自动重跑，可以实现任务执行失败时自动重跑整个任务。
• 功能使用步骤：
  • 编辑调度中，在失败设置下方增加任务自动重跑的开关，开启后，支持设置重跑次数和重跑间隔，当任务执行失败时，将自动重跑整个任务。

8.【离线开发】数据质量监控任务支持引用参数组参数

• 功能介绍：
  • 数据质量监控任务支持引用参数组参数，在参数组的引用详情中支持查看引用的数据质量监控任务。

1.【自助分析】query命名优化

• 功能介绍：
  • 自助分析的query进行重命名时，支持提示字符上限以及已输入的字符个数，并支持点击回车键保存query名称。

2.【自助分析】下载结果审批流程工单中支持查看预览结果内容

• 功能介绍：
  • 自助分析下载审批工单中增加下载字段和预览结果的字段，且预览结果支持审批人和申请人查看。

3.【配合发布中心】离线开发任务的发布策略“资源发布失败策略”调整

• 功能介绍：
  • “资源发布失败策略”选择“自动跳过”，则离线开发任务发布失败时自动跳过失败资源，继续发布剩余待发布资源； “资源发布失败策略”选择“终止发布”，则离线开发任务资源发布失败时终止发布，不再发布剩余待发布资源。

4.【配合发布中心】离线开发任务的检测项文案修改

• 功能介绍：
  • 检测分类为：数据识别任务引用时，详情原文案“发布方数据识别任务信息不完整”改为“发布方不存在该id的数据识别任务”。
  • 检测分类为：质量监控任务引用，详情原文案“发布方质量监控任务信息不完整，实际导入时不会导入该引用”改为“发布方不存在该id的质量监控任务，实际导入时不会导入该引用”。
  • 检测分类为：“数据同步”节点引用的离线同步任务，详情原文案“发布方离线同步任务信息不完整”改为“发布方不存在该id的离线同步任务”.

5.【配合发布中心】轮询节点增加“数据源引用”检测分类

• 功能介绍：
  • 如果发布策略已针对发布方引用的数据源配置数据源映射，则按照映射关系查找接收方数据源。如接收方存在该数据源则检测通过，发布时进行数据源替换；如数据源不存在则检测不通过。
  • 如果发布策略已针对发布方引用的数据源配置数据源映射，则查找接收方同名数据源。如数据源存在同名数据源则检测通过，发布时进行数据源替换；如数据源不存在则检测不通过。

6.【配合发布中心】嵌套流节点增加“嵌套流节点引用的任务”检测分类

• 功能介绍：
  • 针对嵌套流节点引用的嵌套任务，按照“uuid>project>任务名称”的优先级来识别接收方是否线上模式是否存在对应的任务。如不存在，则检测不通过；如存在，则检测通过，发布时将嵌套任务替换为接收方对应的project标识。

7.CDH集群的队列支持修改适用场景和授权项目

• 功能介绍：
  • 针对CDH集群的Yarn队列，支持修改使用场景和授权的项目。

8.删除Hive库和删除Yarn队列增加文案提示

• 功能介绍：
  • 删除Hive库和Yarn队列时增加文案提示：针对CDH集群，Hive库和Yarn队列的数据不会清除，仅移除绑定关系；针对NDH集群，删除Hive库和Yarn队列之后，数据将会清除。

9.【自助分析】项目和项目组共享query支持人粒度的隔离

• 功能介绍：
  • 对于项目级和项目组级的共享query，运行时支持个人粒度的隔离，在运行结果和运行历史中只能看到个人运行的结果，且用户运行query时不影响其他用户运行。 10.【配合数据传输】接口优化用于数据传输文件下载 11.【离线开发】代码扫描复杂语法解析问题修复 12.【离线开发】质量监控，修改历史显示与编辑报警显示不一致，缺少接收方式

版本：v7.1.3

1.离线开发支持kyuubi

• 功能介绍：
  • 离线开发中的SQL节点执行引擎选择Spark时，支持使用Kyuubi执行。

2.支持配置LDAP的账号密码

• 功能介绍：
  • 针对CDH集群，新建项目时，支持配置项目账号的LDAP账号和密码，且支持在用户中心中配置个人的LDAP账号和密码。离线开发和自助分析执行时支持使用配置的LDAP账号执行。

版本：v7.1.2

1.支持设置离线同步专用队列

• 功能介绍：

  • 注册队列时的适用场景中增加“离线同步”和“实时同步（数据传输）”，离线开发中支持设置项目-集群粒度的离线同步专用队列，可以实现离线同步的任务用特定的队列执行。

• 功能说明：注册Yarn队列时，适用场景改为：离线计算相关产品、实时计算、离线同步、实时同步（数据传输）

  • 离线计算相关产品：除离线传输、离线开发中的离线同步专用队列以外的所有离线场景选择队列时出现该选项。
  • 实时计算：实时计算仅作为标签，不影响在实时计算产品中使用该队列。
  • 离线同步：在数据传输的离线同步任务中选择队列时出现该选项，在离线开发的离线同步专用队列中出现该选项。
  • 实时同步（数据传输）：在数据传输的实时同步中选择队列时出现该选项。

2.离线开发支持对接Git

• 功能介绍：
  • 离线开发支持对接Git，支持将任务节点、配置信息提交到Git仓库。
• 功能使用步骤：
  • 离线开发配置中，支持以项目粒度绑定一个git仓库，支持配置Git仓库地址、SSH私钥、主分支、Git文件分组
    • Git仓库地址：支持填写Git仓库的地址
    • SSH私钥：支持填写Git仓库的SSH私钥
    • 主分支：根据输入的Git仓库和SSH私钥自动拉取所有分支，优先匹配main，如果没有则匹配master，如果没有则再匹配字典序asc第一个分支。
    • Git文件分组：
      • 不分组：平台长久使用后，任务量都会小于10,000的项目；
      • 任务标识首字母分组：平台长久使用后，任务量都会小于160,000的项目；
      • 任务标识哈希分组：支持进行自定义数量分组，平台长久使用后，任务量为n*10000时，则设置为n。”
  • 离线开发任务提交上线、编辑调度、取消调度，支持将任务节点、任务配置提交到git
    • 任务提交上线、编辑调度、取消调度时将会把任务资源提交到git上的任务目录，包含任务所有节点、任务系统文件、任务配置、作业资源、关联的jira和备注。 当任务提交到git无法操作成功或超时，支持通过报警渠道进行通知。

3.离线开发列表支持批量移动文件夹和任务

• 功能介绍：
  • 离线开发支持移动文件夹，并且支持将文件夹和任务批量移动到新的位置。
• 功能使用步骤：
  • 入口1：文件夹右键：移动目录，点击移动目录之后，支持选择新的位置。
  • 入口2：离线开发页面左上角，定位左侧增加“批量移动”的按钮。点击之后出现批量移动的弹窗，支持选择移动的任务/文件夹和新的位置，可以批量将文件夹或任务移动到新的位置。

4.注册队列、修改队列的工单迁移至新流协

• 功能介绍：
  • 注册Yarn队列、修改Yarn队列、注册Impala队列、修改Impala队列的工单统一在新的流程协作中心进行审批，

5.离线开发新增达梦节点

• 功能介绍：
  • 新增达梦节点，支持在离线开发中添加达梦节点，选择达梦数据源进行数据开发与任务调度。

6.自助分析新增达梦数据源

• 功能介绍：
  • 自助分析支持达梦数据源.

7.自助分析新增TDSQL数据源

• 功能介绍：
  • 自助分析支持TDSQL数据源。

1.离线开发中的”数据同步“节点改名为“离线同步”

• 功能介绍：
  • 离线开发中的“数据同步”节点改名为“离线同步”。

2.自助分析代码扫描规则报错优化

• 功能介绍：
  • 自助分析中代码扫描规则异常时，将报错信息的位置由原来的运行日志处修改为在右侧规则异常处。

3.代码搜索的结果点击节点名称后打开节点详情

• 功能介绍：
  • 代码搜索的结果中，点击节点名称支持在离线开发页面打开节点详情。

4.项目配额和个人配额支持区分物理配额和逻辑配额

• 功能介绍：
  • 查看项目配额和个人配额查看存储配额信息支持查看物理配额和逻辑配额

5.支持删除CS队列

• 功能介绍：
  • 平台管理员支持在平台项目管理页面删除CS队列。

6.自助分析的生成结果优化为结果文件

• 功能介绍：
  • 自助分析原来的“生成结果”优化为“结果文件”，如果不需要下载结果，可取消勾选结果文件，提升运行速度。

7.自助分析oracle数据源下预览结果中针对timestamp和clob类型的展示优化

• 功能介绍：
  • 针对oracle数据源，对于timestamp类型和clob类型的字段，自助分析预览结果中优化展示的格式。

8.用户更新角色信息数据库增加email等信息

• 功能介绍：
  • 用户更新角色信息的数据库中增加email字段。

9.自助分析增加正在终止的状态

• 功能介绍：
  • 自助分析执行终止后，由原来的直接返回执行失败改为监听hive的线程退出的时候再返回执行失败。

10.队列实际可用资源过小时任务提交失败

• 功能介绍：
  • 当队列实际可用的cpu配额过小时，任务将提交失败。

11.报警设置的上报人支持设置

• 功能介绍：
  • 编辑报警的上报人支持选择项目内的成员。

12.【离线开发&自助分析】数据源搜索问题优化

13.【自助分析】SparkSQL报错优化

版本：v7.1.1

1.【支持发布中心的离线发布场景】公共资源-参数组，参数组增加参数组id显示

2.【支持发布中心的离线发布场景】项目中心-资源管理，增加显示Yarn集群标识信息

3.【支持发布中心的离线发布场景】离线开发任务，线上模式的任务的节点，右键可“查看节点标识”，并可复制节点标识的JSON

1.【离线开发】提供接口支持发布中心

2.【离线开发】任务在锁定时暴露“任务发布”按钮

3.【支持发布中心】发布中心进行离线开发任务发布时，针对数据源的检测支持去重后校验；

4.【支持发布中心】发布中心进行离线开发任务发布时，针对发布到线上模式时，增加非法质量监控任务会自动去除的提醒；

版本：v7.1.0

1.代码扫描新增规则类型

• 功能介绍：

  • 离线开发和自助分析中增加4种代码扫描规则，分别是表跨层依赖、表关联使用full join、表关联过滤条件使用不当、分区字段和过滤条件类型不匹配。

• 规则说明：

  • 表跨层依赖：指ods层的表，被跨层依赖。一般来说，ods层的一级下游表为明细层（dwd）或维表（dim），如果含有其他表，则该ods层表被认为是跨层依赖。此处跨层依赖的定义实际受到模型设计中心跨层依赖评估的控制。

  • 表关联使用full join：指表关联中使用了full join，建议使用union all优化。

  • 表关联过滤条件使用不当：指使用left join时，左表的过滤条件没有写在 where 中或写子查询，右表的过滤条件没有写在on里面或写子查询。使用right join时，左表的过滤条件没有写在on中或写子查询，右表的过滤条件没有写在where里面或写子查询。

  • 分区字段和过滤条件类型不匹配：指针对SparkSQL，表的分区字段类型为string，过滤条件类型为date，该情况会导致全量分区扫描。

2.离线开发支持代码自动恢复

• 功能介绍：
  • 离线开发的SQL、VerticaSQL、MySQL、OracleSQL、GPSQL节点支持代码的自动缓存，当编辑的代码未保存退出页面，再次打开编辑的页面会出现代码恢复的弹窗，支持展示编辑器中保存的代码以及系统自动保存的代码，支持查看代码的对比，可以选择使用编辑器已保存的代码或自动保存的代码。

3.离线开发节点内支持直接运行代码

• 功能介绍：

  • SQL节点以及MySQL、Oracle SQL等节点在编辑代码时支持立即运行代码，支持点击运行设置进行运行参数配置，包括执行引擎、执行参照时间等。用户可以在编辑页面下方查看执行SQL、执行日志以及结果；支持选中多段SQL语句同时执行。

• 注意事项：

  • 目前暂不支持设置运行参数，默认会使用“其他设置”中添加的参数。

1.注册队列和资源详情中支持查看可用容量区间绝对值信息

• 功能介绍：
  • 对于CS队列，注册队列时，选择完队列标签，支持查看实际最大可用CPU配额和实际最大可用内存配额，原来的最大并行任务数由页面上的设置改为默认配置项。

2.自助分析产品访问权限支持对接安全中心

• 功能介绍：
  • 自助分析的产品访问权限支持在安全中心中设置，如果在产品页面中未勾选自助分析，则对应的角色或成员无自助分析的访问权限；如果产品页面中勾选了自助分析，自助分析的集群访问权限中仅勾选了部分集群，则对应的角色或成员只有勾选集群的访问权限。

3.数据源选择权限优化

• 功能介绍：
  • 离线开发和自助分析选择执行数据源时，由原来的需要同时有数据源的“读”和“写”权限调整为有数据源的“读”或“写”任意一个权限就可以选择。

4.轮询节点的最大时长支持10天

• 功能介绍：
  • 轮询节点的轮询总时长由原来的最大支持1天改为最大支持10天

版本：v7.0.15

1.离线开发支持数据识别节点

• 功能介绍：
  • 离线开发新增数据识别节点，支持对安全中心的数据识别任务进行调度。
• 功能使用步骤：
  • 步骤一：首先在安全中心的数据保护中新建数据识别任务
  • 步骤二：在离线开发的任务节点中增加“数据识别”节点
  • 步骤三：节点详情中，支持选择安全中心的数据识别任务，将会对数据识别任务进行调度。

1.离线开发任务的版本对比中增加数据识别节点的对比

• 功能介绍：
  • 任务的版本对比中支持对比数据识别节点，支持查看节点的新增、删除和修改详情。

版本：v7.0.14

1.自助分析项目级共享Query支持对接功能权限

• 功能介绍：

  • 自助分析项目级共享Query对接安全中心的功能权限，支持以文件夹或query粒度控制query的新建、查看、编辑、运行、下载等权限。

  • 功能权限迁移：自助分析代码执行相关的功能权限仍在项目中心，其他的权限已迁移至安全中心。

  • 权限说明：

    新建：指新建文件夹和query的权限，无权限时，无法在项目级共享文件夹中新建文件夹和query。

    查看：指查看文件夹和query的权限，无权限时，无法在项目级共享文件夹中查看文件夹和query。

    编辑：指编辑query的权限，无权限时，无法在项目级共享文件夹中对query进行编辑，包括复制、重命名、删除、切换数据源等。

    运行：指运行query的权限，无权限时，无法在项目级共享文件夹中对query进行运行、高级运行、切换队列。

    下载：指运行结果的下载权限，无权限时，无法在项目级共享文件夹中对query的运行结果下载。

2.智能推荐依赖支持推荐开发模式下执行以及重跑、补数据的血缘信息

• 功能介绍：
  • 编辑调度的智能推荐支持推荐开发模式下执行以及重跑、补数据产生的血缘，仅推荐任务状态为已调度的任务。

3.版本对比中支持非SQL类节点以及节点设置的对比

• 功能介绍：
  • 任务的版本对比中支持对非SQL类节点内容以及节点设置的对比。

版本：v7.0.13.2

1.自助分析查询优化

• 功能介绍：
  • 自助分析query中，语法检查后面增加“生成结果”勾选项。勾选后，运行时将生成下载结果文件，支持下载结果。取消勾选后，运行时将不生成下载结果文件夹，不支持下载结果，但可以提升查询的速度。

版本：v7.0.13

1.离线开发任务支持对比开发模式与线上模式的SQL代码

• 功能介绍：
  • 支持对开发模式和线上模式的任务进行对比，支持对比节点SQL代码、节点上游以及节点的禁用情况。版本对比页面中展示任务的基本属性以及节点信息。对比结果中支持查看新增、删除、修改节点的个数。对于新增和删除的节点，支持查看节点详情；对于修改的节点，支持查看节点的对比，当前暂时支持节点SQL代码、节点上游以及节点禁用情况的对比。

2.离线开发支持代码搜索

• 功能介绍：
  • 支持对离线开发中所有的节点和任务进行全局的SQL代码搜索。在代码搜索页面，支持输入sql代码，进行搜索，搜索范围为离线开发中当前用户有权限的任务。搜索时支持设置筛选条件，包括节点类型、任务状态、任务模式、任务负责人、任务创建人、任务提交人、任务最近修改时间。

3.自助分析支持代码扫描

• 功能介绍：
  • 自助分析执行时支持进行代码扫描，包含代码规范类、代码性能类、代码质量类、其他。支持在自助分析的配置管理中由项目负责人或管理员设置代码扫描规则是否启用，并支持设置强规则或弱规则。开启强规则时，在执行Query时会进行提醒，并阻断执行Query过程；弱规则，在执行Query时仅作提醒，不阻断执行Query过程。

4.支持项目级别的调度日历

• 功能介绍：
  • 增加项目级别的调度日历，支持添加日历仅给当前项目使用。
• 权限说明:
  • 添加权限：项目负责人、管理员、安全中心授权的项目内普通用户；注意：仅授予该用户在授权项目内的登记权限，未授予该用户在项目组内其他项目的添加权限。
  • 编辑权限：项目负责人、管理员、安全中心授权的项目内普通用户。

1.自助分析运行结果支持选中时显示背景色

• 功能介绍：
  • 自助分析运行结果支持选中时显示背景色,方便用户定位结果。

版本：v7.0.12

1.参数组支持批量导入导出

• 功能介绍：
  • 参数组支持从一个项目组-集群批量导出，并支持批量导入至另一个项目组-集群。

1.参数组支持正确性校验

• 功能介绍：
  • 参数组保存前支持校验参数组格式是否正确，并支持查看参数值的结果。支持配置是否强制保存前测试，开启时，如果测试失败，则不能保存；未开启时，如果测试失败，支持保存。

2.注册Yarn队列时支持选择适用场景

• 功能介绍：
  • 注册Yarn队列时，支持选择队列在离线计算场景下使用或在实时计算场景下使用。

版本：v7.0.11.1

1.针对CS调度的队列，任务统一提交到default队列上执行

• 功能介绍：
  • 原先运行任务时，如果开启了高优先级，任务将提交到sla队列上执行。修改为任务统一提交到default队列上执行，高优先级设置不再生效。

版本：v7.0.11

1.离线开发提供接口支持发布中心

版本：v7.0.10

1.参数组支持版本查看版本列表与回滚

• 功能介绍：
  • 参数组每次编辑且保存之后生成一个版本，支持查看版本历史，并支持一键回滚至某个版本。

1.自助分析数据下载审批配置的审批策略改造

• 功能介绍：
  • 改造原因：原来安全中心内置4个安全等级，自助分析数据下载审批配置中支持4个安全等级的策略。由于安全中心改为支持自定义安全等级，因此自助分析中支持自定义安全等级的策略设置。
  • 功能描述：自助分析数据下载审批配置的审批策略级数调整为与安全中心的安全等级一致。

版本：v7.0.9.1

1.修复自助分析不显示查看表详情问题

• 功能介绍：
  • 自助分析库表信息中，点击右键支持查看表详情。

版本：v7.0.9

1.离线开发支持代码质量类的扫描

• 功能介绍：
  • 代码扫描中增加代码质量类的规则，包括：select字段和插入表字段数量不一致、select字段和插入表字段名称或类型不一致、表关联on字段类型不一致。支持将规则设置为强规则或弱规则，在提交上线时将对SQL节点进行扫描。如果命中强规则，将阻断提交；命中弱规则，不阻断提交仅作提醒。

2.离线开发支持AI3.0节点

• 功能介绍：
  • 离线开发任务中新增AI3.0节点，支持通过填写AI任务的标识触发机器学习平台任务的执行。

1.申请加入项目时支持选择项目组角色

• 功能介绍：
  • 改动原因：一些项目组级别的子产品对接了功能权限控制页面访问权限，加入项目时只选择项目角色时，如果用户未在项目角色中，将没有访问项目组级别子产品的权限。
  • 功能描述：加入项目时支持选择项目组角色。

2.项目中心的功能权限处增加页面访问权限控制

• 功能介绍：
  • 原先只要在功能权限左侧勾选了“离线开发任务运维”，就可以访问离线开发页面，调整为勾选“页面访问”中的“离线开发”才可以访问离线开发页面；原先任何人都可以进入任务运维中心，调整为至少勾选一个任务运维页面模块，才可以访问任务运维中心页面。

3.自助分析首次打开的时候定位至SQLtab

• 功能介绍：
  • 首次进入自助分析时由原来的定位至运行结果模块修改为定位至SQL模块，目的是为了避免首次进入自助分析时运行结果过大引起卡顿。

4.离线开发设置页面添加返回按钮

• 功能介绍：
  • 离线开发设置页面增加返回按钮，支持返回到离线开发首页。

5.数据管理的数据源页面优化

• 功能介绍：
  • 数据管理中的数据源页面增加提示：数据源已迁移至项目中心（新），数据管理处的数据源已不再维护。

6.任务未上线时查看任务标识置灰不可点击

• 功能介绍：
  • 任务点击右键查看任务标识时为线上任务的标识，当任务未上线时任务标识置灰不可点击。

7.单节点任务去除自动打开节点详情的逻辑

• 功能介绍：
  • 原先单节点任务会自动打开节点详情，调整为去除该逻辑。

8.离线开发任务支持复制链接

• 功能介绍：
  • 离线开发的任务名称后面增加复制按钮，支持直接复制任务的链接。