Easystream针对实时开发场景中提供了详细的任务运维配置，用户可通过修改其中参数实现对任务运行、重启、占用资源等多方面进行细致管控。

入口：实时开发右侧-运行配置

任务配置

与任务逻辑密切关联的配置归类为任务配置，其中包含 Checkpoint 参数、Failover策略、失败自动拉起、Flink 高级配置、自定义配置。

CheckPoint 参数

注意：Jar 任务的 Checkpoint 参数请在 Jar 包内进行配置，Jar 任务页面无此配置项。
  • 间隔：两次CheckPoint发生的间隔时间；
  • 模式：EXACTLY-ONCE（恰好一次）或AT-LAST-ONCE（至少一次）；
  • 超时：在超时时间内CheckPoint未完成，则中止正在进行的CheckPoint；

Failover策略

  • Failover策略：Failure_Rate（在一定时间范围内固定频率重启）和Fixed_Delay（固定频率重启一定次数，无时间范围限制）；
  • Failover失败次数：任务失败后平台自动重试次数；
  • Failover时间范围：当超出此范围时任务仍未重启成功，任务置失败；仅当选择Failure_Rate时支持选择；
  • Failover时间间隔：两次任务重启发生的间隔时间；

失败自动拉起

  • 开关：默认关闭，打开后自动拉起策略将生效。
  • 自动拉起方式：可选择从最新 Checkpoint 恢复或直接启动。
  • 自动拉起次数：任务失败后尝试自动拉起的次数，当用户有手动启停操作后次数将重置。如配置自动拉起次数为3次，当前任务运行失败，通过自动拉起尝试恢复两次后正常运行，此时剩余自动拉起次数为1次，若用户手动对此任务进行重启，则自动拉起次数恢复至3次。
  • 自动拉起间隔：任务失败后尝试自动拉起的时间间隔。

Flink高级配置

支持以Key Value键值对的方式添加Flink自定义配置参数，实现诸如JM/TM GC参数配置等功能，具体可参考Flink官方文档。

自定义配置

支持以Key Value键值对的方式添加平台运行参数，实现任务提交超时时间控制、指定插件版本等功能。

资源配置

与任务运行资源相关的配置归类为资源配置，资源配置可在开发页面或运维页面进行配置。

  • 资源实例：当前任务运行时使用的yarn或S3或OSS集群信息；
    注意：当切换集群时，任务不可从原集群的checkpoint或savepoint恢复。
  • 队列：相应集群下的资源队列信息；
  • 引擎：Flink内核引擎版本，目前已支持1.10-1.14、Blink等引擎版本；
  • slots：Flink进程启动时分配的slot数量（slot为Flink集群调度资源的最小单位，具体可参考 Task slot；
  • TM内存：TaskManager被分配的内存大小；
  • JM内存：JobManager被分配的内存大小；
  • 并发数量：Flink进程的并行度；