脏数据管理
更新时间: 2024-12-11 15:47:34
为了应对上游(源端)SCHEMA变更,导致下游任务运行异常情况,实时任务目前已支持脏数据管理:
- 任务出现脏数据时可以配置不挂掉,能够持续运行;
- 通过配置合理的管理策略,脏数据能打印到日志,并产生报警;
- 能够在运维页面查看脏数据内容;
- 能够自定义配置脏数据报警规则(统计周期、脏数据量、报警间隔)。
任务开发配置
实时开发-运行配置-任务配置下,新增了脏数据管理内容。可以根据自己的实际需求,配置合理的选项(具体选项信息可以参考选项中的提示)。
任务运维展示
若任务有脏数据产生,在实时运维-运行日志-脏数据日志下可以查看产生的脏数据内容。
任务报警配置
任务开启脏数据管理后,在任务运维页面,点击报警按钮,进入设置报警页面,会自动产生一条脏数据量告警,根据自己的实际情况,可以修改该告警规则。