公共样本管理

在用户进行任务调试或任务测试时，需要使用固定的有特定数据的样本集，公共样本管理提供了管理这些样本的功能，支持用户通过上传样本，在线采样，任务调试生成（仅在任务中操作）的方式创建或编辑公共样本。

功能介绍：

  • 支持通过上传样本，在线采样，任务调试生成（仅在任务中操作）的方式创建或编辑公共样本。
  • 公共样本可在任务调试和任务测试功能中被引用。

使用限制：

  • 具备项目负责人、管理员、实时管理员、实时开发、实时运维角色的用户可以新建、编辑、删除公共样本。具备项目负责人、管理员、实时管理员角色的用户可以下载样本数据。
  • 单个公共样本的数据量上限为1000条数据。
  • 当前仅支持 Kafka、Pulsar、RocketMQ、MySQL、Oracle 数据源类型的表进行在线采样。

详细使用步骤：

  • a. 功能入口：实时开发页面左侧一级导航栏。

  • 新建/编辑样本：支持上传样本或在线采样方式新建样本。
    • 上传样本时要求样本格式为 .csv 或 .json 。csv格式样本需首行为字段名称且不可有同名字段。json格式样本数据格式请参考json样本模板格式。上传样本后仅保留样本中的前1000条数据。
    • 在线采样消息队列类型数据时，仅支持采样并解析数据序列化方式为json格式的数据（含canal-json、debezium-json、maxwell-json、ogg-json）。
    • 采样或上传样本，通过数据预览确认样本数据无误后即可保存样本。


  • 任务生成样本：任务调试后可将调试结果保存为公共样本。保存时样本名称按照[任务名称]_[目标表名称]自动生成，重复保存时同名样本将被更新，自动生成的样本类型默认勾选 源表 和 目标表。

  • 管理样本：通过公共样本管理列表可查看样本详情、编辑/删除样本，或查看样本引用情况。

  • 使用样本：可在任务调试或任务测试功能中引用公共样本。
    • 样本选择源表类型时，调试功能和任务测试功能的源表样本下拉框中将可选择该样本。
    • 样本选择目标表类型时，任务测试功能的目标表下拉框中将可选择该样本。
    • json类型数据样本将按照原始数据格式解析并展示在数据预览区域中，用户可手动切换展示方式到表格展示。此类样本作为源表样本在调试或任务测试功能中使用时，按样本原始数据格式被消费，作为结果表在任务测试功能中进行结果比对时，按json格式解析一级字段后比对。