离线同步任务配置

客户表离线同步任务

新建任务之前,需事先确认实验准备中的数据导入工作已完成。

步骤一:在【数据传输】-【离线同步任务】页面,点击“新建任务”进入新建页面。

tr1.png

步骤二:配置【基本信息】,根据实际情况配置任务名称、任务模式等。

tr2.png

配置项 内容
任务名称 mysql2hive_ods_cus_info_df
任务模式 向导模式
负责人 默认
引用参数组 -
描述 -

步骤三:配置【数据来源与去向】,分别配置来源与去向。

  • 数据来源

tr3.png

  • 数据去向

当去向表没有创建时,可通过【快速创建表】进行创建。

tr4.png

在弹出的对话框中,输入表名称,此处“是否分区表”设置为【分区表】,点击“生成SQL语句”按钮自动生成建表语句。

tr5.png

配置完成后,点击“执行”按钮进行语句的下发。

在数据去向配置分区参数

tr6.png

  • 字段映射

此处系统会默认进行【同名映射】,如果发现映射有问题,也可以通过【同行映射】或者手动调节。

tr7.png

  • 高级配置

点击“数据脱敏”配置静态脱敏。

tr8.png

点击“扫描”,对敏感数据进行脱敏。

tr9.png

选择和填写如下信息,并点击“扫描”,会对带传输数据进行初步扫描匹配敏感字段

tr10.png

获得如下扫描结果

tr11.png

步骤四:点击“保存并提交”按钮完成用户表离线同步任务的配置。

tr12.png

订单表离线同步任务

配置全量传输

新建任务之前,需事先确认实验准备中的数据导入工作已完成。

步骤一:在【数据传输】-【离线同步任务】页面,点击“新建任务”进入新建页面。

tr2.1.png

步骤二:配置【基本信息】,根据实际情况配置任务名称、任务模式等。

tr2.2.png

配置项 内容
任务名称 mysql2hive_ods_order_info_df
任务模式 向导模式
负责人 默认
引用参数组 -
描述 -

步骤三:配置【数据来源与去向】,分别配置来源与去向。

  • 数据来源

tr2.3.png

  • 数据去向

tr2.4.png

当去向表没有创建时,可通过【快速创建表】进行创建。

在弹出的对话框中,输入表名称,此处“是否分区表”设置为【分区表】,点击“生成SQL语句”按钮自动生成建表语句,修改【amount】字段的decimal精度。

tr2.5.png

配置完成后,点击“执行”按钮进行语句的下发。

在数据去向配置分区参数

tr2.6.png

  • 字段映射

此处系统会默认进行【同名映射】,如果发现映射有问题,也可以通过【同行映射】或者手动调节。

tr2.7.png

  • 高级配置

此案例中无特殊项设置,可使用默认配置项。

tr2.8.png

步骤四:点击“保存并提交”按钮完成订单表全量离线同步任务的配置。

tr2.9.png

配置增量传输

新建任务之前,需事先确认实验准备中的数据导入工作已完成。

步骤一:在【数据传输】-【离线同步任务】页面,点击“新建任务”进入新建页面。

tr2.10.png

步骤二:配置【基本信息】,根据实际情况配置任务名称、任务模式等。

tr2.12.png

配置项 内容
任务名称 mysql2hive_ods_order_info_di
任务模式 向导模式
负责人 默认
引用参数组 -
描述 -

步骤三:配置【数据来源与去向】,分别配置来源与去向。

  • 数据来源
    配置条件

tr2.13.png

  • 数据去向

当去向表没有创建时,可通过【快速创建表】进行创建。

tr2.14.png

在弹出的对话框中,输入表名称,此处“是否分区表”设置为【分区表】,点击“生成SQL语句”按钮自动生成建表语句,修改【amount】字段的decimal精度。

tr2.15.png

配置完成后,点击“执行”按钮进行语句的下发。

在数据去向配置分区参数

tr2.16.png

  • 字段映射

此处系统会默认进行【同名映射】,如果发现映射有问题,也可以通过【同行映射】或者手动调节。

tr2.17.png

  • 高级配置

此案例中无特殊项设置,可使用默认配置项。

tr2.18.png

步骤四:点击“保存并提交”按钮完成订单表增量离线同步任务的配置。

tr2.19.png

商品表离线同步任务

新建任务之前,需事先确认实验准备中的数据导入工作已完成。

步骤一:在【数据传输】-【离线同步任务】页面,点击“新建任务”进入新建页面。

tr3.1.png

步骤二:配置【基本信息】,根据实际情况配置任务名称、任务模式等。

tr3.2.png

配置项 内容
任务名称 mysql2hive_ods_item_info_df
任务模式 向导模式
负责人 默认
引用参数组 -
描述 -

步骤三:配置【数据来源与去向】,分别配置来源与去向。

  • 数据来源

tr3.3.png

  • 数据去向

当去向表没有创建时,可通过【快速创建表】进行创建。

tr3.4.png

在弹出的对话框中,输入表名称,此处“是否分区表”设置为【分区表】,点击“生成SQL语句”按钮自动生成建表语句。

tr3.5.png

配置完成后,点击“执行”按钮进行语句的下发。

在数据去向配置分区参数

tr3.6.png

  • 字段映射

此处系统会默认进行【同名映射】,如果发现映射有问题,也可以通过【同行映射】或者手动调节。

tr3.7.png

  • 高级配置

此案例中无特殊项设置,可使用默认配置项。

tr3.8.png

步骤四:点击“保存并提交”按钮完成商品表离线同步任务的配置。

tr3.9.png

创建离线开发任务

创建完成离线同步任务后,需要在【离线开发】中创建对应的离线开发任务,建议在【离线开发】中先完成任务文件夹的创建用于存放离线同步任务。

步骤一:从左侧导航栏选择【开发运维】-【离线开发】进入离线开发页面。

步骤二:点击“新建文件夹”选项,创建文件夹。

步骤三:输入文件夹名称,选择根目录进行保存。

步骤四:右键点击已创建的文件夹,选择新建文件夹,创建子文件夹。

步骤五:输入文件夹名称,选择刚创建好的文件夹作为保存位置。

步骤六:右击ods文件夹,新建任务。

步骤七:离线开发任务名称为mysql2hive_ods_item_info_df,点击确定。

步骤八:拖动离线同步节点与虚拟节点连接,并双击离线同步节点选择与任务名称相对应的数据传输任务。

步骤九:点击临时保存后,全选任务,点击“运行”进行测试。

步骤十:在弹出的对话框中,使用默认配置点击“运行”即可。

步骤十一:运行成功后,任务显示测试通过标记,此时可配置定时调度。

步骤十二:在弹窗中将【调度开启】功能打开,其余配置项可保持默认不变。

步骤十三:确认无误后,点击“保存并提交全部”按钮完成提交。

此时在线上模式就能看到相关任务信息了。

步骤十七:重复步骤一到十三,分别创建mysql2hive_ods_cus_info_df、

mysql2hive_ods_order_info_di、mysql2hive_ods_order_info_df的离线任务。