资源打包
更新时间: 2024-12-04 15:41:28
资源说明
本次实践,计划发布离线开发任务、Hive表、离线同步任务、质量监控任务等4种类型的资源:
资源名称 | 资源类型 | 备注 |
---|---|---|
flow_mysql2hive_ods_easysubmit_user_info | 离线开发任务 | 包含一个离线同步节点,节点中引用了一个离线传输的离线同步任务。 |
mysql2hive_ods_easysubmit_user_info | 离线同步任务 | 用于将mysql的数据同步到hive表,产出表为mammut_one.ods_easysubmit_user_info。 |
mammut_one.ods_easysubmit_user_info | Hive表 | 用于离线同步任务的数据写入。 |
dim_easysubmit_user_info | 离线开发任务 | 用于读取 mammut_one.ods_easysubmit_user_info写入到 mammut_one.dim_easysubmit_user_info,完成维表加工。 |
mammut_one.dim_easysubmit_user_info | Hive表 | 离线开发任务dim_easysubmit_user_info的输出表。 |
dqc_mammut_one-dim_easysubmit_user_info | 质量监控任务 | mammut_one.dim_easysubmit_user_info的质量监控任务。 |
针对“同集群跨项目”发布场景,离线开发任务的SQL,在使用时,需要采用参数指定DB的方式,在发布时,会替换参数所属的参数组。
比如,上述资源的离线开发任务“dim_easysubmit_user_info”,其中SQL节点的代码为:
insert overwrite table ${db1}.dim_easysubmit_user_info
select user_id, user_name
from ${db1}.ods_easysubmit_user_info;
该任务引用的参数组配置为:
表示执行时运行如下代码:
insert overwrite table mammut_one.dim_easysubmit_user_info
select user_id, user_name
from mammut_one.ods_easysubmit_user_info;
读者实践时,可选择自己环境的一些已提交上线的任务,或者新建仅包含虚拟节点的任务,并提交上线,选择这种任务来先大致了解发布的流程。待后续再尝试发布有复杂关联关系的资源。
资源打包
入口:在发布方的发布中心-资源列表。
选择前面提到的2个离线开发任务,添加到发布池中。
点击“一键智能添加”,系统会自动把关联的引用资源添加到发布池。
点击创建发布包,在创建弹框中“创建成功后策略”选择“前往发布”,则创建成功后会自动跳转到发布包发布页面;如果选择“前往详情”,则会前往发布包详情页面,可以进行下载发布包操作。
如果是“同集群跨项目”发布,则请选择“前往发布”;如果是“离线跨平台”发布,请选择“前往详情”。
创建成功后,会在“发布包-在线发布”菜单中产生一个发布包。