整体说明

在本平台使用“发布中心”进行资源发布，会有不同的发布模式。关于不同的发布模式，在前文产品简介中有具体的说明。

本最佳实践，会针对最典型的2种发布模式进行说明，一种是“同集群跨项目”发布，另一种是“离线跨平台”发布。

“同集群跨项目”发布：

  • 属于在线发布的场景，前面产品简介中提到了除了“离线跨平台”模式，其余都是在线发布。

  • 在线发布，需要先在接收方配置接收策略，系统会自动推送到发布方形成“在线发布”类型的发布策略，并完成发布策略和接收策略的绑定。发布方将发布策略开启后，即可进行发布策略的授权。获取发布策略授权的用户，则可以使用该发布策略进行发布，产生“发布包发布”类型的工单。接收方可以对接收策略授权，控制可以进行工单审批和资源发布到子产品的发布实例包的权限控制。

“离线跨平台”发布

  • 属于离线发布的场景，需要先在接收方配置“离线发布”类型的发布策略，并进行发布策略的使用、工单审批授权。然后将发布包导入后，即可进行发布包的发布。工单审批通过后，即可进行将资源发布到子产品的操作。
  • 但是离线发布场景下，如果遇到一些配置替换的场景，比如参数组、资源组、hive库、yarn队列等，发布方的很多配置都需要手动输入。

如果读者是不同的发布模式，也可以参阅本文，不同的发布模式和本实践的说明基本相同，仅部分环节会有一些差异，涉及到的地方，文中也会进行说明。

在进行资源发布前，需要先确定发布方的“项目-集群”和接收方“项目-集群”，即确定一个“项目-集群”作为资源的发布方，确定另一个“项目-集群”作为资源的接收方。针对“同集群跨项目”或“同集群跨项目组”的模式，由于这2种模式使用的是同一个集群，因此会出现发布方和接收方的“项目-集群”下无法存在相同的Hive库和Yarn队列的场景，所有需要再确定发布方和接收方的Hive库、Yarn队列的映射关系。

“同集群跨项目”发布的演示信息

发布方信息：

  • 项目-集群：mammut_one - easyops_cluster

  • Hive库名称：mammut_one

  • Yarn队列名称：mammut_one

  • 平台地址：当前平台

  • 涉及角色：发布方数仓管理者、数仓开发

  • 作用：作为发布方环境，将离线开发任务、Hive表、离线同步任务、质量监控任务等资源发布到接收方。

接收方信息：

  • 项目-集群：mammut_qa - easyops_cluster

  • Hive库名称：mammut_qa

  • Yarn队列名称：mammut_qa

  • 平台地址：当前平台

  • 涉及角色：接收方数仓管理者、数仓开发

  • 作用：作为接收方环境，在流程协作与通知中心（新）审批“发布包发布”工单，接收资源。

“离线跨平台”发布的演示信息

发布方信息同前面的发布方。

接收方信息：

  • 项目-集群：mammut_qa - easyops_cluster

  • Hive库名称：mammut_qa

  • Yarn队列名称：mammut_qa

  • 平台地址：生产平台（指另一个不同域名的平台）

  • 涉及角色：接收方数仓管理者、数仓开发

  • 作用：作为接收方环境，在流程协作与通知中心（新）审批“发布包发布”工单，接收资源。