适用场景

发布中心是本数据平台的统一资源发布平台，通过资源打包、发布、导入、应用等过程，实现在线和离线场景下的跨环境资源发布。针对有多套数据开发环境需求的客户，可以使用发布中心产品。

当前版本支持发布的资源，包括参数组、Hive表、实时开发文件、流表、质量监控任务、离线同步任务、数据服务API、离线开发任务、实时开发任务。支持一个平台内不同项目-集群间的资源发布，也支持多个平台间网络互通场景的在线发布，也支持多个平台间网络环境不同场景下的离线发布。

基本使用流程

在发布中心，将用户资源导出的环境叫做发布方，资源导入的环境叫做接收方。发布方的已上线资源，在发布中心可打包成发布包，再通过发布，即可在接收方的流程协作与通知中心创建“发布包发布”工单。

在接收方对工单审批通过后，接收方即可接收到一个“发布实例包”，有权限的人员可继续将包中的资源发布到对应的子产品中。另外，在发布方创建工单时，支持设置策略，可实现工单审批通过后立即自动发布到子产品的功能。

在线场景下的发布流程如下图：

离线场景下的发布流程如下图：

如下图，为发布中心和其它子产品的协作流程图：

发布模式

客户在数据平台采购规模、团队对数据平台的维护模式上会有一些差异，因此在多环境发布场景下，也会有不同形态。下方表格介绍了平台现有架构下，可支持的6种发布模式，这些模式具备不同的隔离级别。另外，有些客户会有3套或4套环境，也可以采用不同发布模式进行组合。

下面，先按不同模式独立进行介绍，后面再按目前的一些典型客户的组合模式再进行说明：

模式一：“同集群跨项目组”模式

  • 该种方案是实现多套环境隔离的最经济的方案。

  • 在1个平台，且部署了1个集群的场景下，即可实施该方案。通过在一个集群下创建多个项目，并将项目分组，形成开发项目组和生产项目组。比如图中的项目dev_dw和dev_ods归属到“开发项目组”，项目prd_dw和prd_ods归属到“生产项目组”。数据开发人员在开发项目组的项目下完成任务开发，并发布到生产项目组。

  • 但是，采用该方案对数据开发人员使用有一些规则约束。该种模式下，由于同集群下Yarn队列和Hive库仅可归属到一个项目，因此对于同集群跨项目发布时，发布方和接收方所使用的Yarn队列和Hive库是不同的。因此在SQL编写时，对于使用的Hive库，需要使用参数的方式来指定，并需要配合使用参数组。在发布时，通过参数组的替换，可实现在发布方的任务实际操作发布方的Hive库，接收方实际操作接收方的Hive库。

  • 具体上述场景，在使用指南中。

模式二：“同集群跨项目”模式

  • 该种方案和模式一类似，唯一的区别是，4个项目都归属到一个项目组。

模式三：“同项目跨集群”模式

  • 该种方案相比上一种方案，需要多部署一套集群，对数据开发人员不需要有特殊的规则约束。

  • 在1个平台，且部署了2个集群的场景下，可实施该方案。通过一个项目在2个集群上都开通，从而得到用作开发环境的“项目-集群”和用于生产的“项目-集群”，且项目名称相同。

模式四：“跨项目跨集群”模式

  • 该种方案和上一种方案相比，部署上没有区别，仅在平台的项目配置上有一些差异。

  • 在1个平台，且部署了2个集群的场景下，可实施该方案。仅需要创建1个项目组（比如叫“中台项目组”），在该项目组下，创建一个用作开发环境的项目（比如叫“dev_dw”），并在开发集群上开通。再在该项目组下，创建一个用作生产环境的项目（比如叫“prd_dw”），并在生产集群上开通。

模式五：“跨项目组跨集群”模式

  • 该种方案和上一种方案相比，差别主要是发布方和接收方的项目是否在同一个项目组。

  • 在1个平台，且部署了2个集群的场景下，可实施该方案。首先需要创建2个项目组，在项目组1（比如叫“中台项目组”）中，创建一个用作开发环境的项目（比如叫“dev_dw”），并在开发集群上开通。再在项目组2（比如叫“中台生产项目组”）中，创建一个用作生产环境的项目（比如叫“prd_dw”），并在生产集群上开通。

模式六：“跨平台”模式

  • 该种方案的投入成本最高，但是隔离性最高。

  • 在2个平台，且每个平台部署了1个集群的场景下，可实施该方案。通过在用作开发环境的平台上创建开发项目，在用作生产环境的平台上创建生产项目，得到发布方和接收方的“项目-集群”的名称都相同的环境。

  • 该种模式下，可采用在线发布和离线导出导入的方式，解决网络互通和网络隔离场景下的资源发布。

  • 使用注意事项：两个平台下，项目和集群建议都采用相同的命名。