租户、工作空间、集群关系
更新时间: 2024-12-04 15:36:17
在网易产品体系中,租户的概念,其实有两重含义,其一它是资源管理的基本单元,也就是说所有的计算集群,数据源,都在租户层级进行统一的管理,成本也按照租户的粒度进行结算。其二,它是资源隔离的基本单元,租户与租户之间不存在任务依赖、资源的共享,租户之间保持绝对的独立和隔离。一个租户,可以认为是一个数据中台,企业有几个数据中台,即可以认为需要设置几个租户。在网易,由于数据中台构建在事业线级别,所以像音乐、严选、新闻、有道都是不同的租户。
在租户内部,管理员可以创建多个工作空间,工作空间管理的是任务、人、角色和权限,一般工作空间对应的是不同的组织部门,这些组织部门共享同一个数据中台,不同工作空间之间可以资源共享,任务相互依赖。例如在严选,数据中台部门是一个工作空间,不同的业务部门,例如商品中心、供应链部门都可以是一个工作空间,商品中心的工作空间可以依赖数据中台工作空间的任务和数据。
集群,其实是catalog的概念,在物理上具体表现为一个hive metastore。一个租户内,一般只有一个集群,也可以支持多个集群,一个集群只能归属于一个租户。不同的工作空间可以共享同一个集群,也可以挂载不同的集群,租户管理员在创建工作空间后,可以为工作空间配置默认集群。