资源管理
当开通了项目空间之后,针对不同的分支项目可以设置对应的新集群。资源管理支持对不同集群中的队列注册、集群详情查看、申请开通测试功能等操作。
如果当前项目还有剩余集群资源时,则可申请开通新集群。支持Yarn队列、Impala队列、注册Hive库的注册。
注意: 申请新的队列或注册Hive库都需要平台管理员审批通过。 |
申请开通新集群
点击申请开通新集群,进入新集群配置页面,需要完成集群的选择、存储配额、Hive库名、默认队列以及资源方案的配置。
需要注意的是当前yarn队列支持开启cs调度,可以对某些队列指定标签,并将标签打到指定的机器上,实现离线开发中的数据传输任务在指定的机器上运行(集群类型必须为NDH)。
开启后,CPU配额和内存配额绝对值之后增加展示可用容量占比。涉及到的功能界面包括:新建项目、注册Yarn队列、修改Yarn队列、申请开通测试功能。以此处新建项目界面为例:如果当前选择的集群类型为NDH,选择队列标签后,将在资源配置中展示对应的可用容量占比。
计算方式说明: 1)label超售比:labelFactor = label下所有申请队列内存总和 / label分配内存总和。 2)label下所有申请队列内存总和会根据不同场景选择不同值,比如: a. 新建项目、注册Yarn队列和申请开通测试功能时,该值 = 当前所有已申请通过的队列内存总和 + 当前所选申请队列内存; b. 修改Yarn队列时,该值 = 当前所有已申请通过的队列内存总和 - 当前队列申请内存原值 + 当前队列申请内存修改值; c. 资源详情Yarn Tab页中,该值 = 当前所有已申请通过的队列内存总和; d. 若labelFactor小于等于1.2,labelFactor=1.2。 3)某队列最大容量占比计算方式: 每个时间段内,均可以计算出min(该队列申请内存✖️100%/label分配内存总量,100%),某队列最大容量占比取多个时间段内该值的最大值。 4)某队列最小容量占比计算方式:每个时间段内,均可以计算出该队列申请内存 ✖️100%/(label分配内存总量✖️labelFactor),某队列最小容量占比取多个时间段内该值的最小值。 |
此外,对于CS调度,支持选择队列标签为"< DEFAULT_PARTITION >",该标签下的队列可以使用同集群下标签类型为"Non Exclusive Partition"的空闲资源。当注册Yarn队列时,队列标签支持选择“< DEFAULT_PARTITION >”,该标签实际为空。选择此标签时,该队列可以使用同集群下标签类型为"Non Exclusive Partition"的空闲资源。选择队列标签后,下方展示队列标签的类型,包括"Exclusive Partition"和"Non Exclusive Partition"。"Exclusive Partition"表示该标签下的资源为独占模式;Non Exclusive Partition:表示该标签下的空闲资源可以被同集群下标签为“< DEFAULT_PARTITION >”的队列共享使用。
查看详情
点击查看详情可进行集群资源的查看,主要包括集群队列、Hive库、存储配额。
队列
支持对Yarn队列和Impala队列参数进行查看,包括CPU配额、内存配额、CPU配额可用容量占比、内存配额可用容量占比最大并行任务数等。
Hive库
支持查看Hive库路径、注册新的Hive库、删除Hive库。
存储配额
展示当前存储配额信息,支持修改存储配额。
注册Yarn/Impala队列
在资源管理页面点击注册Yarn队列按钮或者注册Impala队列按钮可以进行相关配置。
注册Yarn队列
注册Yarn队列需要填写队列名称、选择队列资源的配置方案以及配置弹性队列。如果当前开通了测试功能,还需要配置测试队列相关参数。
注册Impala队列
注册Impala队列需要填写队列名称、选择队列资源的配置方式以及请求参数等。
注册Hive库
在资源配置页面点击注册Hive库按钮进入配置页面,进行Hive库的创建。如果当前开启数据测试功能,Hive库类别中支持离线库和测试库。
申请开通测试功能
如果未开通测试功能的集群,可点击按钮进行开通。当已经开通了测试功能,或者已提交了测试功能申请还未审批通过的,又或者已提交了测试功能申请已被拒绝的,则按钮置灰,不可申请测试功能开通。
在申请开通测试功能的工单中,选择想要开通测试功能的Hive库,测试Hive库名将自动以Hive库名_dev进行命名。申请提交之后,工单进入审批流程,审批通过后,即开通测试功能。
资源监控
在资源管理页面中点击资源监控页签可查看资源使用情况。当前资源监控主要分为日CPU使用情况、日内存使用情况、日存储使用情况。因为界面功能一致,这里只介绍日CPU使用情况。
此外支持数据比对、导出Excel、导出图片功能。
在日CPU使用情况和日内存使用情况的图表中,选择集群下的某个队列时,如果为cs调度,纵坐标轴右侧增加展示容量占比。鼠标定位到某个时间点时,展示对应时间点下的实际消耗绝对值、实际消耗容量占比、最大可用容量占比、最小可用容量占比信息。
点击对比后,可以选择任意一个指标进行数据的对比。