新建表
在数据表页面,支持表的创建。项目组负责人、数据团队管理员、数仓开发可在该页面通过“新建表”按钮进行建表操作。
建表流程
表信息填写
- 在数据表页面,点击“新建表”按钮,进入“创建建表工单”页面;
- 首先进行表信息的配置,对表分层、主题归属、数据源类型、数据源、库、执行人、核心表以及推荐表进行配置。
配置参数 | 描述 |
---|---|
表分层 | 选择需要表所属的分层,用户只能选择有权限建表的分层。 |
数据源类型 | 当前支持Hive、MySQL、Oracle、Greenplum、Vertica、达梦、StarRocks。 |
数据源 | 选择已登记的数据源。 |
库 | 选择表所属的数据库,用户只能选择有权限建表的库。 |
主题归属 | 1. 展示当前用户可选择的主题及其子主题,且选择时需要选择到末级主题。 2. 对于没有子主题的主题域,会置灰不可选择。 3. 如果某个主题域或子主题设置了选择控制,仅允许部分角色可选择,则在下拉列表中不会显示该类主题域或子主题。 |
执行人 | 用于选择工单最终的执行人。如果选择申请人,则以提交工单的用户账号进行执行;如果选择审批人,则由审批人账号进行执行;如果开启了项目账号建表,则使用项目账号来执行。 |
核心表 | 对核心表进行标记,开启并完成表的创建后,会在维度建模(原模型设计中心)和数据地图中显示对应的核心表标记。 |
推荐表 | 对推荐表进行标记,开启并完成表的创建后,开启并完成表的创建后,会在维度建模(原模型设计中心)和数据地图中显示对应的核心表标记。 |
表业务负责人 | 设置表的业务负责人,方便查找业务对接人等 |
说明: 1. 在设置表的主题归属模式上,不同分层的设置方式不同。dim-维表层需通过选择关联维度来获取维度所属的主题域,并作为表的主题归属。 2. 对于非dim层,可通过直接选择一个或多个主题域下的子主题(不能直接归属到主题域)。 |
表基本属性配置
填写完表信息后,会在页面下方出现“表基本属性配置”,需要完成表中文名称、表名、表描述的填写,其中表名配置需要根据表名拼接规则进行填写。
表扩展属性配置(可选)
如果在扩展信息配置页面添加了表扩展属性,可在此处进行相应的配置。
建表时进行配置:
表所属资产目录配置(可选)
支持在建表时,指定表的所属资产目录,如下所示:
通知配置
表创建完成后,可以通知给相关人员。
新建表、修改表均可填写通知人员。
表字段信息配置
表字段信息配置共有三种模式:表单模式、SQL模式以及DML模式。
说明: 当前只有Hive表的创建支持上述三种模式,MySQL、Vertica等外部数据源在建表时只支持表单模式。 |
表单模式
该模式下,用户需要设置字段名称、选择字段类型、设置描述、设置表主键、标准化标签等。其中,不同的分层可配置的标准化标签信息如下:
分层名称 | 可配置项 |
---|---|
dim-维表 | 可配置维度。 |
map-桥阶层 | 可配置维度。 |
dwd-明细层 | 可配置维度和度量。 |
dws-汇总层、ads-应用层、自定义分层 | 1. 可配置维度和指标。 2. 可添加间接关联指标,如添加可通过表的已关联的指标计算得到的指标。 |
说明: 1. 除dwd-明细层中多个字段可配置到相同的维度外,其它层中所有的维度、度量、指标均只可关联一次。 2. 针对可关联到维度和指标的字段,可通过先选择维度和指标的方式,来将对应的维度英文标识或指标标识填充到字段名称中,从而实现更快捷的字段名称的命名,也能将一些命名规范落地到表的设计当中。如果字段名称已经设置,也可以通过字段名称辅助设置功能来替换已有的命名。 |
当前数据标准已和维度建模(原模型设计中心)进行对接,在字段设置时支持添加已创建的数据元作为字段,例如在此处选择证件类型,选择完毕后自动填入证件类型的英文全称作为字段名称,可点击标准化信息快速定位到数据元和数据字典所在列。
此外,为了能够更加便捷的进行数据元快速建模操作,支持通过引用标准导入和文本解析导入生成字段。
引用标准导入的方法可通过点击“引入标准导入”按钮,在弹出的标准选择框中添加已发布的数据元,添加的数据元会进入左侧“已选数据元”界面,可通过拖拽的方式进行排序,点击“确定”按钮即可快速生成字段,字段名称、类型、字段描述、数据元、标准字典等相关信息会自动填充。
说明: 1. 同一数据元可被重复添加。 2. 维度建模(原模型设计中心)选择标准后,会自动回填标准关联的指标。 |
文本解析导入的方法会将输入的字段中文名作为字段描述进行解析,且如果该中文存在对应词根,那么英文名称也自动翻译得到。
点击“确定”按钮后会在字段配置中加入相应的字段。
注意:目前通过“文本解析导入”的方式是批量创建字段的一种方法,它可以帮用户快速匹配相应的词根,但是目前还不支持关联其它的字段信息。 |
如果在表设计规则管理中设置了字段附加列配置,则在此处会显示附加的字段,根据要求进行配置。如果当前字段是枚举字段,则可以在枚举值一栏中输入枚举项,后续均可在数据地图界面查看。点击扩展属性可快速定位到枚举值和来源表所在列。
表的属性配置
表的属性配置包括基础属性配置。基础属性配置是对表的基础属性进行配置,该配置信息的默认数据来源于表设计规则管理中对每个分层的建表默认项设置。
配置完上述步骤后,即可提交工单。如果工单的所属分层配置了自动审批,则系统会自动通过工单并开始建表。如果未设置自动审批,则该表的所属主题审批人会接收到创建表工单申请,审批者审批通过后,系统会自动进行建表。
完成建表后,表将会在主题域页面中对应的分层和主题下出现。同时,在数据地图产品的数仓表导引页面中,也会同步显示该表。
SQL模式
在SQL模式下,目前支持Hive和Impala两种引擎,并提供了建表模板。完成DDL创建之后,单击生成表结构按钮,会进入到字段信息配置页面,页面配置项基本和表单模式下的一致。
DML模式
DML模式下可以通过创建DML的方式来生成最终的表、字段及DML语句。通过DML模式创建的表,可以直接复制DML语句在离线开发中创建任务使用。
DML模式通过完成表之间关联的方式(有left outer join、left semi join、join三种表连接方式)完成DML语句的构造。
该模式具体配置步骤如下:
选择输入表,在“设置输入表”中选择需要进行关联的表,支持项目组级的库表选择。
在“加工准备区”,根据序号①②③④...进行配置。
在①中点击“编辑”按钮,进入编辑界面。
编辑界面,首先在左上角选择表,然后将作为结果集的字段进行勾选,例如此处选择employee_id、employee_name,如果需要添加过滤条件,可在“结果集加工2”中进行输入,配置完成后点击保存即可。
在②处选择表连接方式,根据实际情况进行勾选,例如此处选择join。
在③处点击“编辑”按钮,进入编辑界面。
编辑界面,首先在左上角选择表,然后将作为结果集的字段进行勾选,例如此处选择card_id、employee_id,如果需要添加过滤条件,可在“结果集加工2”中进行输入,配置完成后点击保存即可。
在④处填写关联条件,t1、t2为表名的别称。如果在⑤处的“最终字段组”有添加相应的过滤条件或者聚合条件,则会在此处的where和group by自动补充。
在⑤处点击“编辑”按钮,对最终字段组内容进行勾选。
在编辑页面,进行输入表字段选择,配置完成后点击“保存”按钮。
点击“下一步”进入字段配置页面,字段信息配置页面,页面配置项基本和表单模式下的一致,在此页面配置完成后便可进行建表工单的提交。
如果此时用户为新建表所属主题域的负责人,则在工单管理中的待审批页面,看到表的审批申请,此时对象配置模式不再是表单模式而是DML模式。
通过DML模式创建的表,可在表工单页面中查看并复制表的DML语句。