登记数据源
使用前提
项目组负责人、项目组管理员有登记数据源的权限,项目负责人、项目管理员可在安全中心对普通用户授予登记权限。需要注意的是,数据源仅可被其负责人、项目管理员、项目组负责人以及项目组管理员进行复制、编辑和删除。
说明:当前数据源相关的功能权限可前往安全中心的【角色管理-任意项目级角色 (如管理员) -功能权限-元数据中心】中进行添加。数据源的相关权限包括登记、数据源读功能、数据源写功能。 |
数据源登记流程
数据源登记包括以下几个环节:
- 选择需要登记的数据源类型;
- 填写登记信息;
- 测试连接;
- 如果测试通过,则数据源登记成功;反之,检查并重新编辑数据源登记信息再进行连通性测试。
选择需要登记的数据源类型
- 在数据传输页面,单击左侧菜单栏数据源管理,将跳转至项目中心(新)- 数据源管理页面;
- 单击登记数据源按钮,选择需登记的数据源类型图标。
填写登记信息
根据要求填写数据源登记信息(此处界面以MySQL为例):
基础信息 | 说明 |
---|---|
源系统账号鉴权 | 开启后,项目组内用户需要配置对应的源系统账号和密码,否则操作该数据源时会因无权限失败,默认为关闭。数据源创建后,此项不可修改! |
数据源名称 | 新建数据源的名称,要求数据长度为1-128个字符。 |
数据源标识 | 仅允许包含英文小写、数字、下划线,只允许英文小写开头,最大长度为64个字符。平台内唯一,保存数据源后数据标识不可修改。 |
归属项目 | 选择对应的项目,默认为当前项目。 |
归属逻辑数据源 | 此处无需配置,只是用于后续绑定逻辑数据源后进行查看。 |
负责人/管理员 | 有该数据源的管理权限,包括编辑、设置“源系统账号映射”(需开启“源系统账号鉴权”)。 |
使用授权 | 数据源支持对项目组内所有项目或指定项目进行使用授权。未被授权的项目,将无法使用该数据源进行配置。 |
版本 | 1. 数据源的版本,例如,数据源为MySQL 5.7,此处选择为5。 2. 不同数据源类型此处枚举值不同。 |
数据源连接 | 1. 访问数据库的连接方式。 2. 以MySQL为例,此处需要填写数据库名称、IP 、端口等信息,格式为jdbc:mysql://ServerIP:Port/Database。 |
用户名 | 访问数据库的用户名。 |
密码 | 访问数据库的密码。 |
连通性测试 | 配置完成后可通过测试确认和元数据中心的连通情况。 |
源系统账号鉴权说明: 1. 开启后,支持对该数据源配置当前平台账号和该数据源的系统账号的映射关系,实现用户在离线开发中运行任务操作数据源时,使用该用户的本平台账号所映射的源系统账号执行; 2. 当前MySQL、Veritca、Oracle、GreenPlum、DB2、DM、ElasticSearch、GaussDB、Oceanbase、SQLServer、StarRocks、TDSQL、TelePG、Vastbase G100这几个数据源支持该功能。 |
测试连接
测试连接有两种方式:第一种是在登记数据源时进行测试,第二种是对已登记的数据源在数据源管理页面中进行测试。
测试方式一:
在数据源登记下方的连通性测试,点击“测试连接”按钮进行测试。
测试方式二:
- 登记完成后,在数据源管理列表的操作栏中单击测试连接按钮;
- 待测试完成后,查看状态数据源连接,如状态为测试通过,则表示元数据中心服务可正常访问登记的数据源信息,正确获取数据库表内容。
测试通过:
如果测试失败或部分通过可查看失败原因,单击测试失败旁边的图标,在连通性测试详情页中查看失败原因。
测试失败:
说明:仅数据源负责人和管理员、项目组负责人和项目组管理员拥有数据源的编辑、删除和测试连接权限。 |
源系统账号映射
目前,MySQL、Veritca、Oracle、GreenPlum、DB2、DM、ElasticSearch、GaussDB、Oceanbase、SQLServer、StarRocks、TDSQL、TelePG、Vastbase G100这几种数据源,支持在登记的时开启源系统账号映射功能。
开启该数据源的源系统账号映射后,支持对该数据源配置当前平台账号和该数据源的系统账号的映射关系,实现在离线开发任务中操作数据源时,使用执行者的本平台账号所映射的源系统账号执行。如果未配置账号映射,或者配置的账号权限过少,则会阻断任务的运行。
源系统账号鉴权开关,仅在首次登记数据源时可配置生效,保存后不可修改。对于开启的数据源,保存后会自动进入该数据源的详情页。
如下图,为开启源系统账号鉴权的数据源的数据源详情页,该数据源负责人、该数据源的协助管理者、项目负责人,可以编辑该数据源,添加本平台账号和源系统账号的映射关系。
说明:数据传输、离线开发、实时开发、自助分析、数据服务、数据质量中心、模型设计中心已对接源系统账号映射功能,执行时会使用执行的本平台账号所映射的源系统账号。 注意: 1、数据传输的离线同步任务和数据导入默认未开启源系统账号映射,即执行任务时使用数据源登记的账号;数据传输的实时同步任务默认开启源系统账号映射,即执行任务时使用执行的本平台账号所映射的源系统账号。如离线同步任务和数据导入需开启源系统账号映射功能请在Ops配置开启,Ops配置文档详见:Ops配置操作及说明文档。 2、数据服务执行时默认未开启源系统账号映射,即执行任务时使用数据源登记的账号。如数据服务需开启源系统账号映射功能请在Ops配置开启,Ops配置文档详见:Ops配置操作及说明文档。 |
在安全中心将数据源授权给某些角色后,这类角色可以在离线开发中,使用MySQL、Veritca、Oracle、GreenPlum、DB2、DM、ElasticSearch、GaussDB、Oceanbase、SQLServer、StarRocks、TDSQL、TelePG、Vastbase G100等节点,连接对应的数据源进行SQL操作,这里的引用详情也会显示引用信息。
引用详情
在引用详情中,还会显示数据服务和数据传输的的引用内容。如下图,为查看某个数据源的引用详情:
定期测试连接
1、在项目组配置模块,支持由项目组负责人或项目组管理员在项目组配置-数据源管理-定期测试连接默认配置:新增数据源测试连接策略和定期自动测试连接默认配置。
- 新增数据源测试连接策略:指项目组后续新增数据源时,测试连接策略默认为仅手动测试连接还是定期自动测试连接,不针对历史已登记的数据源生效。
- 定期自动测试连接默认配置:针对单个数据源设置定期测试连接的测试连接配置和批量设置测试连接策略的测试连接配置的默认值均从此取值。
2、支持针对单个数据源或数据源批量设置测试连接策略。
针对开启定期测试连接的数据源,会根据设置的频率定期对数据源测试连接,每日首次测试时间为00:00。如果测试连接失败或部分通过,会根据设置的报警接收方式向报警接收人发送报警。