流表简介
更新时间: 2024-12-04 15:36:28
流表简介
实时流表是对于真实数据源的数据结构的抽象模型,通过在数据源登记平台输入数据的 schema 信息、数据源信息、以及序列化信息,登记完成以后可以直接在 SQL 中使用 [库].[表] 的方式访问,一处登记,多处使用。用户只需要通过[库].[表]的方式直接使用即可,无需再关注复杂的数据源信息,字段模型,数据源配置等信息。同时对流表的修改一次修改全局生效,无需每个任务逐个修复。
应用场景
实时开发sql任务的场景,在高频使用的物理表以及字段频繁修改的流表场景可以很大程度减轻开发负担。
支持的数据源类型引擎版本、支持的表类型,表格
数据源 | 支持的引擎版本 | 支持的表类型 |
---|---|---|
Kafka | Flink1.12、Flink1.14 | 源表、目标表 |
Pulsar | Flink1.12、Flink1.14 | 源表、目标表 |
RocketMQ | Flink1.12、Flink1.14 | 源表、目标表 |
MySQL | Flink1.12、Flink1.14 | 源表、维表、目标表 |
Oracle | Flink1.12、Flink1.14 | 源表、维表、目标表 |
ElasticSearch | Flink1.12、Flink1.14 | 维表、目标表 |
HBase | Flink1.12、Flink1.14 | 源表、维表、目标表 |
Kudu | Flink1.12、Flink1.14 | 目标表 |
Iceberg | Flink1.14 | 源表、目标表 |
StarRocks | Flink1.14 | 源表、维表、目标表 |
名词解释
1.流表:实时计算中对于物理表模型的抽象。
2.数据源:真实的物理数据实例。
3.源表:实时任务重作为source源端的表。
4.目标表:实时任务重作为sink目标端的表。