产品简介

实时开发(Easystream)是基于 Apache Flink 构建的高性能、一站式实时大数据处理平台,广泛适用于流式数据处理场景,通过标准 SQL 服务和更高级的代码定制服务,提供低门槛,专业化的实时开发 IDE。

产品特点

全链路覆盖

开箱即用,覆盖实时采集、实时开发、实时运维全流程,一站式实现实时业务场景的全生命周期落地与管理需求。

Web IDE

强大的 IDE 功能,支持用户使用代码、SQL等多种方式开发实时开发任务,依托于成熟的版本管理功能,实现任务历史版本可视化对比,快速回退,提供数据上传调试和在线调试两种方案,快速验证任务正确性。

统一元数据

与离线数仓共享元数据中心,使用统一数据模型抽象流表和批表,实现元数据流批一体和任务间模型复用,用户无需构造 DDL,专注于核心业务流程,极大提升效能,基于统一元数据提供了全链路血缘。

多数据源适配

支持主流消息队列:包含 Kafka、RocketMQ 等;支持各种异构数据源类型,包括 HDFS、Hive、hbase、kudu、Redis、es、tsdb、MySQL、Oracle 等。

全周期报警监控

提供任务 QPS、Checkpoint、反压、数据延迟、滞留、进程资源等多种维度的指标监控,提供丰富的自定义报警配置,基于任务全生命周期的事件和指标监控,构造任务大盘,提供汇总指标。

实时采集

通过数据库自动入湖和流批一体技术,为业务数据库无感知地构造镜像实时数仓,开发任务时像访问数据库一样访问数据仓库,提供库仓一体化体验,免除复杂的数据库 ETL 操作和鉴权流程,极大提升效能。

湖仓一体

基于 Hive 和流批一体技术支持 upsert,做到分钟级数据延迟,兼容 parquet、orc 等高性能列存格式,将 95% 以上的数仓 AP 场景保留在数据湖中,避免引入 Kudu,Clickhouse,Greenplum 等独立组件加深数据孤岛现象。

任务智能诊断及运维

通过任务全生命周期的事件和指标监控,基于启发式的任务诊断规则,自动识别异常任务,对任务异常提供处理建议,降低任务运维难度,提升整体效能。可根据任务执行情况和资源占用情况,智能对任务进行参数变更,提高资源利用率。

产品架构

应用场景

解决方案