实时计算
实时计算(Alibaba Cloud Realtime Compute,Powered by Ververica)是天润智力提供的基于 Apache Flink 构建的企业级大数据计算平台。在 PB 级别的数据集上可以支持亚秒级别的处理延时,赋能用户标准实时数据处理流程和行业解决方案;支持 Datastream API 作业开发,提供了批流统一的 Flink SQL,简化 BI 场景下的开发;可与用户已使用的大数据组件无缝对接,更多增值特性助力企业实时化转型。
共享模式(包年包月)购买 独享模式(包年包月)购买 独享模式(按量付费)购买 案例与解决方案
-
SQL化
提供SQL语义的流式数据分析能力(Blink SQL),大幅降低流数据分析门槛,十分钟轻松完成双十一大屏
-
开发平台
业界首创的全链路流计算开发平台,涵盖从数据采集到数据生产,力保流计算开发严谨可靠
-
Data Lake功能
独享模式支持DataLake场景下的数据清洗,数据分析,数据同步,异构数据源计算等功能
-
UDX开放
独享模式可开放UDF/UDAF/UDTF接口,为用户提供更强大的数据处理能力。
-
SQL化
提供SQL语义的流式数据分析能力(Blink SQL),大幅降低流数据分析门槛,十分钟轻松完成双十一大屏
-
开发平台
业界首创的全链路流计算开发平台,涵盖从数据采集到数据生产,力保流计算开发严谨可靠
-
Data Lake功能
独享模式支持DataLake场景下的数据清洗,数据分析,数据同步,异构数据源计算等功能
-
UDX开放
独享模式可开放UDF/UDAF/UDTF接口,为用户提供更强大的数据处理能力。
精心打造的功能
-
性能优越
高吞吐,高扩展性
性能优越
作业可达百万吞吐,计算可达秒级延迟,让流计算真正规模化、实时化 计算可水平扩展,完全弹性伸缩扩展,让流计算真正弹性化、自动化 关键指标超越Storm的性能6到8倍,计算成本大大低于开源软件,让流计算真正普世化、平民化
-
稳定安全
Exactly-Once,故障自动恢复,资源隔离
稳定安全
Exactly-Once语义保证数据计算不重不丢,数据质量严格保证。 分布式集群计算无单点,故障无需人工干预自动恢复。 计算资源租户隔离,杜绝不同用户间相互干扰。
-
简单易用
SQL语言,在线开发,全面支持UDX
简单易用
SQL无需学习门槛,即学即用、快速上手,让你专注于业务逻辑实现。 提供全托管的在线开发平台,集成流式任务开发、调试、运维,方便易用。 自带多种辅助小功能,包括在线调试、智能提示、在线运维,让开发、运维工作更加贴心顺手
-
功能强大
支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ,以及各种流式及静态数据源关联查询
架构与场景
-
实时计算典型架构
-
实时流数据分析
-
IOT解决方案
-
实时数据分析
-
实时风控
实时计算典型架构
描述
数据源不停产生数据并推送到各类流式数据存储,进而触发流式计算任务进行处理和加工,流计算将计算结果直接推送到终端数据存储,在此基础上提供数据消费服务。
涉及环节
-
数据产生
数据发生源(Web、Sensor、Mobile等)实时产生大量数据。
-
流式存储
消息化的发布与订阅,数据实时进入流计算。
-
流式计算
我们提供完整的web开发运维平台,让您轻松驾驭流计算的能力。
-
数据存储
完美对接多种数据存储,为下游消费做准备。
-
数据消费
只要一个瞬间,您就可以消费结果数据了。
-
实时计算典型架构
实时计算典型架构
数据源不停产生数据并推送到各类流式数据存储,进而触发流式计算任务进行处理和加工,流计算将计算结果直接推送到终端数据存储,在此基础上提供数据消费服务。
涉及环节
-
数据产生
数据发生源(Web、Sensor、Mobile等)实时产生大量数据。
-
流式存储
消息化的发布与订阅,数据实时进入流计算。
-
流式计算
我们提供完整的web开发运维平台,让您轻松驾驭流计算的能力。
-
数据存储
完美对接多种数据存储,为下游消费做准备。
-
数据消费
只要一个瞬间,您就可以消费结果数据了。
-
-
实时流数据分析
实时流数据分析
传统基于批量模型的数据分析无法实时化。流计算提供全链路的实时数据开发平台,无缝对datahub、sls等多种流式数据进行实时分析。同样,通过数加平台DataV、BI报表等组件,用户快速能搭建一套实时流数据分析平台。
流计算特性
-
低门槛
只用掌握SQL就能进行实时分析
-
高性能
流计算阿里内部峰值数据每秒过亿
-
一站式解决
无缝对接数据上下游,一站式解决问题
-
-
IOT解决方案
IOT解决方案
物联网IOT套件可将大数据直接对接流计算和DataHub,流计算可以实时捕获物联网传感器信息并进行实时数据计算,并将产出的实时数据对接IOTHub、监控告警、自定义报表展现。
流计算特性
-
低门槛
SQL+UDF完美解决IoT问题
-
高性能
流计算阿里内部应用峰值每秒过亿
-
扩展性强
设备增加,数据量爆发,流计算通通搞定
-
-
实时数据分析
新华智云
致力于通过大数据及人工智能技术,为内容生产者提供涉及内容采集、编辑、存储、分发等全新闻链路的专有技术,重新定义大数据时代内容生产者的核心竞争力。
解决步骤
-
清洗环节
使用自定义的UDF对数据进行过滤、清洗、结构化等操作
-
统计环节
使用OTS或RDS的维表作为中间状态,用SQL完成了大部分统计
-
存储方面
通过Datahub、OTS的结果表完成了数据的落地
-
其他
在UDX中自行使用Loghub进行了部分日志的采集
-
-
实时风控
凯京信达
司机通过APP提交车贷业务申请,公司大数据团队从客户申请信息、客户渠道信息、第三方征信风险数据、客户移动端实时采集的数据等维度对客户进行风险识别。其中移动端数据涉及到客户的APP操作行为、设备相关数据等,涉及到大量风控模型特征变量的实时计算问题。
客户便利
-
易用性
实时计算简单易用,开发周期短,维护方便
-
一站式服务
实时计算和阿里其他产品很方便对接,数据存储容易
-
实时计算入门实践