作文档>生活经验>数码

flink和spark对比

更新时间:

1、技术理念不同:Spark的技术理念是使用微批来模拟流的计算,基于Micro-batch,数据流以时间为单位被切分为一个个批次,通过分布式数据集RDD进行批量处理,是一种伪实时。而Flink是基于事件驱动,它是一个面向流的处理框架, Flink基于每个事件一行一行地流式处理,是真正的流式计算。 另外他也可以基于流来模拟批进行计算实现批处理,在技术上具有更好的扩展性。

2、时间机制:SparkStreaming只支持处理时间, 折中地使用processing time来近似地实现event time相关的业务。使用processing time模拟event time必然会产生一些误差, 特别是在产生数据堆积的时候,误差则更明显,甚至导致计算结果不可用,Structured streaming 支持处理时间和事件时间,同时支持 watermark 机制处理滞后数据Flink 支持三种时间机制:事件时间、注入时间、处理时间、同时支持 watermark 机制处理迟到的数据,说明Flink在处理乱序大实时数据的时候,优势比较大。


flink和spark对比相关文章:

麒麟710和麒麟960对比

惠普佳能打印一体机哪个好 佳能和惠普打印机对比

诺基亚5230和诺基亚700详细对比

精工和西铁城的对比

iphone14外观和13一样吗 苹果iPhone14和13对比区别是什么

夏普和海信电视哪个好 夏普和海信电视对比

王者荣耀杨戬和钟馗对比哪个好用

复兴号和和谐号的区别?复兴号与和谐号六大设施对比

液晶电视与OLED优势对比 LED电视和OLED电视哪个好

tcl电视和小米电视对比 哪款性价比高呢

flink和spark对比

1、技术理念不同:Spark的技术理念是使用微批来模拟流的计算,基于Micro-batch,数据流以时间为单位被切分为一个个批次,通过分布式数据集RDD进行批量...
推荐度:
点击下载文档文档为doc格式

精选图文