Flink 靠什么征服饿了么工程师?

  • 时间:
  • 浏览:1
  • 来源:大发欢乐生肖APP下载_大发欢乐生肖APP官网

1) at-most-once:即fire and forget,你们通常写有另2个多多java的应用,不去考虑源头的offset管理,假如有一天去考虑

在讲述你们应用场景已经,先强调实时计算有另2个多多重要概念, 一致性语义:

来源于多个数据源的数据写到kafka里,计算引擎主假如有一天Storm,Spark和Flink,计算引擎出来的结果数据再落地到各种存储上。

平台现状

应用场景

目前Storm任务为宜有400多个,Spark任务有400个左右,Flink暂时还比较少。

1.一致性语义

目前你们集群规模每天数据量有400TB,计算次数有4000000000,节点有400个。这里要提一下,Spark和Flink时会on yarn的,其中Flink onyarn主假如有一天用作任务间jobmanager隔离, Storm是standalone模式。

下面是目前饿了么平台现状架构图: