Flink从入门到精通100篇(二十三)-基于Apache Flink的爱奇艺实时计算平台建设实践
生活随笔
收集整理的這篇文章主要介紹了
Flink从入门到精通100篇(二十三)-基于Apache Flink的爱奇艺实时计算平台建设实践
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
前言
隨著大數據的快速發展,行業大數據服務越來越重要。同時,對大數據實時計算的要求也越來越高。今天會和大家分享下愛奇藝基于Apache Flink的實時計算平臺建設實踐。
今天的介紹會圍繞下面三點展開:
-
Flink的現狀與改進
-
平臺化的探索和實踐:實時計算平臺
-
Flink業務案例
01Flink的現狀與改進
1. Flink現狀
首先和大家分享下愛奇藝大數據服務的發展史。
-
2012年搭建了第一個Hadoop集群,當時只有大概20幾個節點,使用的計算框架是MapReduce和Hive等
-
到2013,2014年,開始使用Hadoop 2.0,上線了Storm和Spark,由于Storm的使用性和穩定性不夠好,被放棄使用,轉而使用Spark
-
2015年發布了第一個實時計算平臺Europa,上線了Kafka
-
2017年使用了Flink,同時我們基于Spark和Flink打造了流式計算引擎St
總結
以上是生活随笔為你收集整理的Flink从入门到精通100篇(二十三)-基于Apache Flink的爱奇艺实时计算平台建设实践的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 运筹学(最优化理论)学习笔记 | 分支定
- 下一篇: tableau中的那些快捷键,让你的操作