大数据,从青铜到王者
一.大數(shù)據(jù)方向工作介紹
大數(shù)據(jù)方向的工作目前分為三個(gè)主要方向:
01.大數(shù)據(jù)工程師
02.數(shù)據(jù)分析師
03.大數(shù)據(jù)科學(xué)家
04.其他(數(shù)據(jù)挖掘本質(zhì)算是機(jī)器學(xué)習(xí),不過(guò)和數(shù)據(jù)相關(guān),也可以理解為大數(shù)據(jù)的一個(gè)方向吧)
二.大數(shù)據(jù)工程師的技能要求
總結(jié)如下:
必須技能10條:
1.Java高級(jí)(虛擬機(jī)、并發(fā))
2.Linux 基本操作
3.Hadoop(此處為俠義概念單指HDFS+MapReduce+Yarn )
4.HBase(JavaAPI操作+Phoenix )
5.Hive(Hql基本操作和原理理解)
6.Kafka
7.Storm
8.Scala需要
9.Python
10.Spark (Core+sparksql+Spark streaming )
11.一些小工具(Sqoop等)
高階技能6條:
1.機(jī)器學(xué)習(xí)算法以及mahout庫(kù)加MLlib
2.R語(yǔ)言
3.Lambda 架構(gòu)
4.Kappa架構(gòu)
5.Kylin
6.Aluxio
為了幫助大家更好的了解大數(shù)據(jù)的學(xué)習(xí)方向,特別拿出了某廠大佬整理的《大數(shù)據(jù)全棧工程師成長(zhǎng)手冊(cè)》電子稿文件,內(nèi)容涵蓋:數(shù)據(jù)的采集、數(shù)據(jù)預(yù)處理、分布式存儲(chǔ)、NoSQL數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、Hadoop、并行計(jì)算、Flink等技術(shù)棧!
(496頁(yè)含答案)
注:篇幅有限,資料已經(jīng)整理到網(wǎng)盤了 , 可直接添加助理微信,免費(fèi)獲取。
所有資料掃碼免費(fèi)領(lǐng)取(網(wǎng)盤資源容易被和諧,建議需要的盡快領(lǐng)取)限時(shí)福利
實(shí)時(shí)數(shù)據(jù)處理
離線數(shù)據(jù)處理
大數(shù)據(jù)大廠面試題
所有資料掃碼免費(fèi)領(lǐng)取(網(wǎng)盤資源容易被和諧,建議需要的盡快領(lǐng)取)總結(jié)
以上是生活随笔為你收集整理的大数据,从青铜到王者的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 如何在DevSecOps道路上快速、安全
- 下一篇: 2019年中国IaaS公有云市场排名及份