大數(shù)據(jù)需要(大數(shù)據(jù)入門需學(xué)習(xí)哪些)

1.大數(shù)據(jù)入門需學(xué)習(xí)哪些基礎(chǔ)知識(shí)

前言，學(xué)大數(shù)據(jù)要先換電腦：

保證電腦4核8G內(nèi)存64位操作系統(tǒng)，盡量有ssd做系統(tǒng)盤，否則卡到你喪失信心。硬盤越大越好。

1，語言要求

java剛?cè)腴T的時(shí)候要求javase。

scala是學(xué)習(xí)spark要用的基本使用即可。

后期深入要求：

java NIO,netty，多線程，ClassLoader,jvm底層及調(diào)優(yōu)等，rpc。

2，操作系統(tǒng)要求

linux 基本的shell腳本的使用。

crontab的使用，最多。

cpu，內(nèi)存，網(wǎng)絡(luò)，磁盤等瓶頸分析及狀態(tài)查看的工具。

scp,ssh,hosts的配置使用。

telnet,ping等網(wǎng)絡(luò)排查命令的使用

3,sql基本使用

sql是基礎(chǔ)，hive,sparksql等都需要用到，況且大部分企業(yè)也還是以數(shù)據(jù)倉(cāng)庫(kù)為中心，少不了sql。

sql統(tǒng)計(jì)，排序，join,group等，然后就是sql語句調(diào)優(yōu)，表設(shè)計(jì)等。

4，大數(shù)據(jù)基本了解

Zookeeper,hadoop,hbase,hive,sqoop,flume,kafka,spark,storm等這些框架的作用及基本環(huán)境的搭建，要熟練，要會(huì)運(yùn)維，瓶頸分析。

5,mapreduce及相關(guān)框架hive,sqoop

深入了解mapreduce的核心思想。尤其是shuffle,join，文件輸入格式，map數(shù)目，reduce數(shù)目，調(diào)優(yōu)等。

6,hive和hbase等倉(cāng)庫(kù)

hive和hbase基本是大數(shù)據(jù)倉(cāng)庫(kù)的標(biāo)配。要回用，懂調(diào)優(yōu)，故障排查。

hbase看浪尖hbase系列文章。hive后期更新。

7，消息隊(duì)列的使用

kafka基本概念，使用，瓶頸分析?？蠢思鈑afka系列文章。

8，實(shí)時(shí)處理系統(tǒng)

storm和spark Streaming

9,spark core和sparksql

spark用于離線分析的兩個(gè)重要功能。

10，最終方向決策

a），運(yùn)維。（精通整套系統(tǒng)及故障排查，會(huì)寫運(yùn)維腳本啥的。）

b），數(shù)據(jù)分析。（算法精通）

c），平臺(tái)開發(fā)。（源碼精通）

自學(xué)還是培訓(xùn)？

無基礎(chǔ)的同學(xué)，培訓(xùn)之前先搞到視頻通學(xué)一遍，防止盲目培訓(xùn)跟不上講師節(jié)奏，浪費(fèi)時(shí)間，精力，金錢。

有基礎(chǔ)的盡量搞點(diǎn)視頻學(xué)基礎(chǔ)，然后跟群里大牛交流，前提是人家愿意，

想辦法跟大牛做朋友才是王道。

2.大數(shù)據(jù)課程需要什么基礎(chǔ)

學(xué)科知識(shí)：從數(shù)據(jù)分析涉及到的專業(yè)知識(shí)點(diǎn)上看，主要是這些：

(1)統(tǒng)計(jì)學(xué)：參數(shù)檢驗(yàn)、非參檢驗(yàn)、回歸分析等

(2)數(shù)學(xué)：線性代數(shù)、微積分等

(3)社會(huì)學(xué)：主要是一些社會(huì)學(xué)量化統(tǒng)計(jì)的知識(shí)，如問卷調(diào)查與統(tǒng)計(jì)分析；還有就是一些社會(huì)學(xué)的知識(shí)，這些對(duì)于從事營(yíng)銷類的數(shù)據(jù)分析人員比較有幫助

(4)經(jīng)濟(jì)金融：如果是從事這個(gè)行業(yè)的數(shù)據(jù)分析人員，經(jīng)濟(jì)金融知識(shí)是必須的，這里就不多說了

(5)計(jì)算機(jī)：從事數(shù)據(jù)分析工作的人必須了解你使用的數(shù)據(jù)是怎么處理出來的，要了解數(shù)據(jù)庫(kù)的結(jié)構(gòu)和基本原理，同時(shí)如果條件充足的話，你還能有足夠的能力從數(shù)據(jù)庫(kù)里提取你需要的數(shù)據(jù)，這種提取數(shù)據(jù)分析原材料的能力是每個(gè)數(shù)據(jù)從業(yè)者必備的。

3.學(xué)大數(shù)據(jù)需要什么基礎(chǔ)

說到大數(shù)據(jù)，肯定少不了分析軟件，這應(yīng)該是大數(shù)據(jù)工作的根基，但市面上很多各種分析軟件，如果不是過來人，真的很難找到適合自己或符合企業(yè)要求的。

小編通過各大企業(yè)對(duì)大數(shù)據(jù)相關(guān)行業(yè)的崗位要求，總結(jié)了以下幾點(diǎn)：（1）SQL數(shù)據(jù)庫(kù)的基本操作，會(huì)基本的數(shù)據(jù)管理（2）會(huì)用Excel/SQL做基本的數(shù)據(jù)分析和展示（3）會(huì)用腳本語言進(jìn)行數(shù)據(jù)分析，Python or R(4)有獲取外部數(shù)據(jù)的能力，如爬蟲（5）會(huì)基本的數(shù)據(jù)可視化技能，能撰寫數(shù)據(jù)報(bào)告（6）熟悉常用的數(shù)據(jù)挖掘算法：回歸分析、決策樹、隨機(jī)森林、支持向量機(jī)等對(duì)于學(xué)習(xí)大數(shù)據(jù)，總體來說，先學(xué)基礎(chǔ)，再學(xué)理論，最后是工具。基本上，每一門語言的學(xué)習(xí)都是要按照這個(gè)順序來的。

1、學(xué)習(xí)數(shù)據(jù)分析基礎(chǔ)知識(shí)，包括概率論、數(shù)理統(tǒng)計(jì)?；A(chǔ)這種東西還是要掌握好的啊，基礎(chǔ)都還沒扎實(shí)，知識(shí)大廈是很容易倒的哈。

2、你的目標(biāo)行業(yè)的相關(guān)理論知識(shí)。比如金融類的，要學(xué)習(xí)證券、銀行、財(cái)務(wù)等各種知識(shí)，不然到了公司就一臉懵逼啦。

3、學(xué)習(xí)數(shù)據(jù)分析工具，軟件結(jié)合案列的實(shí)際應(yīng)用，關(guān)于數(shù)據(jù)分析主流軟件有（從上手度從易到難）：Excel,SPSS,stata,R,Python,SAS等。4、學(xué)會(huì)怎樣操作這些軟件，然后是利用軟件從數(shù)據(jù)的清洗開始一步步進(jìn)行處理，分析，最后輸出結(jié)果，檢驗(yàn)及解讀數(shù)據(jù)。

當(dāng)然，學(xué)習(xí)數(shù)學(xué)與應(yīng)用數(shù)學(xué)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)科學(xué)與技術(shù)等理工科專業(yè)的人確實(shí)比文科生有著客觀的優(yōu)勢(shì)，但能力大于專業(yè)，興趣才會(huì)決定你走得有多遠(yuǎn)。畢竟數(shù)據(jù)分析不像編程那樣，需要你天天敲代碼，要學(xué)習(xí)好多的編程語言，數(shù)據(jù)分析更注重的是你的實(shí)操和業(yè)務(wù)能力。

如今的軟件學(xué)習(xí)都是非常簡(jiǎn)單便捷的，我們真正需要提升的是自己的邏輯思維能力，以及敏銳的洞察能力，還得有良好的溝通表述能力。這些都是和自身的努力有關(guān)，而不是單純憑借理工科背景就可以啃得下來的。

相反這些能力更加傾向于文科生，畢竟好奇心、創(chuàng)造力也是一個(gè)人不可或缺的。

4.大數(shù)據(jù)分析需要學(xué)習(xí)什么知識(shí)呀

1、學(xué)習(xí)大數(shù)據(jù)首先要學(xué)習(xí)Java基礎(chǔ)

怎樣進(jìn)行大數(shù)據(jù)學(xué)習(xí)的快速入門？學(xué)大數(shù)據(jù)課程之前要先學(xué)習(xí)一種計(jì)算機(jī)編程語言。Java是大數(shù)據(jù)學(xué)習(xí)需要的編程語言基礎(chǔ)，因?yàn)榇髷?shù)據(jù)的開發(fā)基于常用的高級(jí)語言。而且不論是學(xué)習(xí)hadoop，還是數(shù)據(jù)挖掘，都需要有編程語言作為基礎(chǔ)。因此，如果想學(xué)習(xí)大數(shù)據(jù)開發(fā)，掌握J(rèn)ava基礎(chǔ)是必不可少的。

2、學(xué)習(xí)大數(shù)據(jù)必須學(xué)習(xí)大數(shù)據(jù)核心知識(shí)

Hadoop生態(tài)系統(tǒng)；HDFS技術(shù)；HBASE技術(shù)；Sqoop使用流程；數(shù)據(jù)倉(cāng)庫(kù)工具HIVE；大數(shù)據(jù)離線分析Spark、Python語言；數(shù)據(jù)實(shí)時(shí)分析Storm；消息訂閱分發(fā)系統(tǒng)Kafka等。

如果把大數(shù)據(jù)比作容器，那么這個(gè)容器的容量無限大，什么都能往里裝，大數(shù)據(jù)離不開物聯(lián)網(wǎng)，移動(dòng)互聯(lián)網(wǎng)，大數(shù)據(jù)還和人工智能、云計(jì)算和機(jī)器學(xué)習(xí)有著千絲萬縷的關(guān)系，大數(shù)據(jù)海量數(shù)據(jù)存儲(chǔ)要高擴(kuò)展就離不開云計(jì)算，大數(shù)據(jù)計(jì)算分析采用傳統(tǒng)的機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘技術(shù)會(huì)比較慢，需要做并行計(jì)算和分布式計(jì)算擴(kuò)展。

3 數(shù)學(xué)知識(shí)，數(shù)學(xué)知識(shí)是數(shù)據(jù)分析師的基礎(chǔ)知識(shí)。對(duì)于數(shù)據(jù)分析師，了解一些描述統(tǒng)計(jì)相關(guān)的內(nèi)容，需要有一定公式計(jì)算能力，了解常用統(tǒng)計(jì)模型算法。而對(duì)于數(shù)據(jù)挖掘工程師來說，各類算法也需要熟練使用，對(duì)數(shù)學(xué)的要求是最高的。

編程語言，對(duì)于想學(xué)大數(shù)據(jù)的同學(xué)，至少需要具備一門編程語言，比如SQL、hadoop、hive查詢、Python等均可。

4、學(xué)習(xí)大數(shù)據(jù)可以應(yīng)用的領(lǐng)域

大數(shù)據(jù)技術(shù)可以應(yīng)用在各個(gè)領(lǐng)域，比如公安大數(shù)據(jù)、交通大數(shù)據(jù)、醫(yī)療大數(shù)據(jù)、就業(yè)大數(shù)據(jù)、環(huán)境大數(shù)據(jù)、圖像大數(shù)據(jù)、視頻大數(shù)據(jù)等等，應(yīng)用范圍非常廣泛，大數(shù)據(jù)技術(shù)已經(jīng)像空氣一樣滲透在生活的方方面面。大數(shù)據(jù)技術(shù)的出現(xiàn)將社會(huì)帶入了一個(gè)高速發(fā)展的時(shí)代，這不僅是信息技術(shù)的終極目標(biāo)，也是人類社會(huì)發(fā)展管理智能化的核心技術(shù)驅(qū)動(dòng)力。

5.學(xué)習(xí)大數(shù)據(jù)需要什么基礎(chǔ)

學(xué)習(xí)大數(shù)據(jù)要有一定的編程基礎(chǔ)，這是大數(shù)據(jù)大部分崗位都需要的。

目前從事大數(shù)據(jù)方向的程序員比較普遍使用的語言有四種，分別是Python、Java、Scala和R，這四種語言都有一定的應(yīng)用場(chǎng)景，不同崗位的程序員使用的語言也稍有不同。Python目前主要是應(yīng)用在數(shù)據(jù)分析、數(shù)據(jù)挖掘和算法實(shí)現(xiàn)上，可以說大數(shù)據(jù)領(lǐng)域Python的應(yīng)用是比較普遍的。

Java目前在大數(shù)據(jù)領(lǐng)域的應(yīng)用還是跟平臺(tái)有直接關(guān)系，通常在需要高性能的數(shù)據(jù)處理部分采用Java開發(fā)。Scala和R主要是基于場(chǎng)景的應(yīng)用多一些，Scala構(gòu)建在Java基礎(chǔ)之上，代碼結(jié)構(gòu)要比Java簡(jiǎn)潔一些，同時(shí)Scala是Spark的實(shí)現(xiàn)語言，在與Spark相關(guān)的開發(fā)中使用Scala是比較方面的選擇。

R語言本身的特點(diǎn)就是統(tǒng)計(jì)分析，語法簡(jiǎn)單且功能強(qiáng)大，是做大數(shù)據(jù)統(tǒng)計(jì)分析的一把利器。

6.大數(shù)據(jù)需要什么基礎(chǔ)

看你做哪個(gè)方面的大數(shù)據(jù)工作，如果是統(tǒng)籌方面（比如數(shù)據(jù)建模（分析）之類）的，那么數(shù)學(xué)的功底是一定要有的，不然怎么做建模和分析。

如果是數(shù)據(jù)篩選一類的，那么邏輯學(xué)和社會(huì)學(xué)是一定要有所基礎(chǔ)的，不一定要很精通，但是基礎(chǔ)一定要有。大數(shù)據(jù)的數(shù)據(jù)本身是無意義的，能從大數(shù)據(jù)中提取出想要的數(shù)據(jù)，就是數(shù)據(jù)篩選要做的，那么如果邏輯學(xué)和社會(huì)學(xué)不過關(guān)或者不扎實(shí)，那么可能這部分?jǐn)?shù)據(jù)與需要的數(shù)據(jù)有關(guān)，但是察覺不到，可能這部分?jǐn)?shù)據(jù)和需要的數(shù)據(jù)無關(guān)，但是又被放在了里面（等于增加了無用功），這都不是好現(xiàn)象。而這部分就需要邏輯學(xué)和社會(huì)學(xué)。

如果是具體的操作，比如數(shù)據(jù)可視化，那就沒什么說的了，編程能力，理解能力，這些是大頭。

還有數(shù)據(jù)治理等等（這個(gè)是數(shù)據(jù)倉(cāng)庫(kù)的概念，放到大數(shù)據(jù)中也可以），這里需要數(shù)據(jù)的敏感度，其實(shí)還是和數(shù)學(xué)有關(guān)，邏輯學(xué)社會(huì)學(xué)等其實(shí)也和數(shù)據(jù)有關(guān)，編程等等也和數(shù)學(xué)有關(guān)，所以我覺得大數(shù)據(jù)需要的基礎(chǔ)是數(shù)學(xué)，當(dāng)然職位（或者說崗位不同）需要的基礎(chǔ)也不同，僅僅操作的話，就簡(jiǎn)單一些，項(xiàng)往上走的話，數(shù)學(xué)的功底就要更扎實(shí)一些。不過都是需要的。

7.學(xué)習(xí)大數(shù)據(jù)應(yīng)該掌握哪些知識(shí)

大數(shù)據(jù)已經(jīng)成為時(shí)代發(fā)展的趨勢(shì)，很多人紛紛選擇學(xué)習(xí)大數(shù)據(jù)，想要進(jìn)入大數(shù)據(jù)行業(yè)。大數(shù)據(jù)技術(shù)體系龐大，包括的知識(shí)較多，系統(tǒng)的學(xué)習(xí)大數(shù)據(jù)可以讓你全面掌握大數(shù)據(jù)技能。學(xué)習(xí)大數(shù)據(jù)需要掌握哪些知識(shí)？

1、學(xué)習(xí)大數(shù)據(jù)首先要學(xué)習(xí)Java基礎(chǔ)

怎樣進(jìn)行大數(shù)據(jù)學(xué)習(xí)的快速入門？學(xué)大數(shù)據(jù)課程之前要先學(xué)習(xí)一種計(jì)算機(jī)編程語言。Java是大數(shù)據(jù)學(xué)習(xí)需要的編程語言基礎(chǔ)，因?yàn)榇髷?shù)據(jù)的開發(fā)基于常用的高級(jí)語言。而且不論是學(xué)習(xí)hadoop，還是數(shù)據(jù)挖掘，都需要有編程語言作為基礎(chǔ)。因此，如果想學(xué)習(xí)大數(shù)據(jù)開發(fā)，掌握J(rèn)ava基礎(chǔ)是必不可少的。

2、學(xué)習(xí)大數(shù)據(jù)必須學(xué)習(xí)大數(shù)據(jù)核心知識(shí)

Hadoop生態(tài)系統(tǒng)；HDFS技術(shù)；HBASE技術(shù)；Sqoop使用流程；數(shù)據(jù)倉(cāng)庫(kù)工具HIVE；大數(shù)據(jù)離線分析Spark、Python語言；數(shù)據(jù)實(shí)時(shí)分析Storm；消息訂閱分發(fā)系統(tǒng)Kafka等。

如果把大數(shù)據(jù)比作容器，那么這個(gè)容器的容量無限大，什么都能往里裝，大數(shù)據(jù)離不開物聯(lián)網(wǎng)，移動(dòng)互聯(lián)網(wǎng)，大數(shù)據(jù)還和人工智能、云計(jì)算和機(jī)器學(xué)習(xí)有著千絲萬縷的關(guān)系，大數(shù)據(jù)海量數(shù)據(jù)存儲(chǔ)要高擴(kuò)展就離不開云計(jì)算，大數(shù)據(jù)計(jì)算分析采用傳統(tǒng)的機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘技術(shù)會(huì)比較慢，需要做并行計(jì)算和分布式計(jì)算擴(kuò)展。

3、學(xué)習(xí)大數(shù)據(jù)需要具備的能力

數(shù)學(xué)知識(shí)，數(shù)學(xué)知識(shí)是數(shù)據(jù)分析師的基礎(chǔ)知識(shí)。對(duì)于數(shù)據(jù)分析師，了解一些描述統(tǒng)計(jì)相關(guān)的內(nèi)容，需要有一定公式計(jì)算能力，了解常用統(tǒng)計(jì)模型算法。而對(duì)于數(shù)據(jù)挖掘工程師來說，各類算法也需要熟練使用，對(duì)數(shù)學(xué)的要求是最高的。

編程語言，對(duì)于想學(xué)大數(shù)據(jù)的同學(xué)，至少需要具備一門編程語言，比如SQL、hadoop、hive查詢、Python等均可。

4、學(xué)習(xí)大數(shù)據(jù)可以應(yīng)用的領(lǐng)域

大數(shù)據(jù)技術(shù)可以應(yīng)用在各個(gè)領(lǐng)域，比如公安大數(shù)據(jù)、交通大數(shù)據(jù)、醫(yī)療大數(shù)據(jù)、就業(yè)大數(shù)據(jù)、環(huán)境大數(shù)據(jù)、圖像大數(shù)據(jù)、視頻大數(shù)據(jù)等等，應(yīng)用范圍非常廣泛，大數(shù)據(jù)技術(shù)已經(jīng)像空氣一樣滲透在生活的方方面面。大數(shù)據(jù)技術(shù)的出現(xiàn)將社會(huì)帶入了一個(gè)高速發(fā)展的時(shí)代，這不僅是信息技術(shù)的終極目標(biāo)，也是人類社會(huì)發(fā)展管理智能化的核心技術(shù)驅(qū)動(dòng)力。