1.開源大數(shù)據(jù)生態(tài)圈

Hadoop HDFS、Hadoop MapReduce, HBase、Hive漸次誕生，早期Hadoop生態(tài)圈逐步形成。

開源生態(tài)圈活躍，并免費(fèi)，但Hadoop對(duì)技術(shù)要求高，實(shí)時(shí)性稍差。

2.商用大數(shù)據(jù)分析工具

一體機(jī)數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)（費(fèi)用很高）

IBM PureData(Netezza), Oracle Exadata, SAP Hana等等。

數(shù)據(jù)倉(cāng)庫(kù)（費(fèi)用較高）

Teradata AsterData, EMC GreenPlum, HP Vertica等等。

數(shù)據(jù)集市（費(fèi)用一般）

QlikView、 Tableau、國(guó)內(nèi)永洪科技Yonghong Data Mart等等。

前端展現(xiàn)

用于展現(xiàn)分析的前端開源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

用于展現(xiàn)分析商用分析工具有Cognos,BO, Microsoft, Oracle,Microstrategy,QlikView、 Tableau、國(guó)內(nèi)永洪科技Yonghong Z-Suite等等。

工具介紹

1、前端展現(xiàn)

用于展現(xiàn)分析的前端開源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

用于展現(xiàn)分析商用分析工具有Style Intelligence、RapidMiner Radoop、Cognos, BO, Microsoft Power BI, Oracle,Microstrategy,QlikView、 Tableau。

國(guó)內(nèi)的有BDP，國(guó)云數(shù)據(jù)（大數(shù)據(jù)魔鏡），思邁特，F(xiàn)ineBI等等。

2、數(shù)據(jù)倉(cāng)庫(kù)

有Teradata AsterData, EMC GreenPlum, HP Vertica等等。

3、數(shù)據(jù)集市

有QlikView、 Tableau、Style Intelligence等等。

擴(kuò)展資料

大數(shù)據(jù)分析的六個(gè)基本方面

1、Analytic Visualizations（可視化分析）

不管是對(duì)數(shù)據(jù)分析專家還是普通用戶，數(shù)據(jù)可視化是數(shù)據(jù)分析工具最基本的要求?？梢暬梢灾庇^的展示數(shù)據(jù)，讓數(shù)據(jù)自己說(shuō)話，讓觀眾聽到結(jié)果。

2.、Data Mining Algorithms（數(shù)據(jù)挖掘算法）

可視化是給人看的，數(shù)據(jù)挖掘就是給機(jī)器看的。集群、分割、孤立點(diǎn)分析還有其他的算法讓我們深入數(shù)據(jù)內(nèi)部，挖掘價(jià)值。這些算法不僅要處理大數(shù)據(jù)的量，也要處理大數(shù)據(jù)的速度。

3、Predictive Analytic Capabilities（預(yù)測(cè)性分析能力）

數(shù)據(jù)挖掘可以讓分析員更好的理解數(shù)據(jù)，而預(yù)測(cè)性分析可以讓分析員根據(jù)可視化分析和數(shù)據(jù)挖掘的結(jié)果做出一些預(yù)測(cè)性的判斷。

4、Semantic Engines（語(yǔ)義引擎）

我們知道由于非結(jié)構(gòu)化數(shù)據(jù)的多樣性帶來(lái)了數(shù)據(jù)分析的新的挑戰(zhàn)，我們需要一系列的工具去解析，提取，分析數(shù)據(jù)。語(yǔ)義引擎需要被設(shè)計(jì)成能夠從“文檔”中智能提取信息。

5、Data Quality and Master Data Management（數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理）

數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理是一些管理方面的最佳實(shí)踐。通過(guò)標(biāo)準(zhǔn)化的流程和工具對(duì)數(shù)據(jù)進(jìn)行處理可以保證一個(gè)預(yù)先定義好的高質(zhì)量的分析結(jié)果。

假如大數(shù)據(jù)真的是下一個(gè)重要的技術(shù)革新的話，我們最好把精力關(guān)注在大數(shù)據(jù)能給我們帶來(lái)的好處，而不僅僅是挑戰(zhàn)。

6、數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)是為了便于多維分析和多角度展示數(shù)據(jù)按特定模式進(jìn)行存儲(chǔ)所建立起來(lái)的關(guān)系型數(shù)據(jù)庫(kù)。在商業(yè)智能系統(tǒng)的設(shè)計(jì)中，數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建是關(guān)鍵，是商業(yè)智能系統(tǒng)的基礎(chǔ)，承擔(dān)對(duì)業(yè)務(wù)系統(tǒng)數(shù)據(jù)整合的任務(wù)，為商業(yè)智能系統(tǒng)提供數(shù)據(jù)抽取、轉(zhuǎn)換和加載(ETL)，并按主題對(duì)數(shù)據(jù)進(jìn)行查詢和訪問(wèn)，為聯(lián)機(jī)數(shù)據(jù)分析和數(shù)據(jù)挖掘提供數(shù)據(jù)平臺(tái)。

我推薦一些常用的大數(shù)據(jù)分析工具

1.專業(yè)的大數(shù)據(jù)分析工具

2.各種Python數(shù)據(jù)可視化第三方庫(kù)

3.其它語(yǔ)言的數(shù)據(jù)可視化框架

一、專業(yè)的大數(shù)據(jù)分析工具

1、FineReport

FineReport是一款純Java編寫的、集數(shù)據(jù)展示(報(bào)表)和數(shù)據(jù)錄入(表單)功能于一身的企業(yè)級(jí)web報(bào)表工具，只需要簡(jiǎn)單的拖拽操作便可以設(shè)計(jì)復(fù)雜的中國(guó)式報(bào)表，搭建數(shù)據(jù)決策分析系統(tǒng)。

2、FineBI

FineBI是新一代自助大數(shù)據(jù)分析的商業(yè)智能產(chǎn)品，提供了從數(shù)據(jù)準(zhǔn)備、自助數(shù)據(jù)處理、數(shù)據(jù)分析與挖掘、數(shù)據(jù)可視化于一體的完整解決方案，也是我比較推崇的可視化工具之一。

FineBI的使用感同Tableau類似，都主張可視化的探索性分析，有點(diǎn)像加強(qiáng)版的數(shù)據(jù)透視表。上手簡(jiǎn)單，可視化庫(kù)豐富?？梢猿洚?dāng)數(shù)據(jù)報(bào)表的門戶，也可以充當(dāng)各業(yè)務(wù)分析的平臺(tái)。

二、Python的數(shù)據(jù)可視化第三方庫(kù)

Python正慢慢地成為數(shù)據(jù)分析、數(shù)據(jù)挖掘領(lǐng)域的主流語(yǔ)言之一。在Python的生態(tài)里，很多開發(fā)者們提供了非常豐富的、用于各種場(chǎng)景的數(shù)據(jù)可視化第三方庫(kù)。這些第三方庫(kù)可以讓我們結(jié)合Python語(yǔ)言繪制出漂亮的圖表。

1、pyecharts

Echarts(下面會(huì)提到)是一個(gè)開源免費(fèi)的javascript數(shù)據(jù)可視化庫(kù)，它讓我們可以輕松地繪制專業(yè)的商業(yè)數(shù)據(jù)圖表。當(dāng)Python遇上了Echarts，pyecharts便誕生了，它是由chenjiandongx等一群開發(fā)者維護(hù)的Echarts Python接口，讓我們可以通過(guò)Python語(yǔ)言繪制出各種Echarts圖表。

2、Bokeh

Bokeh是一款基于Python的交互式數(shù)據(jù)可視化工具，它提供了優(yōu)雅簡(jiǎn)潔的方法來(lái)繪制各種各樣的圖形，可以高性能的可視化大型數(shù)據(jù)集以及流數(shù)據(jù)，幫助我們制作交互式圖表、可視化儀表板等。

三、其他數(shù)據(jù)可視化工具

1、Echarts

前面說(shuō)過(guò)了，Echarts是一個(gè)開源免費(fèi)的javascript數(shù)據(jù)可視化庫(kù)，它讓我們可以輕松地繪制專業(yè)的商業(yè)數(shù)據(jù)圖表。

大家都知道去年春節(jié)以及近期央視大規(guī)劃報(bào)道的百度大數(shù)據(jù)產(chǎn)品，如百度遷徙、百度司南、百度大數(shù)據(jù)預(yù)測(cè)等等，這些產(chǎn)品的數(shù)據(jù)可視化均是通過(guò)ECharts來(lái)實(shí)現(xiàn)的。

2、D3

D3（Data Driven Documents）是支持SVG渲染的另一種JavaScript庫(kù)。但是D3能夠提供大量線性圖和條形圖之外的復(fù)雜圖表樣式，例如Voronoi圖、樹形圖、圓形集群和單詞云等。

第一類，數(shù)據(jù)存儲(chǔ)和管理類的大數(shù)據(jù)工具。

此類較為主流的使用工具本文為大家列出三種：

1.Cloudera

實(shí)際上，Cloudera只是增加了一些其它服務(wù)的Hadoop，因?yàn)榇髷?shù)據(jù)并不是容易搞，需要我們構(gòu)建大數(shù)據(jù)集群，而Cloudera的團(tuán)隊(duì)就可以為我們提供這些服務(wù)，還能幫培訓(xùn)員工。

2.MongoDB

這是一個(gè)數(shù)據(jù)庫(kù)，并且非常的受大家歡迎，大數(shù)據(jù)常常采用的是非結(jié)構(gòu)化數(shù)據(jù)，而MongoDB最適用于管理此類數(shù)據(jù)。

3.Talend

Talend是數(shù)據(jù)集成和解決方案領(lǐng)域的領(lǐng)袖級(jí)企業(yè)，他們?yōu)楣苍坪退接性铺峁┝艘惑w化的數(shù)據(jù)平臺(tái)。

我們都知道，大數(shù)據(jù)歸根結(jié)底還是數(shù)據(jù)，其根源還是始于數(shù)據(jù)的存儲(chǔ)，而大數(shù)據(jù)之所以稱之為“大”，就是因?yàn)樗臄?shù)據(jù)量非常大，因此，存儲(chǔ)就變得至關(guān)重要。除此之外，將數(shù)據(jù)按照某種格式化的治理結(jié)構(gòu)，也尤為重要，因?yàn)檫@樣，我們可以獲得洞察力。而以上三種工具，就是這方面常用的三種使用工具。

第二類，數(shù)據(jù)清理類工具。

1.OpenRefine

這是一款開源的，易于使用的，可以通過(guò)刪除重復(fù)項(xiàng)、空白字段及其他錯(cuò)誤來(lái)清理排列雜亂無(wú)章的數(shù)據(jù)的工具，在業(yè)內(nèi)廣受好評(píng)。

2.Excel

這個(gè)不用多說(shuō)，不僅在大數(shù)據(jù)，基本上所有的公司辦公軟件都會(huì)安裝Excel，在Excel中有許多的公式和函數(shù)，方便我們進(jìn)行一系列的操作，當(dāng)然其缺點(diǎn)也比較明顯，那就是不適用于龐大的數(shù)據(jù)集。

3.DataCleaner

就像它的名字一樣，DataCleaner是一款能對(duì)數(shù)據(jù)質(zhì)量進(jìn)行分析、比較和監(jiān)督的軟件，也可以將半結(jié)構(gòu)化的數(shù)據(jù)集轉(zhuǎn)化成干凈的可讀的數(shù)據(jù)集。