1.開源大數(shù)據(jù)生態(tài)圈

Hadoop HDFS、Hadoop MapReduce, HBase、Hive漸次誕生，早期Hadoop生態(tài)圈逐步形成。

開源生態(tài)圈活躍，并免費(fèi)，但Hadoop對技術(shù)要求高，實(shí)時性稍差。

2.商用大數(shù)據(jù)分析工具

一體機(jī)數(shù)據(jù)庫/數(shù)據(jù)倉庫（費(fèi)用很高）

IBM PureData(Netezza), Oracle Exadata, SAP Hana等等。

數(shù)據(jù)倉庫（費(fèi)用較高）

Teradata AsterData, EMC GreenPlum, HP Vertica等等。

數(shù)據(jù)集市（費(fèi)用一般）

QlikView、 Tableau、國內(nèi)永洪科技Yonghong Data Mart等等。

前端展現(xiàn)

用于展現(xiàn)分析的前端開源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

用于展現(xiàn)分析商用分析工具有Cognos,BO, Microsoft, Oracle,Microstrategy,QlikView、 Tableau、國內(nèi)永洪科技Yonghong Z-Suite等等。

第一類，數(shù)據(jù)存儲和管理類的大數(shù)據(jù)工具。

此類較為主流的使用工具本文為大家列出三種：

1.Cloudera

實(shí)際上，Cloudera只是增加了一些其它服務(wù)的Hadoop，因?yàn)榇髷?shù)據(jù)并不是容易搞，需要我們構(gòu)建大數(shù)據(jù)集群，而Cloudera的團(tuán)隊(duì)就可以為我們提供這些服務(wù)，還能幫培訓(xùn)員工。

2.MongoDB

這是一個數(shù)據(jù)庫，并且非常的受大家歡迎，大數(shù)據(jù)常常采用的是非結(jié)構(gòu)化數(shù)據(jù)，而MongoDB最適用于管理此類數(shù)據(jù)。

3.Talend

Talend是數(shù)據(jù)集成和解決方案領(lǐng)域的領(lǐng)袖級企業(yè)，他們?yōu)楣苍坪退接性铺峁┝艘惑w化的數(shù)據(jù)平臺。

我們都知道，大數(shù)據(jù)歸根結(jié)底還是數(shù)據(jù)，其根源還是始于數(shù)據(jù)的存儲，而大數(shù)據(jù)之所以稱之為“大”，就是因?yàn)樗臄?shù)據(jù)量非常大，因此，存儲就變得至關(guān)重要。除此之外，將數(shù)據(jù)按照某種格式化的治理結(jié)構(gòu)，也尤為重要，因?yàn)檫@樣，我們可以獲得洞察力。而以上三種工具，就是這方面常用的三種使用工具。

第二類，數(shù)據(jù)清理類工具。

1.OpenRefine

這是一款開源的，易于使用的，可以通過刪除重復(fù)項(xiàng)、空白字段及其他錯誤來清理排列雜亂無章的數(shù)據(jù)的工具，在業(yè)內(nèi)廣受好評。

2.Excel

這個不用多說，不僅在大數(shù)據(jù)，基本上所有的公司辦公軟件都會安裝Excel，在Excel中有許多的公式和函數(shù)，方便我們進(jìn)行一系列的操作，當(dāng)然其缺點(diǎn)也比較明顯，那就是不適用于龐大的數(shù)據(jù)集。

3.DataCleaner

就像它的名字一樣，DataCleaner是一款能對數(shù)據(jù)質(zhì)量進(jìn)行分析、比較和監(jiān)督的軟件，也可以將半結(jié)構(gòu)化的數(shù)據(jù)集轉(zhuǎn)化成干凈的可讀的數(shù)據(jù)集。

工具介紹

1、前端展現(xiàn)

用于展現(xiàn)分析的前端開源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

用于展現(xiàn)分析商用分析工具有Style Intelligence、RapidMiner Radoop、Cognos, BO, Microsoft Power BI, Oracle,Microstrategy,QlikView、 Tableau。

國內(nèi)的有BDP，國云數(shù)據(jù)（大數(shù)據(jù)魔鏡），思邁特，F(xiàn)ineBI等等。

2、數(shù)據(jù)倉庫

有Teradata AsterData, EMC GreenPlum, HP Vertica等等。

3、數(shù)據(jù)集市

有QlikView、 Tableau、Style Intelligence等等。

擴(kuò)展資料

大數(shù)據(jù)分析的六個基本方面

1、Analytic Visualizations（可視化分析）

不管是對數(shù)據(jù)分析專家還是普通用戶，數(shù)據(jù)可視化是數(shù)據(jù)分析工具最基本的要求?？梢暬梢灾庇^的展示數(shù)據(jù)，讓數(shù)據(jù)自己說話，讓觀眾聽到結(jié)果。

2.、Data Mining Algorithms（數(shù)據(jù)挖掘算法）

可視化是給人看的，數(shù)據(jù)挖掘就是給機(jī)器看的。集群、分割、孤立點(diǎn)分析還有其他的算法讓我們深入數(shù)據(jù)內(nèi)部，挖掘價值。這些算法不僅要處理大數(shù)據(jù)的量，也要處理大數(shù)據(jù)的速度。

3、Predictive Analytic Capabilities（預(yù)測性分析能力）

數(shù)據(jù)挖掘可以讓分析員更好的理解數(shù)據(jù)，而預(yù)測性分析可以讓分析員根據(jù)可視化分析和數(shù)據(jù)挖掘的結(jié)果做出一些預(yù)測性的判斷。

4、Semantic Engines（語義引擎）

我們知道由于非結(jié)構(gòu)化數(shù)據(jù)的多樣性帶來了數(shù)據(jù)分析的新的挑戰(zhàn)，我們需要一系列的工具去解析，提取，分析數(shù)據(jù)。語義引擎需要被設(shè)計(jì)成能夠從“文檔”中智能提取信息。

5、Data Quality and Master Data Management（數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理）

數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理是一些管理方面的最佳實(shí)踐。通過標(biāo)準(zhǔn)化的流程和工具對數(shù)據(jù)進(jìn)行處理可以保證一個預(yù)先定義好的高質(zhì)量的分析結(jié)果。

假如大數(shù)據(jù)真的是下一個重要的技術(shù)革新的話，我們最好把精力關(guān)注在大數(shù)據(jù)能給我們帶來的好處，而不僅僅是挑戰(zhàn)。

6、數(shù)據(jù)存儲，數(shù)據(jù)倉庫

數(shù)據(jù)倉庫是為了便于多維分析和多角度展示數(shù)據(jù)按特定模式進(jìn)行存儲所建立起來的關(guān)系型數(shù)據(jù)庫。在商業(yè)智能系統(tǒng)的設(shè)計(jì)中，數(shù)據(jù)倉庫的構(gòu)建是關(guān)鍵，是商業(yè)智能系統(tǒng)的基礎(chǔ)，承擔(dān)對業(yè)務(wù)系統(tǒng)數(shù)據(jù)整合的任務(wù)，為商業(yè)智能系統(tǒng)提供數(shù)據(jù)抽取、轉(zhuǎn)換和加載(ETL)，并按主題對數(shù)據(jù)進(jìn)行查詢和訪問，為聯(lián)機(jī)數(shù)據(jù)分析和數(shù)據(jù)挖掘提供數(shù)據(jù)平臺。

我推薦一些常用的大數(shù)據(jù)分析工具

1.專業(yè)的大數(shù)據(jù)分析工具

2.各種Python數(shù)據(jù)可視化第三方庫

3.其它語言的數(shù)據(jù)可視化框架

一、專業(yè)的大數(shù)據(jù)分析工具

1、FineReport

FineReport是一款純Java編寫的、集數(shù)據(jù)展示(報表)和數(shù)據(jù)錄入(表單)功能于一身的企業(yè)級web報表工具，只需要簡單的拖拽操作便可以設(shè)計(jì)復(fù)雜的中國式報表，搭建數(shù)據(jù)決策分析系統(tǒng)。

2、FineBI

FineBI是新一代自助大數(shù)據(jù)分析的商業(yè)智能產(chǎn)品，提供了從數(shù)據(jù)準(zhǔn)備、自助數(shù)據(jù)處理、數(shù)據(jù)分析與挖掘、數(shù)據(jù)可視化于一體的完整解決方案，也是我比較推崇的可視化工具之一。

FineBI的使用感同Tableau類似，都主張可視化的探索性分析，有點(diǎn)像加強(qiáng)版的數(shù)據(jù)透視表。上手簡單，可視化庫豐富?？梢猿洚?dāng)數(shù)據(jù)報表的門戶，也可以充當(dāng)各業(yè)務(wù)分析的平臺。

二、Python的數(shù)據(jù)可視化第三方庫

Python正慢慢地成為數(shù)據(jù)分析、數(shù)據(jù)挖掘領(lǐng)域的主流語言之一。在Python的生態(tài)里，很多開發(fā)者們提供了非常豐富的、用于各種場景的數(shù)據(jù)可視化第三方庫。這些第三方庫可以讓我們結(jié)合Python語言繪制出漂亮的圖表。

1、pyecharts

Echarts(下面會提到)是一個開源免費(fèi)的javascript數(shù)據(jù)可視化庫，它讓我們可以輕松地繪制專業(yè)的商業(yè)數(shù)據(jù)圖表。當(dāng)Python遇上了Echarts，pyecharts便誕生了，它是由chenjiandongx等一群開發(fā)者維護(hù)的Echarts Python接口，讓我們可以通過Python語言繪制出各種Echarts圖表。

2、Bokeh

Bokeh是一款基于Python的交互式數(shù)據(jù)可視化工具，它提供了優(yōu)雅簡潔的方法來繪制各種各樣的圖形，可以高性能的可視化大型數(shù)據(jù)集以及流數(shù)據(jù)，幫助我們制作交互式圖表、可視化儀表板等。

三、其他數(shù)據(jù)可視化工具

1、Echarts

前面說過了，Echarts是一個開源免費(fèi)的javascript數(shù)據(jù)可視化庫，它讓我們可以輕松地繪制專業(yè)的商業(yè)數(shù)據(jù)圖表。

大家都知道去年春節(jié)以及近期央視大規(guī)劃報道的百度大數(shù)據(jù)產(chǎn)品，如百度遷徙、百度司南、百度大數(shù)據(jù)預(yù)測等等，這些產(chǎn)品的數(shù)據(jù)可視化均是通過ECharts來實(shí)現(xiàn)的。

2、D3

D3（Data Driven Documents）是支持SVG渲染的另一種JavaScript庫。但是D3能夠提供大量線性圖和條形圖之外的復(fù)雜圖表樣式，例如Voronoi圖、樹形圖、圓形集群和單詞云等。