六個(gè)用于大數(shù)據(jù)分析的最好工具

一、Hadoop

Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。但是 Hadoop是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。Hadoop是可靠的，因?yàn)樗僭O(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。Hadoop是高效的，因?yàn)樗圆⑿械姆绞焦ぷ?，通過并行處理加快處理速度。Hadoop還是可伸縮的，能夠處理 PB級(jí)數(shù)據(jù)。此外，Hadoop依賴于社區(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用。

二、HPCC

HPCC，High Performance Computing and Communications(高性能計(jì)算與通信)的縮寫。1993年，由美國(guó)科學(xué)、工程、技術(shù)聯(lián)邦協(xié)調(diào)理事會(huì)向國(guó)會(huì)提交了“重大挑戰(zhàn)項(xiàng)目：高性能計(jì)算與通信”的報(bào)告，也就是被稱為HPCC計(jì)劃的報(bào)告，即美國(guó)總統(tǒng)科學(xué)戰(zhàn)略項(xiàng)目，其目的是通過加強(qiáng)研究與開發(fā)解決一批重要的科學(xué)與技術(shù)挑戰(zhàn)問題。HPCC是美國(guó)實(shí)施信息高速公路而上實(shí)施的計(jì)劃，該計(jì)劃的實(shí)施將耗資百億美元，其主要目標(biāo)要達(dá)到：開發(fā)可擴(kuò)展的計(jì)算系統(tǒng)及相關(guān)軟件，以支持太位級(jí)網(wǎng)絡(luò)傳輸性能，開發(fā)千兆比特網(wǎng)絡(luò)技術(shù)，擴(kuò)展研究和教育機(jī)構(gòu)及網(wǎng)絡(luò)連接能力。

三、Storm

Storm是自由的開源軟件，一個(gè)分布式的、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)。Storm可以非?？煽康奶幚睚嫶蟮臄?shù)據(jù)流，用于處理Hadoop的批量數(shù)據(jù)。Storm很簡(jiǎn)單，支持許多種編程語(yǔ)言，使用起來非常有趣。Storm由Twitter開源而來，其它知名的應(yīng)用企業(yè)包括Groupon、淘寶、支付寶、阿里巴巴、樂元素、Admaster等等。

Storm有許多應(yīng)用領(lǐng)域：實(shí)時(shí)分析、在線機(jī)器學(xué)習(xí)、不停頓的計(jì)算、分布式RPC(遠(yuǎn)過程調(diào)用協(xié)議，一種通過網(wǎng)絡(luò)從遠(yuǎn)程計(jì)算機(jī)程序上請(qǐng)求服務(wù))、 ETL(Extraction-Transformation-Loading的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換和加載)等等。Storm的處理速度驚人：經(jīng)測(cè)試，每個(gè)節(jié)點(diǎn)每秒鐘可以處理100萬(wàn)個(gè)數(shù)據(jù)元組。Storm是可擴(kuò)展、容錯(cuò)，很容易設(shè)置和操作。

四、Apache Drill

為了幫助企業(yè)用戶尋找更為有效、加快Hadoop數(shù)據(jù)查詢的方法，Apache軟件基金會(huì)近日發(fā)起了一項(xiàng)名為“Drill”的開源項(xiàng)目。Apache Drill實(shí)現(xiàn)了 Google’s Dremel.

據(jù)Hadoop廠商MapR Technologies公司產(chǎn)品經(jīng)理Tomer Shiran介紹，“Drill”已經(jīng)作為Apache孵化器項(xiàng)目來運(yùn)作，將面向全球軟件工程師持續(xù)推廣。

五、RapidMiner

RapidMiner是世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，在一個(gè)非常大的程度上有著先進(jìn)技術(shù)。它數(shù)據(jù)挖掘任務(wù)涉及范圍廣泛，包括各種數(shù)據(jù)藝術(shù)，能簡(jiǎn)化數(shù)據(jù)挖掘過程的設(shè)計(jì)和評(píng)價(jià)。

六、Pentaho BI

Pentaho BI平臺(tái)不同于傳統(tǒng)的BI產(chǎn)品，它是一個(gè)以流程為中心的，面向解決方案(Solution)的框架。其目的在于將一系列企業(yè)級(jí)BI產(chǎn)品、開源軟件、API等等組件集成起來，方便商務(wù)智能應(yīng)用的開發(fā)。它的出現(xiàn)，使得一系列的面向商務(wù)智能的獨(dú)立產(chǎn)品如Jfree、Quartz等等，能夠集成在一起，構(gòu)成一項(xiàng)項(xiàng)復(fù)雜的、完整的商務(wù)智能解決方案。

我推薦一些常用的大數(shù)據(jù)分析工具

1.專業(yè)的大數(shù)據(jù)分析工具

2.各種Python數(shù)據(jù)可視化第三方庫(kù)

3.其它語(yǔ)言的數(shù)據(jù)可視化框架

一、專業(yè)的大數(shù)據(jù)分析工具

1、FineReport

FineReport是一款純Java編寫的、集數(shù)據(jù)展示(報(bào)表)和數(shù)據(jù)錄入(表單)功能于一身的企業(yè)級(jí)web報(bào)表工具，只需要簡(jiǎn)單的拖拽操作便可以設(shè)計(jì)復(fù)雜的中國(guó)式報(bào)表，搭建數(shù)據(jù)決策分析系統(tǒng)。

2、FineBI

FineBI是新一代自助大數(shù)據(jù)分析的商業(yè)智能產(chǎn)品，提供了從數(shù)據(jù)準(zhǔn)備、自助數(shù)據(jù)處理、數(shù)據(jù)分析與挖掘、數(shù)據(jù)可視化于一體的完整解決方案，也是我比較推崇的可視化工具之一。

FineBI的使用感同Tableau類似，都主張可視化的探索性分析，有點(diǎn)像加強(qiáng)版的數(shù)據(jù)透視表。上手簡(jiǎn)單，可視化庫(kù)豐富?？梢猿洚?dāng)數(shù)據(jù)報(bào)表的門戶，也可以充當(dāng)各業(yè)務(wù)分析的平臺(tái)。

二、Python的數(shù)據(jù)可視化第三方庫(kù)

Python正慢慢地成為數(shù)據(jù)分析、數(shù)據(jù)挖掘領(lǐng)域的主流語(yǔ)言之一。在Python的生態(tài)里，很多開發(fā)者們提供了非常豐富的、用于各種場(chǎng)景的數(shù)據(jù)可視化第三方庫(kù)。這些第三方庫(kù)可以讓我們結(jié)合Python語(yǔ)言繪制出漂亮的圖表。

1、pyecharts

Echarts(下面會(huì)提到)是一個(gè)開源免費(fèi)的javascript數(shù)據(jù)可視化庫(kù)，它讓我們可以輕松地繪制專業(yè)的商業(yè)數(shù)據(jù)圖表。當(dāng)Python遇上了Echarts，pyecharts便誕生了，它是由chenjiandongx等一群開發(fā)者維護(hù)的Echarts Python接口，讓我們可以通過Python語(yǔ)言繪制出各種Echarts圖表。

2、Bokeh

Bokeh是一款基于Python的交互式數(shù)據(jù)可視化工具，它提供了優(yōu)雅簡(jiǎn)潔的方法來繪制各種各樣的圖形，可以高性能的可視化大型數(shù)據(jù)集以及流數(shù)據(jù)，幫助我們制作交互式圖表、可視化儀表板等。

三、其他數(shù)據(jù)可視化工具

1、Echarts

前面說過了，Echarts是一個(gè)開源免費(fèi)的javascript數(shù)據(jù)可視化庫(kù)，它讓我們可以輕松地繪制專業(yè)的商業(yè)數(shù)據(jù)圖表。

大家都知道去年春節(jié)以及近期央視大規(guī)劃報(bào)道的百度大數(shù)據(jù)產(chǎn)品，如百度遷徙、百度司南、百度大數(shù)據(jù)預(yù)測(cè)等等，這些產(chǎn)品的數(shù)據(jù)可視化均是通過ECharts來實(shí)現(xiàn)的。

2、D3

D3（Data Driven Documents）是支持SVG渲染的另一種JavaScript庫(kù)。但是D3能夠提供大量線性圖和條形圖之外的復(fù)雜圖表樣式，例如Voronoi圖、樹形圖、圓形集群和單詞云等。

圖表控件可實(shí)現(xiàn)數(shù)據(jù)可視化，圖形化顯示當(dāng)前工業(yè)領(lǐng)域、商業(yè)領(lǐng)域、金融領(lǐng)域等不可或缺的元素，通常采用圖表進(jìn)行數(shù)據(jù)可視化展示，直觀地顯示數(shù)據(jù)、對(duì)比數(shù)據(jù)、分析數(shù)據(jù)。圖表控件就是具有這一能力的控件，很多項(xiàng)目開發(fā)中都會(huì)需求圖表控件。

.NET開發(fā)平臺(tái)

LightningChart®.NET原名LightningChart Ultimate SDK。 LightningChart完全由GPU加速，并且性能經(jīng)過優(yōu)化，可用于實(shí)時(shí)顯示海量數(shù)據(jù)-超過10億個(gè)數(shù)據(jù)點(diǎn)。 LightningChart包括廣泛的2D，高級(jí)3D，Polar，Smith，3D餅/甜甜圈，地理地圖和GIS圖表以及適用于科學(xué)，工程，醫(yī)學(xué)，航空，貿(mào)易，能源和其他領(lǐng)域的體繪制功能。

Iocomp.NET WinForm

Iocomp.NET WinForm控件是一款100%由C#編寫、充分利用GDI+的優(yōu)點(diǎn)的工業(yè)儀表盤控件套裝。是用于生成具有專業(yè)級(jí)外觀的儀表的控件，其自定義的屬性編輯器提供了“一行代碼，全部搞定”的簡(jiǎn)單快捷的屬性配置方法。Iocomp.NET WinForm控件包最多可提供了56種專業(yè)級(jí)控件以及繪圖控件包組件。分為標(biāo)準(zhǔn)版(StdPack)、專業(yè)版(ProPack)、曲線版(PlotPack)、終極版(UltraPack)四個(gè)版本。

TeeChart for.NET

TeeChart for.NET是優(yōu)秀的工業(yè)4.0 WinForm圖表控件，官方獨(dú)家授權(quán)漢化，集功能全面、性能穩(wěn)定、價(jià)格實(shí)惠等優(yōu)勢(shì)于一體。TeeChart for.NET制圖控件提供了一套出色的通用組件套件，可滿足無數(shù)的制圖要求，也針對(duì)重要的垂直領(lǐng)域，例如金融，科學(xué)和統(tǒng)計(jì)領(lǐng)域。制圖控件提供了一套出色的通用組件套件，可滿足無數(shù)的制圖要求，也針對(duì)重要的垂直領(lǐng)域，例如金融，科學(xué)和統(tǒng)計(jì)領(lǐng)域。

MindFusion.Diagramming for WinForms

MindFusion.Diagramming for WinForms是一個(gè)能幫助你創(chuàng)建工作流和進(jìn)程圖表的.NET控件；數(shù)據(jù)庫(kù)實(shí)體關(guān)系圖表；組織圖表；對(duì)象層次和關(guān)系圖表；圖表和樹。它是基于對(duì)象－圖表框，表格和箭頭類型，將其歸類分派給其他并結(jié)合成復(fù)雜的結(jié)構(gòu)。該控件提供超過預(yù)先定義的50多種圖表框，如自定義設(shè)計(jì)樣式和對(duì)圖表框著色等。

HTML5開發(fā)平臺(tái)

FusionCharts XT

FusionCharts XT作為FusionCharts圖表套包的主打產(chǎn)品，是50萬(wàn)用戶首選的跨平臺(tái)、跨瀏覽器的JavaScript/HTML圖表解決方案，它提供了所有通用的圖表類型，同時(shí)它還支持 ASP、 ASP.NET、 PHP、 JSP、 ColdFusion、 Ruby on Rails、 JavaScript、甚至簡(jiǎn)單的HTML頁(yè)面。它是你值得信賴的JavaScript圖表解決方案，目前在全球有50萬(wàn)用戶選擇Fusioncharts來制作專業(yè)的JavaScript圖表。

AnyChart

AnyChart是基于JavaScript(HTML5)的圖表控件。使用AnyChart控件，可創(chuàng)建跨瀏覽器和跨平臺(tái)的交互式圖表和儀表。AnyChart圖表目前已被很多知名大公司所使用，可用于儀表盤、報(bào)表、數(shù)據(jù)分析、統(tǒng)計(jì)學(xué)、金融等領(lǐng)域。

AnyChar HTML5圖表高度可定制且高度兼容。擁有純JavaScript API，AnyChart圖表內(nèi)置客戶端數(shù)據(jù)實(shí)時(shí)更新，多層次向下鉆區(qū)和具體參數(shù)更新。強(qiáng)大的主題引擎使你通過一系列圖表進(jìn)行獨(dú)特的演示體驗(yàn)，而PDF和圖像輸出能產(chǎn)出圖書質(zhì)量打印文檔。

Highcharts

Highcharts是一款純JavaScript編寫的圖表庫(kù)，為你的Web網(wǎng)站、Web應(yīng)用程序提供直觀、交互式圖表。當(dāng)前支持折線、曲線、區(qū)域、區(qū)域曲線圖、柱形圖、條形圖、餅圖、散點(diǎn)圖、角度測(cè)量圖、區(qū)域排列圖、區(qū)域曲線排列圖、柱形排列圖、極坐標(biāo)圖等幾十種圖表類型。

QT開發(fā)平臺(tái)

QtitanChart

QtitanChart是一個(gè)C++庫(kù)，它代表一組控件，這些控件使您可以快速輕松地為應(yīng)用程序提供漂亮而豐富的圖表。QtitanChart在Qt.C++上實(shí)現(xiàn)，并且支持所有主要的桌面操作系統(tǒng)- Windows、Linux和Mac OSX。要將QtitanChart添加到您的程序中，只需要幾行代碼，便捷的體系結(jié)構(gòu)允許您自定義文本的每個(gè)部分。

Highcharts

Highcharts是一款純JavaScript編寫的圖表庫(kù)，為你的Web網(wǎng)站、Web應(yīng)用程序提供直觀、交互式圖表。當(dāng)前支持折線、曲線、區(qū)域、區(qū)域曲線圖、柱形圖、條形圖、餅圖、散點(diǎn)圖、角度測(cè)量圖、區(qū)域排列圖、區(qū)域曲線排列圖、柱形排列圖、極坐標(biāo)圖等幾十種圖表類型。

QT開發(fā)平臺(tái)

QtitanChart

QtitanChart是一個(gè)C++庫(kù)，它代表一組控件，這些控件使您可以快速輕松地為應(yīng)用程序提供漂亮而豐富的圖表。QtitanChart在Qt.C++上實(shí)現(xiàn)，并且支持所有主要的桌面操作系統(tǒng)- Windows、Linux和Mac OSX。要將QtitanChart添加到您的程序中，只需要幾行代碼，便捷的體系結(jié)構(gòu)允許您自定義文本的每個(gè)部分。