在大數(shù)據(jù)處理分析過程中常用的六大工具：

Hadoop

Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。但是 Hadoop是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。Hadoop是可靠的，因?yàn)樗僭O(shè)計(jì)算元素和存儲會失敗，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點(diǎn)重新分布處理。Hadoop是高效的，因?yàn)樗圆⑿械姆绞焦ぷ?，通過并行處理加快處理速度。Hadoop還是可伸縮的，能夠處理 PB級數(shù)據(jù)。此外，Hadoop依賴于社區(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用。

HPCC

HPCC，High Performance Computing and Communications(高性能計(jì)算與通信)的縮寫。1993年，由美國科學(xué)、工程、技術(shù)聯(lián)邦協(xié)調(diào)理事會向國會提交了“重大挑戰(zhàn)項(xiàng)目：高性能計(jì)算與通信”的報(bào)告，也就是被稱為HPCC計(jì)劃的報(bào)告，即美國總統(tǒng)科學(xué)戰(zhàn)略項(xiàng)目，其目的是通過加強(qiáng)研究與開發(fā)解決一批重要的科學(xué)與技術(shù)挑戰(zhàn)問題。HPCC是美國實(shí)施信息高速公路而上實(shí)施的計(jì)劃，該計(jì)劃的實(shí)施將耗資百億美元，其主要目標(biāo)要達(dá)到：開發(fā)可擴(kuò)展的計(jì)算系統(tǒng)及相關(guān)軟件，以支持太位級網(wǎng)絡(luò)傳輸性能，開發(fā)千兆比特網(wǎng)絡(luò)技術(shù)，擴(kuò)展研究和教育機(jī)構(gòu)及網(wǎng)絡(luò)連接能力。

Storm

Storm是自由的開源軟件，一個(gè)分布式的、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)。Storm可以非?？煽康奶幚睚嫶蟮臄?shù)據(jù)流，用于處理Hadoop的批量數(shù)據(jù)。Storm很簡單，支持許多種編程語言，使用起來非常有趣。

Apache Drill

為了幫助企業(yè)用戶尋找更為有效、加快Hadoop數(shù)據(jù)查詢的方法，Apache軟件基金會近日發(fā)起了一項(xiàng)名為“Drill”的開源項(xiàng)目。Apache Drill實(shí)現(xiàn)了 Google's Dremel.

據(jù)Hadoop廠商MapR Technologies公司產(chǎn)品經(jīng)理Tomer Shiran介紹，“Drill”已經(jīng)作為Apache孵化器項(xiàng)目來運(yùn)作，將面向全球軟件工程師持續(xù)推廣。

RapidMiner

RapidMiner是世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，在一個(gè)非常大的程度上有著先進(jìn)技術(shù)。它數(shù)據(jù)挖掘任務(wù)涉及范圍廣泛，包括各種數(shù)據(jù)藝術(shù)，能簡化數(shù)據(jù)挖掘過程的設(shè)計(jì)和評價(jià)。

Pentaho BI

Pentaho BI平臺不同于傳統(tǒng)的BI產(chǎn)品，它是一個(gè)以流程為中心的，面向解決方案(Solution)的框架。其目的在于將一系列企業(yè)級BI產(chǎn)品、開源軟件、API等等組件集成起來，方便商務(wù)智能應(yīng)用的開發(fā)。它的出現(xiàn)，使得一系列的面向商務(wù)智能的獨(dú)立產(chǎn)品如Jfree、Quartz等等，能夠集成在一起，構(gòu)成一項(xiàng)項(xiàng)復(fù)雜的、完整的商務(wù)智能解決方案。

大數(shù)據(jù)分析工具好用的有以下幾個(gè)，分別是Excel、BI工具、Python、Smartbi、Bokeh、Storm、Plotly等。

1、Excel

Excel可以稱得上是最全能的數(shù)據(jù)分析工具之一，包括表格制作、數(shù)據(jù)透視表、VBA等等功能，保證人們能夠按照需求進(jìn)行分析。

2、BI工具

BI也就是商業(yè)智能，BI工具的產(chǎn)品設(shè)計(jì)，幾乎是按照數(shù)據(jù)分析的流程來設(shè)計(jì)的。先是數(shù)據(jù)處理、整理清洗，再到數(shù)據(jù)建模，最后數(shù)據(jù)可視化，全程圍繞數(shù)據(jù)指導(dǎo)運(yùn)營決策的思想。由于功能聚焦，產(chǎn)品操作起來也非常簡潔，依靠拖拉拽就能完成大部分的需求，沒有編程基礎(chǔ)的業(yè)務(wù)人員也能很快上手。

3、Python

python在數(shù)據(jù)分析領(lǐng)域，確實(shí)稱得上是一個(gè)強(qiáng)大的語言工具。盡管入門的學(xué)習(xí)難度要高于Excel和BI，但是作為數(shù)據(jù)科學(xué)家的必備工具，從職業(yè)高度上講，它肯定是高于Excel、BI工具的。尤其是在統(tǒng)計(jì)分析和預(yù)測分析等方面，Python等編程語言更有著其他工具無可比擬的優(yōu)勢。

4、思邁特軟件Smartbi

融合傳統(tǒng)BI、自助BI、智能BI，滿足BI定義所有階段的需求；提供數(shù)據(jù)連接、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)分析、數(shù)據(jù)應(yīng)用等全流程功能；提供復(fù)雜報(bào)表、數(shù)據(jù)可視化、自助探索分析、機(jī)器學(xué)習(xí)建模、預(yù)測分析、自然語言分析等全場景需求；滿足數(shù)據(jù)角色、分析角色、管理角色等所有用戶的需求。

5、Bokeh

這套可視化框架的主要目標(biāo)在于提供精致且簡潔的圖形處理結(jié)果，用以強(qiáng)化大規(guī)模數(shù)據(jù)流的交互能力。其專門供Python語言使用。

6、Storm

Storm是自由的開源軟件，一個(gè)分布式的、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)。Storm可以非?？煽康奶幚睚嫶蟮臄?shù)據(jù)流，用于處理Hadoop的批量數(shù)據(jù)。Storm很簡單，支持許多種編程語言，使用起來非常有趣。Storm由Twitter開源而來，其它知名的應(yīng)用企業(yè)包括Groupon、淘寶、支付寶、阿里巴巴、樂元素、Admaster等等。

7、 Plotly

這是一款數(shù)據(jù)可視化工具，可兼容JavaScript、MATLAB、Python以及R等語言。Plotly甚至能夠幫助不具備代碼編寫技能或者時(shí)間的用戶完成動(dòng)態(tài)可視化處理。這款工具常由新一代數(shù)據(jù)科學(xué)家使用，因?yàn)槠鋵儆谝豢顦I(yè)務(wù)開發(fā)平臺且能夠快速完成大規(guī)模數(shù)據(jù)的理解與分析。

我推薦一些常用的大數(shù)據(jù)分析工具

1.專業(yè)的大數(shù)據(jù)分析工具

2.各種Python數(shù)據(jù)可視化第三方庫

3.其它語言的數(shù)據(jù)可視化框架

一、專業(yè)的大數(shù)據(jù)分析工具

1、FineReport

FineReport是一款純Java編寫的、集數(shù)據(jù)展示(報(bào)表)和數(shù)據(jù)錄入(表單)功能于一身的企業(yè)級web報(bào)表工具，只需要簡單的拖拽操作便可以設(shè)計(jì)復(fù)雜的中國式報(bào)表，搭建數(shù)據(jù)決策分析系統(tǒng)。

2、FineBI

FineBI是新一代自助大數(shù)據(jù)分析的商業(yè)智能產(chǎn)品，提供了從數(shù)據(jù)準(zhǔn)備、自助數(shù)據(jù)處理、數(shù)據(jù)分析與挖掘、數(shù)據(jù)可視化于一體的完整解決方案，也是我比較推崇的可視化工具之一。

FineBI的使用感同Tableau類似，都主張可視化的探索性分析，有點(diǎn)像加強(qiáng)版的數(shù)據(jù)透視表。上手簡單，可視化庫豐富?？梢猿洚?dāng)數(shù)據(jù)報(bào)表的門戶，也可以充當(dāng)各業(yè)務(wù)分析的平臺。

二、Python的數(shù)據(jù)可視化第三方庫

Python正慢慢地成為數(shù)據(jù)分析、數(shù)據(jù)挖掘領(lǐng)域的主流語言之一。在Python的生態(tài)里，很多開發(fā)者們提供了非常豐富的、用于各種場景的數(shù)據(jù)可視化第三方庫。這些第三方庫可以讓我們結(jié)合Python語言繪制出漂亮的圖表。

1、pyecharts

Echarts(下面會提到)是一個(gè)開源免費(fèi)的javascript數(shù)據(jù)可視化庫，它讓我們可以輕松地繪制專業(yè)的商業(yè)數(shù)據(jù)圖表。當(dāng)Python遇上了Echarts，pyecharts便誕生了，它是由chenjiandongx等一群開發(fā)者維護(hù)的Echarts Python接口，讓我們可以通過Python語言繪制出各種Echarts圖表。

2、Bokeh

Bokeh是一款基于Python的交互式數(shù)據(jù)可視化工具，它提供了優(yōu)雅簡潔的方法來繪制各種各樣的圖形，可以高性能的可視化大型數(shù)據(jù)集以及流數(shù)據(jù)，幫助我們制作交互式圖表、可視化儀表板等。

三、其他數(shù)據(jù)可視化工具

1、Echarts

前面說過了，Echarts是一個(gè)開源免費(fèi)的javascript數(shù)據(jù)可視化庫，它讓我們可以輕松地繪制專業(yè)的商業(yè)數(shù)據(jù)圖表。

大家都知道去年春節(jié)以及近期央視大規(guī)劃報(bào)道的百度大數(shù)據(jù)產(chǎn)品，如百度遷徙、百度司南、百度大數(shù)據(jù)預(yù)測等等，這些產(chǎn)品的數(shù)據(jù)可視化均是通過ECharts來實(shí)現(xiàn)的。

2、D3

D3（Data Driven Documents）是支持SVG渲染的另一種JavaScript庫。但是D3能夠提供大量線性圖和條形圖之外的復(fù)雜圖表樣式，例如Voronoi圖、樹形圖、圓形集群和單詞云等。

大數(shù)據(jù)分析工具有很多，主要包括以下幾種：

1. Hadoop

Hadoop是一個(gè)允許在廉價(jià)硬件上運(yùn)行大規(guī)模數(shù)據(jù)集的開源軟件框架。它提供了分布式文件系統(tǒng)（HDFS），能夠存儲大量數(shù)據(jù)并允許在集群上進(jìn)行并行處理。此外，Hadoop還提供了MapReduce編程模型，用于處理大規(guī)模數(shù)據(jù)集。

2. Apache Spark

Apache Spark是一個(gè)快速的大數(shù)據(jù)處理框架，它可以處理大規(guī)模數(shù)據(jù)集并進(jìn)行實(shí)時(shí)分析。與Hadoop相比，Spark提供了更快的處理速度和更高的可擴(kuò)展性。它支持內(nèi)存計(jì)算，使得數(shù)據(jù)處理速度更快。此外，Spark還提供了多種語言接口，如Scala、Python和Java等。

3.數(shù)據(jù)倉庫工具

數(shù)據(jù)倉庫工具主要用于數(shù)據(jù)存儲、集成和管理大規(guī)模數(shù)據(jù)。其中比較知名的工具有Apache Cassandra、HBase等。這些工具提供了可擴(kuò)展的分布式數(shù)據(jù)存儲解決方案，能夠處理大量數(shù)據(jù)并允許進(jìn)行實(shí)時(shí)查詢和分析。

4.數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)工具

數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)工具在大數(shù)據(jù)分析中發(fā)揮著重要作用。這些工具包括TensorFlow、PyTorch、R語言等。它們可以用于數(shù)據(jù)預(yù)測、模型構(gòu)建和數(shù)據(jù)分析等任務(wù)，幫助企業(yè)做出更明智的決策。此外，還有一些專門用于數(shù)據(jù)挖掘的工具，如數(shù)據(jù)挖掘工具箱和智能分析工具等。

以上工具是大數(shù)據(jù)分析領(lǐng)域常用的幾種工具。每個(gè)工具都有其特定的功能和優(yōu)勢，可以根據(jù)具體的需求選擇合適的工具進(jìn)行大數(shù)據(jù)分析。