1、離線搜集工具：ETL

在數(shù)據(jù)倉庫的語境下，ETL基本上便是數(shù)據(jù)搜集的代表，包括數(shù)據(jù)的提取(Extract)、轉(zhuǎn)換(Transform)和加載(Load)。在轉(zhuǎn)換的過程中，需求針對(duì)具體的事務(wù)場(chǎng)景對(duì)數(shù)據(jù)進(jìn)行治理，例如進(jìn)行不合法數(shù)據(jù)監(jiān)測(cè)與過濾、格式轉(zhuǎn)換與數(shù)據(jù)規(guī)范化、數(shù)據(jù)替換、確保數(shù)據(jù)完整性等。

2、實(shí)時(shí)搜集工具：Flume/Kafka

實(shí)時(shí)搜集首要用在考慮流處理的事務(wù)場(chǎng)景，比方，用于記錄數(shù)據(jù)源的履行的各種操作活動(dòng)，比方網(wǎng)絡(luò)監(jiān)控的流量辦理、金融運(yùn)用的股票記賬和 web服務(wù)器記錄的用戶訪問行為。在流處理場(chǎng)景，數(shù)據(jù)搜集會(huì)成為Kafka的顧客，就像一個(gè)水壩一般將上游源源不斷的數(shù)據(jù)攔截住，然后依據(jù)事務(wù)場(chǎng)景做對(duì)應(yīng)的處理(例如去重、去噪、中心核算等)，之后再寫入到對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)中。

3、互聯(lián)網(wǎng)搜集工具：Crawler, DPI等

Scribe是Facebook開發(fā)的數(shù)據(jù)(日志)搜集體系。又被稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機(jī)器人，是一種按照一定的規(guī)矩，自動(dòng)地抓取萬維網(wǎng)信息的程序或者腳本，它支持圖片、音頻、視頻等文件或附件的搜集。

除了網(wǎng)絡(luò)中包含的內(nèi)容之外，關(guān)于網(wǎng)絡(luò)流量的搜集能夠運(yùn)用DPI或DFI等帶寬辦理技術(shù)進(jìn)行處理。

1.開源大數(shù)據(jù)生態(tài)圈

Hadoop HDFS、Hadoop MapReduce, HBase、Hive漸次誕生，早期Hadoop生態(tài)圈逐步形成。

開源生態(tài)圈活躍，并免費(fèi)，但Hadoop對(duì)技術(shù)要求高，實(shí)時(shí)性稍差。

2.商用大數(shù)據(jù)分析工具

一體機(jī)數(shù)據(jù)庫/數(shù)據(jù)倉庫（費(fèi)用很高）

IBM PureData(Netezza), Oracle Exadata, SAP Hana等等。

數(shù)據(jù)倉庫（費(fèi)用較高）

Teradata AsterData, EMC GreenPlum, HP Vertica等等。

數(shù)據(jù)集市（費(fèi)用一般）

QlikView、 Tableau、國(guó)內(nèi)永洪科技Yonghong Data Mart等等。

前端展現(xiàn)

用于展現(xiàn)分析的前端開源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

用于展現(xiàn)分析商用分析工具有Cognos,BO, Microsoft, Oracle,Microstrategy,QlikView、 Tableau、國(guó)內(nèi)永洪科技Yonghong Z-Suite等等。

我推薦一些常用的大數(shù)據(jù)分析工具

1.專業(yè)的大數(shù)據(jù)分析工具

2.各種Python數(shù)據(jù)可視化第三方庫

3.其它語言的數(shù)據(jù)可視化框架

一、專業(yè)的大數(shù)據(jù)分析工具

1、FineReport

FineReport是一款純Java編寫的、集數(shù)據(jù)展示(報(bào)表)和數(shù)據(jù)錄入(表單)功能于一身的企業(yè)級(jí)web報(bào)表工具，只需要簡(jiǎn)單的拖拽操作便可以設(shè)計(jì)復(fù)雜的中國(guó)式報(bào)表，搭建數(shù)據(jù)決策分析系統(tǒng)。

2、FineBI

FineBI是新一代自助大數(shù)據(jù)分析的商業(yè)智能產(chǎn)品，提供了從數(shù)據(jù)準(zhǔn)備、自助數(shù)據(jù)處理、數(shù)據(jù)分析與挖掘、數(shù)據(jù)可視化于一體的完整解決方案，也是我比較推崇的可視化工具之一。

FineBI的使用感同Tableau類似，都主張可視化的探索性分析，有點(diǎn)像加強(qiáng)版的數(shù)據(jù)透視表。上手簡(jiǎn)單，可視化庫豐富?？梢猿洚?dāng)數(shù)據(jù)報(bào)表的門戶，也可以充當(dāng)各業(yè)務(wù)分析的平臺(tái)。

二、Python的數(shù)據(jù)可視化第三方庫

Python正慢慢地成為數(shù)據(jù)分析、數(shù)據(jù)挖掘領(lǐng)域的主流語言之一。在Python的生態(tài)里，很多開發(fā)者們提供了非常豐富的、用于各種場(chǎng)景的數(shù)據(jù)可視化第三方庫。這些第三方庫可以讓我們結(jié)合Python語言繪制出漂亮的圖表。

1、pyecharts

Echarts(下面會(huì)提到)是一個(gè)開源免費(fèi)的javascript數(shù)據(jù)可視化庫，它讓我們可以輕松地繪制專業(yè)的商業(yè)數(shù)據(jù)圖表。當(dāng)Python遇上了Echarts，pyecharts便誕生了，它是由chenjiandongx等一群開發(fā)者維護(hù)的Echarts Python接口，讓我們可以通過Python語言繪制出各種Echarts圖表。

2、Bokeh

Bokeh是一款基于Python的交互式數(shù)據(jù)可視化工具，它提供了優(yōu)雅簡(jiǎn)潔的方法來繪制各種各樣的圖形，可以高性能的可視化大型數(shù)據(jù)集以及流數(shù)據(jù)，幫助我們制作交互式圖表、可視化儀表板等。

三、其他數(shù)據(jù)可視化工具

1、Echarts

前面說過了，Echarts是一個(gè)開源免費(fèi)的javascript數(shù)據(jù)可視化庫，它讓我們可以輕松地繪制專業(yè)的商業(yè)數(shù)據(jù)圖表。

大家都知道去年春節(jié)以及近期央視大規(guī)劃報(bào)道的百度大數(shù)據(jù)產(chǎn)品，如百度遷徙、百度司南、百度大數(shù)據(jù)預(yù)測(cè)等等，這些產(chǎn)品的數(shù)據(jù)可視化均是通過ECharts來實(shí)現(xiàn)的。

2、D3

D3（Data Driven Documents）是支持SVG渲染的另一種JavaScript庫。但是D3能夠提供大量線性圖和條形圖之外的復(fù)雜圖表樣式，例如Voronoi圖、樹形圖、圓形集群和單詞云等。

大數(shù)據(jù)處理的技術(shù)棧共有四個(gè)層次，分別是數(shù)據(jù)采集和傳輸層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)處理和分析層、數(shù)據(jù)應(yīng)用層。

1、數(shù)據(jù)采集和傳輸層：這一層主要負(fù)責(zé)從各種數(shù)據(jù)源收集數(shù)據(jù)，并將數(shù)據(jù)傳輸?shù)綌?shù)據(jù)中心。常用的技術(shù)包括Flume、Logstash、Sqoop等。Flume和Logstash主要用于日志數(shù)據(jù)的采集，Sqoop則用于從關(guān)系型數(shù)據(jù)庫中導(dǎo)入導(dǎo)出數(shù)據(jù)。

2、數(shù)據(jù)存儲(chǔ)層：這一層主要負(fù)責(zé)數(shù)據(jù)的持久化存儲(chǔ)。常用的技術(shù)包括HDFS、HBase、Cassandra等。HDFS是一個(gè)分布式文件系統(tǒng)，適合存儲(chǔ)大量非結(jié)構(gòu)化數(shù)據(jù)。HBase是一個(gè)分布式列存儲(chǔ)數(shù)據(jù)庫，適合存儲(chǔ)大量結(jié)構(gòu)化數(shù)據(jù)。

3、數(shù)據(jù)處理和分析層：這一層主要負(fù)責(zé)對(duì)存儲(chǔ)在數(shù)據(jù)中心的數(shù)據(jù)進(jìn)行加工和處理，以提取有價(jià)值的信息。常用的技術(shù)包括MapReduce、Spark、Flink等。MapReduce是一個(gè)分布式計(jì)算框架，適合處理大量批處理任務(wù)。

4、數(shù)據(jù)應(yīng)用層：這一層主要負(fù)責(zé)將處理后的數(shù)據(jù)應(yīng)用于各種業(yè)務(wù)場(chǎng)景，如數(shù)據(jù)分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等。常用的技術(shù)包括Hive、Pig、Drill等。Hive是一個(gè)基于Hadoop的數(shù)據(jù)倉庫工具，支持SQL查詢。Pig是一個(gè)高級(jí)數(shù)據(jù)流語言，用于描述數(shù)據(jù)的轉(zhuǎn)換和映射。

大數(shù)據(jù)處理的作用：

1、商業(yè)智能與決策支持：大數(shù)據(jù)處理能夠從海量、多源、異構(gòu)的數(shù)據(jù)中提取有價(jià)值的信息和洞察。通過高級(jí)分析和數(shù)據(jù)挖掘技術(shù)，企業(yè)可以揭示隱藏的市場(chǎng)趨勢(shì)、消費(fèi)者行為模式和業(yè)務(wù)性能指標(biāo)，從而做出數(shù)據(jù)驅(qū)動(dòng)的決策，優(yōu)化戰(zhàn)略規(guī)劃和業(yè)務(wù)運(yùn)營(yíng)。

2、實(shí)時(shí)監(jiān)控與風(fēng)險(xiǎn)預(yù)警：大數(shù)據(jù)處理能夠?qū)崿F(xiàn)實(shí)時(shí)或近乎實(shí)時(shí)的數(shù)據(jù)分析，幫助企業(yè)監(jiān)控關(guān)鍵業(yè)務(wù)指標(biāo)和異常情況。通過對(duì)大量數(shù)據(jù)的持續(xù)監(jiān)測(cè)和模式識(shí)別，系統(tǒng)可以及時(shí)發(fā)出風(fēng)險(xiǎn)預(yù)警，幫助企業(yè)預(yù)防潛在的問題，如供應(yīng)鏈中斷、金融欺詐或醫(yī)療緊急情況。

3、個(gè)性化服務(wù)與用戶體驗(yàn)提升：大數(shù)據(jù)處理能夠深度了解用戶的需求、偏好和行為特征?；谶@些信息，企業(yè)可以提供個(gè)性化的產(chǎn)品推薦、營(yíng)銷策略和服務(wù)體驗(yàn)，提高用戶滿意度和忠誠(chéng)度。例如，電子商務(wù)平臺(tái)利用大數(shù)據(jù)分析來實(shí)現(xiàn)精準(zhǔn)營(yíng)銷和個(gè)性化購物推薦。

以上內(nèi)容參考：百度百科-大數(shù)據(jù)