工具介紹

1、前端展現(xiàn)

用于展現(xiàn)分析的前端開源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

用于展現(xiàn)分析商用分析工具有Style Intelligence、RapidMiner Radoop、Cognos, BO, Microsoft Power BI, Oracle,Microstrategy,QlikView、 Tableau。

國(guó)內(nèi)的有BDP，國(guó)云數(shù)據(jù)（大數(shù)據(jù)魔鏡），思邁特，F(xiàn)ineBI等等。

2、數(shù)據(jù)倉(cāng)庫(kù)

有Teradata AsterData, EMC GreenPlum, HP Vertica等等。

3、數(shù)據(jù)集市

有QlikView、 Tableau、Style Intelligence等等。

擴(kuò)展資料

大數(shù)據(jù)分析的六個(gè)基本方面

1、Analytic Visualizations（可視化分析）

不管是對(duì)數(shù)據(jù)分析專家還是普通用戶，數(shù)據(jù)可視化是數(shù)據(jù)分析工具最基本的要求。可視化可以直觀的展示數(shù)據(jù)，讓數(shù)據(jù)自己說話，讓觀眾聽到結(jié)果。

2.、Data Mining Algorithms（數(shù)據(jù)挖掘算法）

可視化是給人看的，數(shù)據(jù)挖掘就是給機(jī)器看的。集群、分割、孤立點(diǎn)分析還有其他的算法讓我們深入數(shù)據(jù)內(nèi)部，挖掘價(jià)值。這些算法不僅要處理大數(shù)據(jù)的量，也要處理大數(shù)據(jù)的速度。

3、Predictive Analytic Capabilities（預(yù)測(cè)性分析能力）

數(shù)據(jù)挖掘可以讓分析員更好的理解數(shù)據(jù)，而預(yù)測(cè)性分析可以讓分析員根據(jù)可視化分析和數(shù)據(jù)挖掘的結(jié)果做出一些預(yù)測(cè)性的判斷。

4、Semantic Engines（語義引擎）

我們知道由于非結(jié)構(gòu)化數(shù)據(jù)的多樣性帶來了數(shù)據(jù)分析的新的挑戰(zhàn)，我們需要一系列的工具去解析，提取，分析數(shù)據(jù)。語義引擎需要被設(shè)計(jì)成能夠從“文檔”中智能提取信息。

5、Data Quality and Master Data Management（數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理）

數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理是一些管理方面的最佳實(shí)踐。通過標(biāo)準(zhǔn)化的流程和工具對(duì)數(shù)據(jù)進(jìn)行處理可以保證一個(gè)預(yù)先定義好的高質(zhì)量的分析結(jié)果。

假如大數(shù)據(jù)真的是下一個(gè)重要的技術(shù)革新的話，我們最好把精力關(guān)注在大數(shù)據(jù)能給我們帶來的好處，而不僅僅是挑戰(zhàn)。

6、數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)是為了便于多維分析和多角度展示數(shù)據(jù)按特定模式進(jìn)行存儲(chǔ)所建立起來的關(guān)系型數(shù)據(jù)庫(kù)。在商業(yè)智能系統(tǒng)的設(shè)計(jì)中，數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建是關(guān)鍵，是商業(yè)智能系統(tǒng)的基礎(chǔ)，承擔(dān)對(duì)業(yè)務(wù)系統(tǒng)數(shù)據(jù)整合的任務(wù)，為商業(yè)智能系統(tǒng)提供數(shù)據(jù)抽取、轉(zhuǎn)換和加載(ETL)，并按主題對(duì)數(shù)據(jù)進(jìn)行查詢和訪問，為聯(lián)機(jī)數(shù)據(jù)分析和數(shù)據(jù)挖掘提供數(shù)據(jù)平臺(tái)。

在數(shù)據(jù)的世界里，統(tǒng)計(jì)分析如同迷宮中的指路明燈，但對(duì)于眾多學(xué)者和專業(yè)人士來說，尋找合適的工具始終是一大挑戰(zhàn)。這里，我們將為你揭示幾款備受推崇的統(tǒng)計(jì)分析軟件，它們?cè)谝子眯?、功能性和專業(yè)性之間找到了微妙的平衡。

1.九數(shù)云在線數(shù)據(jù)統(tǒng)計(jì)分析工具-實(shí)用與智能并存

九數(shù)云，由業(yè)界知名帆軟軟件打造，是一款專為大數(shù)據(jù)分析而設(shè)計(jì)的神器。其低門檻的特點(diǎn)使得統(tǒng)計(jì)新手也能輕松上手，無需編寫復(fù)雜函數(shù)。它的強(qiáng)大性能使得大規(guī)模數(shù)據(jù)的處理變得輕而易舉，無需編程即可完成。操作界面簡(jiǎn)潔，只需簡(jiǎn)單拖拽，即可生成35+種專業(yè)圖表，且提供豐富的主題供你選擇。此外，九數(shù)云還記錄分析過程，方便問題追蹤和模板生成，讓你的分析工作既高效又有序。

2. SAS-專業(yè)級(jí)統(tǒng)計(jì)分析之王

SAS，全球統(tǒng)計(jì)分析領(lǐng)域的領(lǐng)頭羊，由兩位研究生初創(chuàng)，如今已發(fā)展為全球員工過萬的大型企業(yè)。作為統(tǒng)計(jì)分析的國(guó)際標(biāo)準(zhǔn)，SAS擁有30多個(gè)功能模塊，涵蓋了數(shù)據(jù)訪問、管理、分析和展現(xiàn)的全面能力。然而，它的強(qiáng)大功能往往伴隨著一定的學(xué)習(xí)曲線，需要編寫匯編語言程序，更適合專業(yè)統(tǒng)計(jì)人員使用。

3. SPSS-社會(huì)科學(xué)研究的得力助手

SPSS，由斯坦福研究生開發(fā)，以其直觀易用而知名。相較于SAS，SPSS操作更為簡(jiǎn)便，統(tǒng)計(jì)方法全面，圖表繪制方便，尤其適合社會(huì)學(xué)研究的數(shù)據(jù)分析。SPSS13.0版提供了數(shù)據(jù)整理、統(tǒng)計(jì)分析、圖表分析等多元功能，涵蓋了描述性統(tǒng)計(jì)、回歸分析、生存分析等多元統(tǒng)計(jì)分析領(lǐng)域。

4. Stata-精確而高效的命令式工具

Stata雖小，五臟俱全，1985年便已面世。它以命令操作為特點(diǎn)，分析方法全面，輸出結(jié)果清晰，圖表設(shè)計(jì)精良。然而，其數(shù)據(jù)兼容性和內(nèi)存管理是需要改進(jìn)的地方。

5. Statistica-全功能統(tǒng)計(jì)分析平臺(tái)

Statistica由StatSoft公司開發(fā)，集成了全面的統(tǒng)計(jì)分析、圖表制作和資料管理功能，尤其以其強(qiáng)大的制圖功能受到贊譽(yù)，可在圖表視窗中展示豐富的統(tǒng)計(jì)分析技術(shù)。

無論你是初入統(tǒng)計(jì)殿堂的新手，還是經(jīng)驗(yàn)豐富的研究者，這些工具都能幫助你高效、準(zhǔn)確地進(jìn)行數(shù)據(jù)探索和分析，讓復(fù)雜的統(tǒng)計(jì)分析過程變得觸手可及。選擇最適合你的那款，讓數(shù)據(jù)說話，讓智慧閃光吧！

深入解析Shapefile：GIS數(shù)據(jù)的幕后英雄

Shapefile，全稱Spatial Object File，是地理信息系統(tǒng)（GIS）領(lǐng)域中不可或缺的一種數(shù)據(jù)存儲(chǔ)格式，由Esri公司所定義。它以簡(jiǎn)單易用和開放性著稱，被廣泛應(yīng)用于地圖制作、數(shù)據(jù)分析和共享地理空間信息。(Shapefile由多個(gè)文件構(gòu)成：

Shapefile的核心在于.shp文件，這里存放的是空間幾何形狀，如點(diǎn)、線或面的坐標(biāo)數(shù)據(jù)，而.shx文件則是索引，幫助快速定位這些幾何元素。dbf文件則像一個(gè)表格，存儲(chǔ)與幾何形狀相關(guān)的屬性信息，例如地址、人口數(shù)量等。

在線解析和轉(zhuǎn)換的神器

對(duì)于那些需要在不同GIS軟件之間轉(zhuǎn)換數(shù)據(jù)的用戶，一款在線工具Sobigrice.gitee.io()堪稱福音。這款免費(fèi)服務(wù)允許您上傳shp文件，輕松地將其轉(zhuǎn)換為geojson格式，并支持自定義樣式和導(dǎo)出為高清圖片，如jpg或png，方便可視化展示。

走進(jìn)實(shí)踐：如何用代碼解析Shapefile

如果你想通過編程手段直接操作Shapefile，可以借助JavaScript的shapefile庫(kù)。首先，通過npm安裝shapefile模塊(npm install shapefile

openShp(shpData).then((source)=>{

source.read().then(function log(result){

if(result.done){

return;

} else{

return source.read().then(log);

}

});

});

這段代碼將逐個(gè)讀取shp文件中的數(shù)據(jù)，便于進(jìn)一步處理和分析。

互動(dòng)交流，更進(jìn)一步

如果你在解析過程中遇到任何疑問，不要猶豫，可以直接在本文下方留言，我們的社區(qū)將樂意分享經(jīng)驗(yàn)并協(xié)助解決問題。

編者按：數(shù)據(jù)科學(xué)家是21世紀(jì)的熱門工作。工欲善其事必先利其器。數(shù)據(jù)分析工具何其多，究竟用哪樣才合適？Lewis Chou在Medium上分析了3類6種工具的特點(diǎn)和適用場(chǎng)景，看完這篇文章，相信你就可以知道了。原文標(biāo)題是：Top 6 Data Analytics Tools in 2019

說到數(shù)據(jù)分析工具，我們總是有疑問。那么多的數(shù)據(jù)分析工具，它們之間究竟有什么區(qū)別？哪個(gè)更好？我應(yīng)該學(xué)習(xí)哪一個(gè)？

盡管這是一個(gè)老生常談的話題，但它確實(shí)很重要，我一直在努力尋找這個(gè)終極問題的答案。如果你到網(wǎng)上搜索這個(gè)領(lǐng)域的相關(guān)信息的話，很難找到公正的看法。因?yàn)樘囟〝?shù)據(jù)分析工具的評(píng)估者可能會(huì)從不同的角度出發(fā)，并帶有一些個(gè)人感受。

今天，讓我們撇開這些個(gè)人感受。我會(huì)嘗試跟大家一起客觀地談?wù)勎覍?duì)市場(chǎng)上數(shù)據(jù)分析工具的個(gè)人看法，以供參考。

我總共選擇了三類共6種工具。接下來我會(huì)一一進(jìn)行介紹。

Excel具備多種強(qiáng)大功能，比如創(chuàng)建表單，數(shù)據(jù)透視表，VBA等，Excel的系統(tǒng)如此龐大，以至于沒有任何一項(xiàng)分析工具可以超越它，確保了大家可以根據(jù)自己的需求分析數(shù)據(jù)。

但是，有些人可能以為他們非常精通計(jì)算機(jī)編程語言，然后鄙視用Excel作為工具，因?yàn)镋xcel無法處理大數(shù)據(jù)。但是請(qǐng)考慮一下，我們?nèi)粘Ｉ钪惺褂玫臄?shù)據(jù)是不是超出了大數(shù)據(jù)的限制？在我看來，Excel就是一款全能型的播放器。它最適合小型數(shù)據(jù)，而且通過插件還可以處理數(shù)百萬的數(shù)據(jù)。

綜上所述，基于Excel的強(qiáng)大功能及其用戶規(guī)模，我認(rèn)為它是必不可少的工具。如果你想學(xué)習(xí)數(shù)據(jù)分析，Excel絕對(duì)是首選。

商業(yè)智能是為數(shù)據(jù)分析而生的，它誕生的起點(diǎn)很高。其目的是縮短從商業(yè)數(shù)據(jù)到商業(yè)決策的時(shí)間，并利用數(shù)據(jù)來影響決策。

Excel的產(chǎn)品目標(biāo)不是這樣。Excel可以做很多事情。你可以使用Excel畫課程表，制作問卷或用作計(jì)算器，甚至可以用來畫畫。如果你會(huì)VBA，還可以制作小型游戲。不過這些并不是真正的數(shù)據(jù)分析功能。

但是BI工具就是專門用于數(shù)據(jù)分析的。

以常見的BI工具（例如Power BI，F(xiàn)ineReport和Tableau）為例。你會(huì)發(fā)現(xiàn)它們都是按照數(shù)據(jù)分析流程設(shè)計(jì)的。先是數(shù)據(jù)處理，數(shù)據(jù)清洗，然后是數(shù)據(jù)建模，最后是數(shù)據(jù)可視化，用圖表來識(shí)別問題并影響決策。

這些是數(shù)據(jù)分析的唯一方法，并且在這個(gè)過程中存在一些員工的痛點(diǎn)。

比方說，可以用BI工具來簡(jiǎn)化重復(fù)的低附加值的數(shù)據(jù)清洗工作。

如果數(shù)據(jù)量很大，傳統(tǒng)工具Excel是無法完成數(shù)據(jù)透視表的。

如果我們用Excel來進(jìn)行圖形顯示，會(huì)需要花費(fèi)大量時(shí)間來編輯圖表，包括顏色和字體設(shè)置等瑣事。

這些痛點(diǎn)是BI工具可以為我們帶來變化和價(jià)值的地方。

現(xiàn)在，讓我們比較一下市場(chǎng)上的三種流行的BI工具：Power BI，F(xiàn)ineReport和Tableau。

1）Tableau

Tableau的核心本質(zhì)實(shí)際上是Excel的數(shù)據(jù)透視表和數(shù)據(jù)透視圖?？梢哉fTableau敏銳地意識(shí)到了Excel的這一功能。它進(jìn)入BI市場(chǎng)較早，并延續(xù)了這一核心價(jià)值。

從發(fā)展歷史和當(dāng)前市場(chǎng)反饋的角度來看，Tableau的可視化效果更好。我不認(rèn)為這是因?yàn)樗膱D表有多酷，但是它的設(shè)計(jì)、顏色和用戶界面給我們一種簡(jiǎn)單而新鮮的感覺。

確實(shí)，這就像Tableau自己的宣傳一樣，他們投入了大量的學(xué)術(shù)精力來研究大家喜歡哪種圖表，以及如何為用戶提供操作和視覺上的終極體驗(yàn)。

此外，Tableau還增加了數(shù)據(jù)清洗功能和更智能的分析功能。這也是Tableau可以預(yù)期的產(chǎn)品開發(fā)優(yōu)勢(shì)。

2）Power BI

Power BI的優(yōu)勢(shì)在于其業(yè)務(wù)模型和數(shù)據(jù)分析功能。

Power BI以前是Excel的插件，但是發(fā)展并不理想。因此它擺脫了Excel，發(fā)展成BI工具。作為后來者，Power BI每個(gè)月都有迭代更新，并且跟進(jìn)的速度很快。

Power BI當(dāng)前具有三種授權(quán)方式：Power BI Free、Power BI Pro以及Power BI Premium。與Tableau一樣，免費(fèi)版的功能也不完整。但是給個(gè)人用幾乎已經(jīng)足夠。而且Power BI的數(shù)據(jù)分析功能強(qiáng)大。它的PowerPivot和DAX語言讓我能夠以類似在Excel中編寫公式的方式來進(jìn)行復(fù)雜的高級(jí)分析。

3）FineReport應(yīng)用

FineReport之所以獨(dú)特在于它的自助服務(wù)數(shù)據(jù)分析非常適合企業(yè)用戶。只需簡(jiǎn)單的拖放操作，你就可以使用FineReport設(shè)計(jì)各種樣式的報(bào)告，并輕松構(gòu)建數(shù)據(jù)決策分析系統(tǒng)。

FineReport可以直接連接到各種數(shù)據(jù)庫(kù)，并且方便快捷地自定義各種樣式，從而制作周報(bào)、月報(bào)和季報(bào)、年報(bào)。其格式類似于Excel的界面。功能包括報(bào)告創(chuàng)建，報(bào)告權(quán)限分配，報(bào)告管理，數(shù)據(jù)輸入等。

此外，F(xiàn)ineReport的可視化功能也非常突出，它提供了多種儀表板模板和許多自行開發(fā)的可視插件庫(kù)。

在價(jià)格方面，F(xiàn)ineReport的個(gè)人版本是完全免費(fèi)的，并且所有功能都是開放的。

R和Python是我要討論的第三類工具。盡管像Excel和BI工具這樣的軟件已盡最大努力考慮到數(shù)據(jù)分析的大多數(shù)應(yīng)用場(chǎng)景，但其實(shí)它們基本上都是定制化的。如果軟件沒有設(shè)計(jì)某項(xiàng)功能或替某功能開發(fā)按鈕，那很可能你就沒法用它們來完成工作。

在這一點(diǎn)上面，編程語言是不一樣的。它非常強(qiáng)大和靈活。你可以編寫代碼來執(zhí)行所需的任何操作。比方說，R和Python是數(shù)據(jù)科學(xué)家必不可少的工具。從專業(yè)的角度來看，它們絕對(duì)比Excel和BI工具強(qiáng)大。

那么，R和Python可以實(shí)現(xiàn)哪些Excel和BI工具難以實(shí)現(xiàn)的應(yīng)用場(chǎng)景呢？

1）專業(yè)統(tǒng)計(jì)分析

就R語言而言，它最擅長(zhǎng)的是統(tǒng)計(jì)分析，例如正態(tài)分布，使用算法對(duì)聚類進(jìn)行分類和回歸分析等。這種分析就像用數(shù)據(jù)作實(shí)驗(yàn)一樣。它可以幫助我們回答以下問題。

比方說，數(shù)據(jù)的分布是正態(tài)分布、三角分布還是其他類型的分布？離散情況如何？它是否在我們想要達(dá)到的統(tǒng)計(jì)可控范圍內(nèi)？不同參數(shù)對(duì)結(jié)果的影響的大小是多少？還有假設(shè)仿真分析。如果某個(gè)參數(shù)發(fā)生變化，會(huì)帶來多大影響？

2）獨(dú)立預(yù)測(cè)分析

比方說，我們打算預(yù)測(cè)消費(fèi)者的行為。他會(huì)在我們的商店停留多長(zhǎng)時(shí)間？他會(huì)花多少錢？我們可以找出他的個(gè)人信用情況，并根據(jù)他的在線消費(fèi)記錄確定貸款金額。或者，我們可以根據(jù)他在網(wǎng)頁上的瀏覽歷史推送不同的物品。這也涉及當(dāng)前流行的機(jī)器學(xué)習(xí)和人工智能概念。

以上比較說明了幾種軟件之間的區(qū)別。我想概括的要點(diǎn)的是，存在就是合理。Excel，BI工具或編程語言存在部分功能重疊，但它們也是互補(bǔ)的工具。每個(gè)應(yīng)用的價(jià)值取決于要開發(fā)的應(yīng)用的類型和當(dāng)時(shí)的情況。

在選擇數(shù)據(jù)分析工具之前，你必須首先了解自己的工作：你會(huì)不會(huì)用到我剛剛提到的應(yīng)用場(chǎng)景。或考慮一下你的職業(yè)方向：你是面向數(shù)據(jù)科學(xué)還是業(yè)務(wù)分析的。

譯者：boxi。