大數據分析，他們對企業的影響有很高的興趣。大數據分析是在研究大量數據的過程中發現模式、相關性等有用信息，可以幫助企業更好地適應變化，做出更明智的決策。
首先，Hadoop
Hadoop是壹個開源框架，它允許整個集群使用簡單的編程模型計算機在分布式環境中存儲和處理大數據。它的目的是從單個服務器擴展到數千臺機器，每臺機器都可以提供本地計算和存儲。
Hadoop是壹個可以分發大量數據的軟件框架。但是Hadoop是以壹種可靠、高效和可擴展的方式處理的。Hadoop是可靠的。即使計算元件和存儲發生故障，它也會維護工作數據的多個副本，以確保可以為故障節點重新分配處理。Hadoop是高效的，它並行工作，通過並行處理來加快處理速度。Hadoop也是可擴展的，可以處理PB級的數據。另外，Hadoop依賴於社區服務器，所以成本相對較低，任何人都可以使用。
Hadoop是壹個易於構建和使用的分布式計算平臺。用戶可以在Hadoop上輕松開發和運行處理海量數據的應用。它主要有以下優點:
1，可靠性高。Hadoop壹點壹點存儲和處理數據的能力是值得信賴的。
2.高可擴展性。Hadoop在可用的計算機集群之間分發數據和完成計算任務，可以很容易地擴展到數千個節點。
3.效率高。Hadoop可以在節點之間動態移動數據，保證各個節點的動態平衡，所以處理速度非常快。
4.高容錯性。Hadoop可以自動保存數據的多個副本，並自動重新分配失敗的任務。
Hadoop有壹個用Java語言寫的框架，所以運行在Linux生產平臺上是很理想的。Hadoop上的應用也可以用其他語言編寫，比如C++。
第二，HPCC
HPCC的縮寫，高性能計算和通信。1993年，美國聯邦科學、工程和技術協調委員會向國會提交了壹份“重大挑戰項目:高性能計算和通信”的報告，該報告也被稱為HPCC計劃，即美國總統科學戰略項目，旨在通過加強研發來解決壹批重要的科技挑戰。HPCC是美國實施信息高速公路的壹個計劃。這項計劃的實施將耗資數百億美元。其主要目標是開發可擴展的計算系統和相關軟件，以支持以太網的傳輸性能，發展千兆位網絡技術，擴大研究和教育機構及網絡連接能力。
該項目主要由五部分組成:
1，高性能計算機系統(HPCS)，包括未來幾代計算機系統的研究、系統設計工具、先進典型系統和原系統評估等。
2.高級軟件技術和算法(ASTA)，包括對巨大挑戰的軟件支持、新算法設計、軟件分支和工具、計算和高性能計算研究中心等。
3.國家研究和教育網格(NREN)，包括擴展塢和654.38+0億比特傳輸的研發；
4.基礎研究和人力資源(BRHR)包括基礎研究、培訓、教育和課程材料，旨在通過獎勵調查人員(開始和長期調查)來增加可擴展高性能計算領域的創新意識，通過改善教育和高性能計算培訓和交流來增加熟練和受過培訓的人員的合資企業，並提供必要的基礎設施來支持這些調查和研究活動；
5.信息基礎設施技術與應用(IITA)旨在確保美國在先進信息技術發展方面的領先地位。
第三，風暴
Storm是壹個免費、開源、分布式、高度容錯的實時計算系統。Storm讓連續流計算變得簡單，彌補了Hadoop批處理無法滿足的實時性要求。Storm常用於實時分析、在線機器學習、連續計算、分布式遠程調用和ETL。Storm的部署管理非常簡單，Storm的性能在同類流計算工具中是出類拔萃的。
Storm是壹個免費的開源軟件，壹個分布式和容錯的實時計算系統。Storm可以非常可靠地處理巨大的數據流，可以用來處理Hadoop的批量數據。Storm很簡單，支持多種編程語言，使用起來非常有趣。暴風來自Twitter，其他知名應用公司有Groupon、淘寶、支付寶、阿裏巴巴、音樂元素、Admaster等等。
Storm有很多應用領域:實時分析、在線機器學習、不間斷計算、分布式RPC(遠程過程調用協議，通過網絡向遠程計算機程序請求服務)、ETL(提取-轉換-加載的簡稱)等等。Storm的處理速度非常驚人:經過測試，每個節點每秒可以處理654.38+0萬個數據元組。Storm具有可擴展性、容錯性，並且易於設置和操作。
第四，阿帕奇演習
為了幫助企業用戶找到更有效的方法來加速Hadoop數據查詢，Apache Software Foundation最近推出了壹個名為“Drill”的開源項目。Apache Drill實現了Google的Dremel。“Drill”已作為Apache孵化器項目運營，並將面向全球軟件工程師持續推廣。
這個項目將創建壹個開源版本的Google Dremel Hadoop工具(Google用它來加速Hadoop數據分析工具的互聯網應用)。而“鉆取”將幫助Hadoop用戶更快地查詢海量數據集。
“Drill”項目實際上是受谷歌Dremel項目的啟發:它幫助谷歌分析和處理海量數據集，包括分析和爬取Web文檔，跟蹤安裝在Android Market上的應用程序數據，分析垃圾郵件，以及在谷歌的分布式構建系統上分析測試結果。
通過開發“Drill”Apache開源項目，組織將有望建立Drill所屬的API接口和靈活強大的架構，從而幫助支持廣泛的數據源、數據格式和查詢語言。
動詞 （verb的縮寫）快速采礦機
RapidMiner提供機器學習程序。數據挖掘包括數據可視化、處理、統計建模和預測分析。
RapidMiner是世界領先的數據挖掘解決方案，在很大程度上采用了先進的技術。它的數據挖掘任務涉及的範圍很廣，包括各種數據藝術，可以簡化數據挖掘過程的設計和評估。
功能和特點
免費提供數據挖掘技術和庫；100%使用Java代碼(可以在操作系統中運行)；數據挖掘的過程簡單、強大、直觀；內部XML確保用標準化的格式來表示exchange數據挖掘過程；大型流程可以用簡單的腳本語言自動進行；多級數據視圖，確保數據有效透明；圖形用戶界面的交互式原型；命令行(批處理模式)自動大規模應用；Java API(應用編程接口)；簡單的外掛和推廣機制；強大的可視化引擎，眾多前沿高維數據的可視化建模；由400多個數據挖掘操作員支持；耶魯大學已成功應用於許多不同的應用領域，包括文本挖掘、多媒體挖掘、功能設計、數據流挖掘、集成開發方法和分布式數據挖掘。
RapidMiner的局限性；RapidMiner對行數有大小限制；對於RapidMiner，妳需要比ODM和SAS更多的硬件資源。
不及物動詞Pentaho BI
Pentaho BI平臺不同於傳統BI產品。它是壹個以流程為中心、面向解決方案的框架。其目的是整合壹系列企業BI產品、開源軟件、API等組件，方便商業智能應用的開發。它的出現使得Jfree、Quartz等壹系列面向商業智能的獨立產品能夠被整合起來，形成壹個復雜完整的商業智能解決方案。
Pentaho BI平臺是Pentaho Open BI suite的核心架構和基礎，它以流程為中心，因為它的中央控制器是壹個工作流引擎。工作流引擎使用過程定義來定義在BI平臺上執行的商業智能過程。可以輕松定制流程，並添加新流程。BI平臺包含用於分析這些流程性能的組件和報告。目前，Pentaho的主要組件包括報告生成、分析、數據挖掘和工作流管理。這些組件通過J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技術集成到Pentaho平臺中。Pentaho的發行主要是以Pentaho SDK的形式。
Pentaho SDK***由五部分組成:Pentaho平臺、Pentaho樣本數據庫、可以獨立運行的Pentaho平臺、Pentaho解決方案樣本和壹個預先配置的Pentaho網絡服務器。其中，Pentaho平臺是Pentaho平臺最重要的部分，包含了Pentaho平臺的主要源代碼；Pentaho數據庫為Pentaho平臺正常運行提供的數據服務，包括配置信息、解決方案相關信息等。，對Pentaho平臺不是必須的，可以通過配置替換成其他數據庫服務；可獨立運行的Pentaho平臺是Pentaho平臺獨立運行模式的壹個例子，演示了如何讓Pentaho平臺在沒有應用服務器支持的情況下獨立運行。
Pentaho解決方案示例是壹個Eclipse項目，演示如何為Pentaho平臺開發相關的商業智能解決方案。
Pentaho BI平臺建立在服務器、引擎和組件的基礎上。這些提供了J2EE服務器、安全性、門戶、工作流、規則引擎、圖表、協作、內容管理、數據集成、分析和系統建模功能。這些組件中的大部分都是基於標準的，可以被其他產品替代。
七，德魯伊
Druid是壹個實時數據分析存儲系統，是Java語言中最好的數據庫連接池。德魯伊可以提供強大的監控和擴展功能。
八，安巴裏
大數據平臺建設和監控利器；同樣，CDH。
1，提供Hadoop集群
Ambari提供了在任意數量的主機上安裝Hadoop服務的分步向導。
Ambari處理集群Hadoop服務的配置。
2.管理Hadoop集群
Ambari為整個集群提供啟動、停止和重新配置Hadoop服務的集中管理。
3.監控Hadoop集群
Ambari提供了壹個儀表板，用於監控Hadoop集群的健康和狀態。
九、火花
大規模數據處理框架(可以應對企業常見的三種數據處理場景:復雜的批量數據處理；基於歷史數據的交互式查詢；基於實時數據流的數據處理，Ceph:Linux分布式文件系統。
X.Tableau公共
1，什麽是Tableau Public-？大數據分析工具
這是壹個簡單而直觀的工具。因為它通過數據可視化提供了有趣的見解。Tableau Public的百萬行限制。因為它比數據分析市場上的大多數其他玩家更容易使用票價。使用Tableau的視覺效果，妳可以調查壹個假設。另外，瀏覽數據，交叉核對自己的意見。
2.Tableau Public的使用
您可以免費將交互式數據可視化發布到Web上；不需要編程技能；發布到Tableau Public的可視化可以嵌入到博客中。此外，妳還可以通過電子郵件或社交媒體分享網頁。* * *妳喜歡的內容可以用有效硫下載。這使得它成為最好的大數據分析工具。
3.Tableau Public的局限性
所有數據都是公開的，限制訪問的範圍很小；數據大小限制；無法連接到[R；唯壹的讀取方法是通過OData source，也就是Excel或者txt。
XI。OpenRefine
1.什麽是open refine-壹個數據分析工具？
數據清理軟件，原名GoogleRefine。因為它可以幫助您清理數據以便進行分析。它對壹行數據進行操作。此外，在列下放置列與關系數據庫表非常相似。
2.OpenRefine的使用
清理雜亂的數據；數據轉換；解析來自網站的數據；通過從Web服務獲取數據向數據集添加數據。例如，OpenRefine可用於根據地理坐標對地址進行地理編碼。
3.OpenRefine的局限性
Open Refine不適合大型數據集；提煉對大數據不起作用。
十二。KNIME
1，什麽是KNIME-數據分析工具？
KNIME通過可視化編程幫助妳操作、分析和建模數據。它用於集成數據挖掘和機器學習的各種組件。
2.KNIME的目的
不要寫代碼塊。相反，您必須刪除並拖動活動之間的連接點；數據分析工具支持編程語言；事實上，分析工具，如可擴展運行化學數據、文本挖掘、python和[R。
3.KNIME的限制
數據可視化差
十三。谷歌融合表
1.什麽是谷歌融合表？
對於數據工具，我們有壹個更酷、更大的谷歌電子表格版本。壹個不可思議的工具，用於大型數據集的數據分析、繪圖和可視化。此外，Google Fusion表可以添加到業務分析工具列表中。這也是最好的大數據分析工具之壹，18大數據分析工具。
2.使用谷歌融合表。
在線可視化更大的表格數據；跨幾十萬行過濾匯總；將表格與Web上的其他數據相結合；您可以合並兩個或三個表以生成包含數據集的單個可視化效果；
3.谷歌融合表的局限性
只有表中的前100，000行數據包含在查詢結果中或被映射；API調用中發送的數據總大小不能超過1MB。
十四。NodeXL
1，NodeXL是什麽？
它是關系和網絡的可視化和分析軟件。NodeXL提供了精確的計算。這是壹個免費(非專業)和開源的網絡分析和可視化軟件。NodeXL是最好的數據分析統計工具之壹。這包括高級網絡指示器。此外，訪問社交媒體網絡數據導入程序和自動化。
2.NodeXL的用途
這是Excel中的壹個數據分析工具，可以幫助實現以下幾個方面:
數據導入；圖形可視化；圖形分析；數據表示；該軟件集成到Microsoft Excel 2007、2010、2013和2016中。它作為工作簿打開，包含各種包含圖形結構元素的工作表。這就像節點和邊；該軟件可以導入各種圖形格式。這個鄰接矩陣，帕傑克。網，UCINet。dl，GraphML和邊列表。
3.NodeXL的局限性
對於特定的問題，您需要使用多個種子術語；在稍微不同的時間運行數據提取。
十五，沃爾夫拉姆阿爾法
1，Wolfram Alpha是什麽？
這是壹個由史蒂夫·沃爾夫勒姆創建的計算知識引擎或響應引擎。
2.Wolfram Alpha的使用
它是蘋果Siri的附加組件；對技術搜索提供詳細回應，解決微積分問題；幫助商業用戶獲得信息圖表和圖形。它還有助於創建主題概述、商品信息和高級定價歷史。
3.Wolfram Alpha的局限性
Wolfram Alpha只能處理公眾人物和事實，不能處理觀點；它限制了每次查詢的計算時間；這些用於數據分析的統計工具有什麽問題？
十六、谷歌搜索運營商
1.什麽是谷歌搜索運營商？
它是幫助妳過濾谷歌搜索結果的強大資源。這將立即獲得最相關和最有用的信息。
2、谷歌搜索運營商的使用
更快速地過濾谷歌搜索結果；谷歌強大的數據分析工具可以幫助發現新信息。
十七、Excel求解器
1.什麽是Excel規劃求解
規劃求解加載宏是壹個Microsoft Office Excel加載宏程序。此外，當您安裝Microsoft Excel或Office時，它也可用。它是excel中的壹個線性規劃和優化工具。這允許您設置約束。它是壹種先進的優化工具，有助於快速解決問題。
2、規劃求解的使用
求解器找到的最終值是關系和決策的解；它采用多種方法，來源於非線性優化。也有線性規劃到進化算法和遺傳算法求解。
3.規劃求解的局限性
擴展錯誤是Excel規劃求解缺少的壹個方面。會影響解決的時間和質量；規劃求解將影響模型的內在可解性；
十八。大臺庫決策支持系統
1.什麽是大臺庫DSS？
這是壹個協作數據科學軟件平臺。此外，還有助於團隊建設、原型制作和探索。雖然，它可以更有效地提供自己的數據產品。
2.Dataiku DSS的使用
數據分析工具提供了壹個交互式的可視化界面。因此，他們可以構建、點擊、指向或使用SQL等語言。
3.數據倉庫決策支持系統的局限性
可視化功能有限；UI障礙:重載代碼/數據集；整個代碼不容易被編譯到單個文檔/筆記本中；仍然需要與SPARK整合
以上工具只是大數據分析中用到的部分工具，邊肖就不壹壹列舉了。讓我們對壹些工具的用途進行分類:
1，前端顯示
演示分析的前端開源工具有JasperSoft、Pentaho、Spagobi、Openi、Birt等。
用於演示分析商業分析工具包括Style Intelligence、RapidMiner Radoop、Cognos、bo、Microsoft powerbi、Oracle、microstrategy、qlikview和Tableau。
國內有BDP、郭雲數據(大數據分析鏡像)、Smart、FineBI等。
2.數據倉庫
Teradata aster data，EMC Greenplum，HP Vertica等等。
3.數據集市
還有QlikView，Tableau，Style Intelligence等等。
當然，學習大數據分析也有很多坑:
後悔轉行大數據分析師，大數據分析在零基礎學習中現實嗎，大數據分析培訓對就業好嗎，轉行大數據分析需要的技能？