當前位置:編程學習大全網 - 行動軟體 - 大數據平臺是什麽?什麽時候需要大數據平臺?

大數據平臺是什麽?什麽時候需要大數據平臺?

最近我和我的團隊壹直在做壹些大數據相關的工作,我來回答壹下這個問題。

首先是第壹個問題,大數據平臺是什麽?

當我們說到壹個平臺的時候,我們的意識裏面往往就知道,這裏面肯定不止壹樣東西,它是很多東西的壹個集合,大數據平臺也是壹樣,首先如果用幾個字來描述它的話就是“它是壹個數據解決方案”,進壹步解析就是:大數據平臺它是壹個以分布式存儲為基礎,集成了數據獲取,數據清洗,數據流轉,數據分析,數據輸出等工具集的壹個數據解決方案。它的核心使命是提供數據存儲和數據分析服務給目標客戶。

那麽它的核心組成部分是什麽呢?實現的方法有多種,我就舉壹個最典型的大數據平臺結構作為說明。

目前無論是國內或者國外,應用最廣泛也是最典型的大數據平臺是以Hadoop為核心進行功能延伸的生態系統,業內把它叫做Hadoop生態,它開源並且免費使用,它長什麽樣子?它的面目基本上是這樣:

從上圖我們得知,它就是壹套以Hadoop分布式文件系統為核心的數據處理工具集,目的是為了向用戶提供數據分析服務的壹個集成解決方案。

什麽時候需要大數據平臺?

簡單的說就是當數據總量大到傳統單機數據解決方面沒辦法存儲,分析,計算時就要用到大數據平臺。

舉例說,家用電腦目前壹般是配置2TB大小的硬盤(存儲容量約等於於18個128G的iPhone),壹般幾萬塊錢的商用服務器容量大約在32TB容量,高端的單機存儲器可以達到100TB以上,但是數據量如果再大比如上跳壹個數量級1000TB,也就是1PB左右,單機系統就無能為力了,不單是存儲容量無能為力,計算能力也無法應對了,因為我們知道,單臺計算機的性能是有極限的,數據太多磁盤檢索讀取的速度就會變慢,CPU和內存壓力也會變大,這個時候需要完成壹個數據分析任務就要耗時很長,那麽這個時候大數據平臺就派上用場了,大數據平臺的壹個特性就是多臺計算機組成壹個集群集體並行作戰,並且理論上可以無限拓展。

希望我的回答能夠幫助到您,有任何問題請在留言區留言,也歡迎在線咨詢

  • 上一篇:路由器怎麽連接?
  • 下一篇:尋問中國氣象頻道的各個背景音樂?
  • copyright 2024編程學習大全網