當前位置:編程學習大全網 - 網絡軟體 - 互聯網如何海量存儲數據?

互聯網如何海量存儲數據?

目前存儲海量數據的技術主要包括NoSQL、分布式文件系統、和傳統關系型數據庫。隨著互聯網行業不斷的發展,產生的數據量越來越多,並且這些數據的特點是半結構化和非結構化,數據很可能是不精確的,易變的。這樣傳統關系型數據庫就無法發揮它的優勢。因此,目前互聯網行業偏向於使用NoSQL和分布式文件系統來存儲海量數據。

下面介紹下常用的NoSQL和分布式文件系統。

NoSQL

互聯網行業常用的NoSQL有:HBase、MongoDB、Couchbase、LevelDB。

HBase是ApacheHadoop的子項目,理論依據為Google論文Bigtable:ADistributedStorageSystemforStructuredData開發的。HBase適合存儲半結構化或非結構化的數據。HBase的數據模型是稀疏的、分布式的、持久穩固的多維map。HBase也有行和列的概念,這是與RDBMS相同的地方,但卻又不同。HBase底層采用HDFS作為文件系統,具有高可靠性、高性能。

MongoDB是壹種支持高性能數據存儲的開源文檔型數據庫。支持嵌入式數據模型以減少對數據庫系統的I/O、利用索引實現快速查詢,並且嵌入式文檔和集合也支持索引,它復制能力被稱作復制集(replicaset),提供了自動的故障遷移和數據冗余。MongoDB的分片策略將數據分布在服務器集群上。

Couchbase這種NoSQL有三個重要的組件:Couchbase服務器、CouchbaseGateway、CouchbaseLite。Couchbase服務器,支持橫向擴展,面向文檔的數據庫,支持鍵值操作,類似於SQL查詢和內置的全文搜索;CouchbaseGateway提供了用於RESTful和流式訪問數據的應用層API。CouchbaseLite是壹款面向移動設備和“邊緣”系統的嵌入式數據庫。Couchbase支持千萬級海量數據存儲

分布式文件系統

如果針對單個大文件,譬如超過100MB的文件,使用NoSQL存儲就不適當了。使用分布式文件系統的優勢在於,分布式文件系統隔離底層數據存儲和分布的細節,展示給用戶的是壹個統壹的邏輯視圖。常用的分布式文件系統有GoogleFileSystem、HDFS、MooseFS、Ceph、GlusterFS、Lustre等。

  • 上一篇:桃子怎麽畫簡單又好看
  • 下一篇:黑鏡子第二季的劇情介紹
  • copyright 2024編程學習大全網