當前位置:編程學習大全網 - 編程語言 - 數據庫為什麽要分庫分表

數據庫為什麽要分庫分表

1 基本思想之什麽是分庫分表?

從字面上簡單理解,就是把原本存儲於壹個庫的數據分塊存儲到多個庫上,把原本存儲於壹個表的數據分塊存儲到多個表上。

2 基本思想之為什麽要分庫分表?

據庫中的數據量不壹定是可控的,在未進行分庫分表的情況下,隨著時間和業務的發展,庫中的表會越來越多,表中的數據量也會越來越大,相應地,數據操作,增

刪改查的開銷也會越來越大;另外,由於無法進行分布式式部署,而壹臺服務器的資源(CPU、磁盤、內存、IO等)是有限的,最終數據庫所能承載的數據量、

數據處理能力都將遭遇瓶頸。

3 分庫分表的實施策略。

分庫分表有垂直切分和水平切分兩種。

3.1

何謂垂直切分,即將表按照功能模塊、關系密切程度劃分出來,部署到不同的庫上。例如,我們會建立定義數據庫workDB、商品數據庫payDB、用戶數據

庫userDB、日誌數據庫logDB等,分別用於存儲項目數據定義表、商品定義表、用戶數據表、日誌數據表等。

3.2

何謂水平切分,當壹個表中的數據量過大時,我們可以把該表的數據按照某種規則,例如userID散列,進行劃分,然後存儲到多個結構相同的表,和不同的庫

上。例如,我們的userDB中的用戶數據表中,每壹個表的數據量都很大,就可以把userDB切分為結構相同的多個userDB:part0DB、

part1DB等,再將userDB上的用戶數據表userTable,切分為很多userTable:userTable0、userTable1等,

然後將這些表按照壹定的規則存儲到多個userDB上。

3.3 應該使用哪壹種方式來實施數據庫分庫分表,這要看數據庫中數據量的瓶頸所在,並綜合項目的業務類型進行考慮。

如果數據庫是因為表太多而造成海量數據,並且項目的各項業務邏輯劃分清晰、低耦合,那麽規則簡單明了、容易實施的垂直切分必是首選。

如果數據庫中的表並不多,但單表的數據量很大、或數據熱度很高,這種情況之下就應該選擇水平切分,水平切分比垂直切分要復雜壹些,它將原本邏輯上屬於壹體

的數據進行了物理分割,除了在分割時要對分割的粒度做好評估,考慮數據平均和負載平均,後期也將對項目人員及應用程序產生額外的數據管理負擔。

在現實項目中,往往是這兩種情況兼而有之,這就需要做出權衡,甚至既需要垂直切分,又需要水平切分。我們的遊戲項目便綜合使用了垂直與水平切分,我們首先對數據庫進行垂直切分,然後,再針對壹部分表,通常是用戶數據表,進行水平切分。

4 分庫分表存在的問題。

4.1 事務問題。

在執行分庫分表之後,由於數據存儲到了不同的庫上,數據庫事務管理出現了困難。如果依賴數據庫本身的分布式事務管理功能去執行事務,將付出高昂的性能代價;如果由應用程序去協助控制,形成程序邏輯上的事務,又會造成編程方面的負擔。

4.2 跨庫跨表的join問題。

在執行了分庫分表之後,難以避免會將原本邏輯關聯性很強的數據劃分到不同的表、不同的庫上,這時,表的關聯操作將受到限制,我們無法join位於不同分庫的表,也無法join分表粒度不同的表,結果原本壹次查詢能夠完成的業務,可能需要多次查詢才能完成。

4.3 額外的數據管理負擔和數據運算壓力。

外的數據管理負擔,最顯而易見的就是數據的定位問題和數據的增刪改查的重復執行問題,這些都可以通過應用程序解決,但必然引起額外的邏輯運算,例如,對於

壹個記錄用戶成績的用戶數據表userTable,業務要求查出成績最好的100位,在進行分表之前,只需壹個order

by語句就可以搞定,但是在進行分表之後,將需要n個order

by語句,分別查出每壹個分表的前100名用戶數據,然後再對這些數據進行合並計算,才能得出結果。

  • 上一篇:這麽多人患有“高血壓”,高血壓的最大危害是什麽?
  • 下一篇:計算機壹級考試 機試 問題。
  • copyright 2024編程學習大全網