當前位置:編程學習大全網 - 源碼下載 - 怎樣給訪問量過大的mysql數據庫減壓

怎樣給訪問量過大的mysql數據庫減壓

單機MySQL數據庫的優化

壹、服務器硬件對MySQL性能的影響

 

 ①磁盤尋道能力(磁盤I/O),我們現在上的都是SAS15000轉的硬盤。MySQL每秒鐘都在進行大量、復雜的查詢操作,對磁盤的讀寫量可想而知。

所以,通常認為磁盤I/O是制約MySQL性能的最大因素之壹,對於日均訪

問量在100萬PV以上的Discuz!論壇,由於磁盤I/O的制約,MySQL的性能會非常低下!解決這壹制約因素可以考慮以下幾種解決方案:

使用RAID1+0磁盤陣列,註意不要嘗試使用RAID-5,MySQL在RAID-5磁盤陣列上的效率不會像妳期待的那樣快。

②CPU 對於MySQL應用,推薦使用DELL R710,E5620 @2.40GHz(4 core)* 2 ,我現在比較喜歡DELL R710,也在用其作Linuxakg 虛擬化應用;

③物理內存對於壹臺使用MySQL的Database Server來說,服務器內存建議不要小於2GB,推薦使用4GB以上的物理內存,不過內存對於現在的服務器而言可以說是壹個可以忽略的問題,工作中遇到高端服務器基本上內存都超過了32G。

我們工作中用得比較多的數據庫服務器是HP DL580G5和DELL R710,穩定性和性能都不錯;特別是DELL R710,我發現許多同行都是采用它作數據庫的服務器,所以重點推薦下。

 

 二、MySQL的線上安裝我建議采取編譯安裝的方法,這樣性能上有較大提升,服務器系統我建議用64bit的Centos5.5,源碼包的編譯參數會默

認以Debgu模式生成二進制代碼,而Debug模式給MySQL帶來的性能損失是比較大的,所以當我們編譯準備安裝的產品代碼時,壹定不要忘記使用“—

without-debug”參數禁用Debug模式。而如果把—with-mysqld-ldflags和—with-client-ldflags二

個編譯參數設置為—all-static的話,可以告訴編譯器以靜態方式編譯和編譯結果代碼得到最高的性能。使用靜態編譯和使用動態編譯的代碼相比,性能

差距可能會達到5%至10%之多。我參考了簡朝陽先生的編譯參數,特列如下,供大家參考

./configure

–prefix=/usr/local/mysql –without-debug –without-bench

–enable-thread-safe-client –enable-assembler –enable-profiling

–with-mysqld-ldflags=-all-static –with-client-ldflags=-all-static

–with-charset=latin1 –with-extra-charset=utf8,gbk –with-innodb

–with-csv-storage-engine –with-federated-storage-engine

–with-mysqld-user=mysql –without-我是怎麽了ded-server

–with-server-suffix=-community

–with-unix-socket-path=/usr/local/mysql/sock/mysql.sock

三、MySQL自身因素當解決了上述服務器硬件制約因素後,讓我們看看MySQL自身的優化是如何操作的。對 MySQL自身的優化主要是對其配置文件my.cnf中的各項參數進行優化調整。下面我們介紹壹些對性能影響較大的參數。

下面,我們根據以上硬件配置結合壹份已經優化好的my.cnf進行說明:

#vim /etc/my.cnf

以下只列出my.cnf文件中[mysqld]段落中的內容,其他段落內容對MySQL運行性能影響甚微,因而姑且忽略。

[mysqld]

port = 3306

serverid = 1

socket = /tmp/mysql.sock

skip-locking

#避免MySQL的外部鎖定,減少出錯幾率增強穩定性。

skip-name-resolve

#禁止MySQL對外部連接進行DNS解析,使用這壹選項可以消除MySQL進行DNS解析的時間。但需要註意,如果開啟該選項,則所有遠程主機連接授權都要使用IP地址方式,否則MySQL將無法正常處理連接請求!

back_log = 384

 

 #back_log參數的值指出在MySQL暫時停止響應新請求之前的短時間內多少個請求可以被存在堆棧中。

如果系統在壹個短時間內有很多連接,則需要增大該參數的值,該參數值指定到來的TCP/IP連接的偵聽隊列的大小。不同的操作系統在這個隊列大小上有它自

己的限制。 試圖設定back_log高於妳的操作系統的限制將是無效的。默認值為50。對於Linux系統推薦設置為小於512的整數。

key_buffer_size = 384M

#key_buffer_size指定用於索引的緩沖區大小,增加它可得到更好的索引處理性能。對於內存在4GB左右的服務器該參數可設置為256M或384M。註意:該參數值設置的過大反而會是服務器整體效率降低!

max_allowed_packet = 4M

thread_stack = 256K

table_cache = 614K

sort_buffer_size = 6M

#查詢排序時所能使用的緩沖區大小。註意:該參數對應的分配內存是每連接獨占,如果有100個連接,那麽實際分配的總***排序緩沖區大小為100 × 6 = 600MB。所以,對於內存在4GB左右的服務器推薦設置為6-8M。

read_buffer_size = 4M

#讀查詢操作所能使用的緩沖區大小。和sort_buffer_size壹樣,該參數對應的分配內存也是每連接獨享。

join_buffer_size = 8M

#聯合查詢操作所能使用的緩沖區大小,和sort_buffer_size壹樣,該參數對應的分配內存也是每連接獨享。

myisam_sort_buffer_size = 64M

table_cache = 512

thread_cache_size = 64

query_cache_size = 64M

 

 #指定MySQL查詢緩沖區的大小。可以通過在MySQL控制臺觀察,如果Qcache_lowmem_prunes的值非常大,則表明經常出現緩沖不

的情況;如果Qcache_hits的值非常大,則表明查詢緩沖使用非常頻繁,如果該值較小反而會影響效率,那麽可以考慮不用查詢緩

沖;Qcache_free_blocks,如果該值非常大,則表明緩沖區中碎片很多。

tmp_table_size = 256M

max_connections = 768

#指定MySQL允許的最大連接進程數。如果在訪問論壇時經常出現Too Many Connections的錯誤提 示,則需要增大該參數值。

max_connect_errors = 1000

wait_timeout = 10

#指定壹個請求的最大連接時間,對於4GB左右內存的服務器可以設置為5-10。

thread_concurrency = 8

#該參數取值為服務器邏輯CPU數量*2,在本例中,服務器有2顆物理CPU,而每顆物理CPU又支持H.T超線程,所以實際取值為4*2=8;這個目前也是雙四核主流服務器配置。

skip-networking

#開啟該選項可以徹底關閉MySQL的TCP/IP連接方式,如果WEB服務器是以遠程連接的方式訪問MySQL數據庫服務器則不要開啟該選項!否則將無法正常連接!

table_cache=1024

#物理內存越大,設置就越大。默認為2402,調到512-1024最佳

innodb_additional_mem_pool_size=4M

#默認為2M

innodb_flush_log_at_trx_commit=1

#設置為0就是等到innodb_log_buffer_size列隊滿後再統壹儲存,默認為1

innodb_log_buffer_size=2M

#默認為1M

innodb_thread_concurrency=8

#妳的服務器CPU有幾個就設置為幾,建議用默認壹般為8

key_buffer_size=256M

#默認為218,調到128最佳

tmp_table_size=64M

#默認為16M,調到64-256最掛

read_buffer_size=4M

#默認為64K

read_rnd_buffer_size=16M

#默認為256K

sort_buffer_size=32M

#默認為256K

thread_cache_size=120

#默認為60

query_cache_size=32M

※值得註意的是:

很多情況需要具體情況具體分析

壹、如果Key_reads太大,則應該把my.cnf中Key_buffer_size變大,保持Key_reads/Key_read_requests至少1/100以上,越小越好。

二、如果Qcache_lowmem_prunes很大,就要增加Query_cache_size的值。

 

 很多時候我們發現,通過參數設置進行性能優化所帶來的性能提升,可能並不如許多人想象的那樣產生質的飛躍,除非是之前的設置存在嚴重不合理的情況。我們

不能將性能調優完全依托於通過DBA在數據庫上線後進行的參數調整,而應該在系統設計和開發階段就盡可能減少性能問題。

51CTO獨家特稿如果單MySQL的優化始終還是頂不住壓力時,這個時候我們就必須考慮MySQL的高可用架構(很多同學也愛說成是MySQL集群)了,目前可行的方案有:

壹、MySQL Cluster

優勢:可用性非常高,性能非常好。每份數據至少可在不同主機存壹份拷貝,且冗余數據拷貝實時同步。但它的維護非常復雜,存在部分Bug,目前還不適合比較核心的線上系統,所以這個我不推薦。

二、DRBD磁盤網絡鏡像方案

 

 優勢:軟件功能強大,數據可在底層快設備級別跨物理主機鏡像,且可根據性能和可靠性要求配置不同級別的同步。IO操作保持順序,可滿足數據庫對數據壹致

性的苛刻要求。但非分布式文件系統環境無法支持鏡像數據同時可見,性能和可靠性兩者相互矛盾,無法適用於性能和可靠性要求都比較苛刻的環境,維護成本高於

MySQL Replication。另外,DRBD也是官方推薦的可用於MySQL高可用方案之壹,所以這個大家可根據實際環境來考慮是否部署。

三、MySQL Replication

 

 在實際應用場景中,MySQL

Replication是使用最為廣泛的壹種提高系統擴展性的設計手段。眾多的MySQL使用者通過Replication功能提升系統的擴展性後,通過

簡單的增加價格低廉的硬件設備成倍

甚至成數量級地提高了原有系統的性能,是廣大MySQL中低端使用者非常喜歡的功能之壹,也是許多MySQL使用者選擇MySQL最為重要的原因。

比較常規的MySQL Replication架構也有好幾種,這裏分別簡單說明下

MySQL Replication架構壹:常規復制架構--Master-slaves,是由壹個Master復制到壹個或多個Salve的架構模式,主要用於讀壓力大的應用數據庫端廉價擴展解決方案,讀寫分離,Master主要負責寫方面的壓力。

MySQL Replication架構二:級聯復制架構,即Master-Slaves-Slaves,這個也是為了防止Slaves的讀壓力過大,而配置壹層二級 Slaves,很容易解決Master端因為附屬slave太多而成為瓶勁的風險。

MySQL Replication架構三:Dual Master與級聯復制結合架構,即Master-Master-Slaves,最大的好處是既可以避免主Master的寫操作受到Slave集群的復制帶來的影響,而且保證了主Master的單點故障。

以上就是比較常見的MySQL replication架構方案,大家可根據自己公司的具體環境來設計 ,Mysql 負載均衡可考慮用LVS或Haproxy來做,高可用HA軟件我推薦Heartbeat。

 

 MySQL

Replication的不足:如果Master主機硬件故障無法恢復,則可能造成部分未傳送到slave端的數據丟失。所以大家應該根據自己目前的網絡

規劃,選擇自己合理的Mysql架構方案,跟自己的MySQL

DBA和程序員多溝湧,多備份(備份我至少會做到本地和異地雙備份),多測試,數據的事是最大的事,出不得半點差錯

  • 上一篇:app制作費用最低多少?最快多久?
  • 下一篇:幾種常用Web數據庫的比較
  • copyright 2024編程學習大全網