當前位置:編程學習大全網 - 源碼下載 - 如何修改mysql 的binlog

如何修改mysql 的binlog

MySQL 的 Binlog 記錄著 MySQL 數據庫的所有變更信息,了解 Binlog 的結構可以幫助我們解析Binlog,甚至對 Binlog 進行壹些修改,或者說是“篡改”,例如實現類似於 Oracle 的 flashback 的功能,恢復誤刪除的記錄,把 update 的記錄再還原回去等。本文將帶您探討壹下這些神奇功能的實現,您會發現比您想象地要簡單得多。本文指的 Binlog 是 ROW 模式的 Binlog,這也是 MySQL 8 裏的默認模式,STATEMENT 模式因為使用中有很多限制,現在用得越來越少了。

Binlog 由事件(event)組成,請註意是事件(event)不是事務(transaction),壹個事務可以包含多個事件。事件描述對數據庫的修改內容。

現在我們已經了解了 Binlog 的結構,我們可以試著修改 Binlog 裏的數據。例如前面舉例的 Binlog 刪除了壹條記錄,我們可以試著把這條記錄恢復,Binlog 裏面有個刪除行(DELETE_ROWS_EVENT)的事件,就是這個事件刪除了記錄,這個事件和寫行(WRITE_ROWS_EVENT)的事件的數據結構是完全壹樣的,只是刪除行事件的類型是 32,寫行事件的類型是 30,我們把對應的 Binlog 位置的 32 改成 30 即可把已經刪除的記錄再插入回去。從前面的 “show binlog events” 裏面可看到這個 DELETE_ROWS_EVENT 是從位置 378 開始的,這裏的位置就是 Binlog 文件的實際位置(以字節為單位)。從事件(event)的結構裏面可以看到 type_code 是在 event 的第 5 個字節,我們寫個 Python 小程序把把第383(378+5=383)字節改成 30 即可。當然您也可以用二進制編輯工具來改。

找出 Binlog 中的大事務

由於 ROW 模式的 Binlog 是每壹個變更都記錄壹條日誌,因此壹個簡單的 SQL,在 Binlog 裏可能會產生壹個巨無霸的事務,例如壹個不帶 where 的 update 或 delete 語句,修改了全表裏面的所有記錄,每條記錄都在 Binlog 裏面記錄壹次,結果是壹個巨大的事務記錄。這樣的大事務經常是產生麻煩的根源。我的壹個客戶有壹次向我抱怨,壹個 Binlog 前滾,滾了兩天也沒有動靜,我把那個 Binlog 解析了壹下,發現裏面有個事務產生了 1.4G 的記錄,修改了 66 萬條記錄!下面是壹個簡單的找出 Binlog 中大事務的 Python 小程序,我們知道用 mysqlbinlog 解析的 Binlog,每個事務都是以 BEGIN 開頭,以 COMMIT 結束。我們找出 BENGIN 前面的 “# at” 的位置,檢查 COMMIT 後面的 “# at” 位置,這兩個位置相減即可計算出這個事務的大小,下面是這個 Python 程序的例子。

切割 Binlog 中的大事務

對於大的事務,MySQL 會把它分解成多個事件(註意壹個是事務 TRANSACTION,另壹個是事件 EVENT),事件的大小由參數 binlog-row-event-max-size 決定,這個參數默認是 8K。因此我們可以把若幹個事件切割成壹個單獨的略小的事務

ROW 模式下,即使我們只更新了壹條記錄的其中某個字段,也會記錄每個字段變更前後的值,這個行為是 binlog_row_image 參數控制的,這個參數有 3 個值,默認為 FULL,也就是記錄列的所有修改,即使字段沒有發生變更也會記錄。這樣我們就可以實現類似 Oracle 的 flashback 的功能,我個人估計 MySQL 未來的版本從可能會基於 Binlog 推出這樣的功能。

了解了 Binlog 的結構,再加上 Python 這把瑞士軍刀,我們還可以實現很多功能,例如我們可以統計哪個表被修改地最多?我們還可以把 Binlog 切割成壹段壹段的,然後再重組,可以靈活地進行 MySQL 數據庫的修改和遷移等工作。

  • 上一篇:web前端框架是做什麽的?
  • 下一篇:求大神幫我解決c++的問題,在線整理,很急。希望直接貼源代碼。
  • copyright 2024編程學習大全網