记一次线上重大事故:二狗子竟然把线上数据库删了!!
推薦閱讀:
這套Github上40K+star學(xué)習(xí)筆記,可以幫你搞定95%以上的Java面試
毫不夸張的說(shuō),這份SpringBoot學(xué)習(xí)指南能解決你遇到的98%的問(wèn)題
最全面試題新鮮出爐:70+算法題、近30種大廠(chǎng)面試筆試常考知識(shí)點(diǎn)
寫(xiě)在前面
估計(jì)二狗子這幾天是大姨夫來(lái)了,心情很郁悶,情緒也很低落,工作的時(shí)候也有點(diǎn)心不在焉。讓他發(fā)個(gè)版本,結(jié)果,一行命令下去把線(xiàn)上的數(shù)據(jù)庫(kù)刪了!你沒(méi)聽(tīng)錯(cuò):是刪掉了線(xiàn)上的數(shù)據(jù)庫(kù)!運(yùn)營(yíng)那邊頓時(shí)炸了鍋:怎么回事?系統(tǒng)不能訪(fǎng)問(wèn)了!什么情況啊?!很多客戶(hù)都在投訴了!!
盡管運(yùn)營(yíng)那邊慌慌張張的不知所措,但是,我們作為技術(shù)人員還是要淡定,不就是刪了數(shù)據(jù)庫(kù)嗎?沒(méi)事,哥幫你搞定!
事件背景
- MySQL數(shù)據(jù)庫(kù)每日零點(diǎn)自動(dòng)全備
- 某天上午9點(diǎn),二狗子不小心drop了一個(gè)數(shù)據(jù)庫(kù)
- 我們需要通過(guò)全備的數(shù)據(jù)文件,以及增量的binlog文件進(jìn)行數(shù)據(jù)恢復(fù)
主要思想與原理
- 利用全備的sql文件中記錄的CHANGE MASTER語(yǔ)句,binlog文件及其位置點(diǎn)信息,找出binlog文件增量的部分
- 用mysqlbinlog命令將上述的binlog文件導(dǎo)出為sql文件,并剔除其中的drop語(yǔ)句
- 通過(guò)全備文件和增量binlog文件的導(dǎo)出sql文件,就可以恢復(fù)到完整的數(shù)據(jù)
過(guò)程示意圖
操作過(guò)程
模擬數(shù)據(jù)
CREATE TABLE `student` (`id` int(11) NOT NULL AUTO_INCREMENT,`name` char(20) NOT NULL,`age` tinyint(2) NOT NULL DEFAULT '0',PRIMARY KEY (`id`),KEY `index_name` (`name`) ) ENGINE=InnoDB AUTO_INCREMENT=8 DEFAULT CHARSET=utf8 mysql> insert student values(1,'zhangsan',20); mysql> insert student values(2,'lisi',21); mysql> insert student values(3,'wangwu',22);全備命令
# mysqldump -uroot -p -B -F -R -x --master-data=2 test|gzip >/server/backup/test_$(date +%F).sql.gz參數(shù)說(shuō)明:
- -B 指定數(shù)據(jù)庫(kù)
- -F 刷新日志
- -R 備份存儲(chǔ)過(guò)程等
- -x 鎖表
- --master-data 在備份語(yǔ)句里添加CHANGE MASTER語(yǔ)句以及binlog文件及位置點(diǎn)信息
繼續(xù)插入數(shù)據(jù)并刪庫(kù)
mysql> insert student values(4,'xiaoming',20); mysql> insert student values(5,'xiaohong',20);在插入數(shù)據(jù)的時(shí)候我們模擬誤操作,刪除test數(shù)據(jù)庫(kù)。
mysql> drop database test;此時(shí),全備之后到誤操作時(shí)刻之間,用戶(hù)寫(xiě)入的數(shù)據(jù)在binlog中,需要恢復(fù)出來(lái)。
查看全備之后新增的binlog文件
# cd /server/backup/ # ls test_2020-08-19.sql.gz # gzip -d test_2020-08-19.sql.gz # grep CHANGE test_2020-08-19.sql -- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000003', MASTER_LOG_POS=107;這是全備時(shí)刻的binlog文件位置,即mysql-bin.000003的107行,因此在該文件之前的binlog文件中的數(shù)據(jù)都已經(jīng)包含在這個(gè)全備的sql文件中了
移動(dòng)binlog文件,并讀取sql,剔除其中的drop語(yǔ)句
# cp /data/3306/mysql-bin.000003 /server/backup/ # mysqlbinlog -d test mysql-bin.000003 >mysql-bin.000003.sql接下來(lái),使用vim編輯mysql-bin.000003.sql文件,剔除drop語(yǔ)句
注意:在恢復(fù)全備數(shù)據(jù)之前必須將該binlog文件移出,否則恢復(fù)過(guò)程中,會(huì)繼續(xù)寫(xiě)入語(yǔ)句到binlog,最終導(dǎo)致增量恢復(fù)數(shù)據(jù)部分變得比較混亂
恢復(fù)數(shù)據(jù)
# mysql -uroot -p < test_2020-08-19.sql # mysql -uroot -p -e "select * from test.student;" +----+----------+-----+ | id | name | age | +----+----------+-----+ | 1 | zhangsan | 20 | | 2 | lisi | 21 | | 3 | wangwu | 22 | +----+----------+-----+此時(shí)恢復(fù)了全備時(shí)刻的數(shù)據(jù),然后使用mysql-bin.000003.sql文件恢復(fù)全備時(shí)刻到刪除數(shù)據(jù)庫(kù)之間,新增的數(shù)據(jù)。
# mysql -uroot -p test < mysql-bin.000003.sql # mysql -uroot -p -e "select * from test.student;" +----+----------+-----+ | id | name | age | +----+----------+-----+ | 1 | zhangsan | 20 | | 2 | lisi | 20 | | 3 | wangwu | 20 | | 4 | xiaoming | 20 | | 5 | xiaohong | 20 | +----+----------+-----+此時(shí),整個(gè)恢復(fù)過(guò)程結(jié)束,是不是很簡(jiǎn)單呢?沒(méi)錯(cuò),就是這么簡(jiǎn)單!!
總結(jié)
- 適合人為SQL語(yǔ)句造成的誤操作或者沒(méi)有主從復(fù)制等的熱備情況宕機(jī)時(shí)的修復(fù)。
- 恢復(fù)條件要全備和增量的所有數(shù)據(jù)。
- 恢復(fù)時(shí)建議對(duì)外停止更新,即禁止更新數(shù)據(jù)庫(kù)。
- 先恢復(fù)全量,然后把全備時(shí)刻點(diǎn)以后的增量日志,按順序恢復(fù)成SQL文件,然后把文件中有問(wèn)題的SQL語(yǔ)句刪除(也可通過(guò)時(shí)間和位置點(diǎn)),再恢復(fù)到數(shù)據(jù)庫(kù)。
總結(jié)
以上是生活随笔為你收集整理的记一次线上重大事故:二狗子竟然把线上数据库删了!!的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 阿里云内网互通
- 下一篇: android中gravity什么意思,