那些难忘的维护之夜
這是學習筆記的第?2177?篇文章
讀完需要
5
分鐘速讀僅需3分鐘
今晚是一個維護之夜,出于蓄勢待發狀態,對于我來說,每到這個時候就會想起自己這些年熬的那些夜,還是蠻難忘的。
舉幾個自己印象深刻的維護之夜吧。
1)印象最深刻,壓力最大的維護是多套Oracle數據庫從10g升級到11g,在前期做了多輪測試,在實際操作還是碰到了不少ORA-00600的錯誤,不過前期的問題都成功化解,而在最后啟動服務的關頭,服務拋出了一個奇怪的錯誤,記得當時情況已經很緊急了,是滿世界的打電話求救,喚醒了全球的多個技術專家,有的定位是bug,然后打補丁未果,最后一個操作竟然是重新清空一下回收站,具體細節忘記了,但是這個神一樣的操作讓我們和原廠都感嘆不已。?
2)有一次大型維護的時候,登錄了一套準生產測試環境,做了下業務變更升級,沒想到線上和測試環境的模板配置不一樣,結果就想當然在線上環境點擊了YES開始自動升級,沒想到整個線上環境開始了一系列的不可控操作,于是乎整個業務系統全服回退,這個事情對我們造成了很深刻的教訓。
3)在國內的一次大型維護,想想都是滿滿的使命感,差不多有13套環境是在1個多小時內完成,有切換的數據庫,有做數據庫升級的數據庫,有做跨平臺遷移的數據庫,沒想到預估的3個半小時結果在1個小時以內就全部完成了。但是戲劇性的一幕發生了,開服的時候,發現用戶充值失敗,結果留給我們的時間就很短了。當時記得氣氛很緊張,領導拍板,如果10分鐘內解決不了,就全服回退。當時看著同事在那里手工敲一些系統命令,帶著壓力還多次敲錯,我趕緊在另一半開始拿出自己準備的腳本開始快速排查,所幸的是在最后的關頭,定位到了問題,是一個db link的問題,本質上還是多套環境的關聯變更導致,修復之后大家長舒了一口氣。
4)最無聊的一次維護,就是在某國內客戶現場值班,被抓壯丁安排去值班,主要就是過去充人數,記得自己在椅子上擺了各種姿勢睡都不舒服,看著旁邊的外國小哥估計還沒有倒過來時差,他們在那里看《阿凡達》,后來才知道他們是特派過來的DBA,系統遷移之后,他們負責清理數據。
5)最帶感的一次維護,是在一次大型遷移中,出現了性能瓶頸,導致服務回退,后來大家壓力都很大,因為是一套全新的技術方案,也是在原來方案無法滿足要求的前提下的改進,當然也受到了很多原廠的質疑,在壓力中我們開始了地毯式排除測試,記得連續幾天都是測試到后半夜,而在最后定位到問題之后,自己心里的疙瘩算是解除了,而在第二次升級的時候,記得客戶的大boss也過來了,走進作戰室看到一切都很順暢,在第二天還發了表揚信。
6)這一次可能是很有特點的維護,如何擺脫常規的數據庫維護影響,比如數據庫需要重啟,可能重啟的操作需要15秒~1分鐘,如何讓業務的影響降低到2秒內即可恢復。看起來很普通的需求如何和業務密切配合來改進,對于運維同學來說,這種維護的意義是很特別的。
當然大多數的維護都是默默無聞的,一切正常就是最好的回答。
QQ群號:763628645
QQ群二維碼如下,?添加請注明:姓名+地區+職位,否則不予通過
訂閱我的微信公眾號“楊建榮的學習筆記”,第一時間免費收到文章更新。別忘了加星標,以免錯過新推送提示。
1
? ?
近期熱文
你可能也會對以下話題感興趣。點擊鏈接就可以查看。
MySQL的主鍵命名挺任性,就這么定了
華裔教授發現二次方程極簡解法,我默默的做了下驗算
回答:我不小心把公司的數據庫給刪了,該不該離職?
遷移到MySQL的業務架構演進實戰
數據庫修改密碼風險高,如何保證業務持續,這幾種密碼雙活方案可以參考
MySQL業務雙活的初步設計方案
如何優化MySQL千萬級大表,我寫了6000字的解讀
一道經典的MySQL面試題,答案出現三次反轉
業務雙活的數據切換思路設計(下)
業務雙活的數據切換思路設計(一)
MySQL中的主鍵和rowid,看似簡單,其實有一些使用陷阱需要注意
小白學MySQL要多久?我整理了10多個問題的答案
2
? ?
轉載熱文
你可能也會對以下話題感興趣,文章來源于轉載,點擊鏈接就可以查看。
去IOE or Not?
拉里·佩奇(Larry Page)的偉大歸來
《吊打面試官》系列-Redis基礎
唯一ID生成算法剖析,看看這篇就夠了
關于大數據運維能力的一些思考
DBA菜鳥的進化簡史:不忘初心,記工作中踩過的三個坑
美女主持直播,被突發意外打斷!灣區網友卻高喊: 我懂!超甜
總結
- 上一篇: 深度linux 2014 下载,Deep
- 下一篇: C语言:字符函数与字符串函数(一)