一次上线事故经验
上線對(duì)開發(fā)來說,是一個(gè)歷險(xiǎn)的過程,即使上線前準(zhǔn)備的多么充分,也可能在線上發(fā)現(xiàn)問題。
最近上了一個(gè)項(xiàng)目,在測(cè)試環(huán)境和預(yù)發(fā)布環(huán)境平穩(wěn)運(yùn)行超過3個(gè)月,上線是預(yù)警系統(tǒng)發(fā)生大量短信報(bào)錯(cuò),緊急查找bug,
發(fā)現(xiàn)問題原因:
? ? 生產(chǎn)數(shù)據(jù)庫的一個(gè)表中的字段a的長(zhǎng)度不一致,測(cè)試環(huán)境和預(yù)發(fā)布環(huán)境該字段的長(zhǎng)度是20,上線時(shí)使用的腳本是預(yù)發(fā)布環(huán)境的腳本,回歸腳本時(shí)發(fā)現(xiàn)生產(chǎn)上該字段的長(zhǎng)度是30.
影響:
? ?所幸a字段只在監(jiān)控系統(tǒng)使用,且測(cè)試環(huán)境和預(yù)發(fā)布環(huán)境中的預(yù)警是關(guān)閉的,故運(yùn)行很久沒有發(fā)現(xiàn)問題。
猜測(cè)可能的原因:
? 該字段最早只有長(zhǎng)度是20,后面因業(yè)務(wù)需要擴(kuò)充到30個(gè)字段,但沒有和我這邊溝通而是直接聯(lián)系dba修改導(dǎo)致。具體原因也不便追溯。
反思:
? 本次上線發(fā)生事故,主要責(zé)任是我,沒有對(duì)上線的腳本和生產(chǎn)腳本進(jìn)行嚴(yán)格的檢查(多次檢查生產(chǎn)腳本是否和上線腳本是否一致,但忽略了長(zhǎng)度的檢查)。
? 對(duì)自己要求不夠嚴(yán)格,以為在測(cè)試和預(yù)發(fā)布環(huán)境運(yùn)行那么久,所以粗心大意了。
對(duì)以后的要求:
1. 數(shù)據(jù)庫腳本一定要嚴(yán)格審查,使用Beyond Compare等對(duì)比工具而不是眼睛,畢竟人容易犯錯(cuò)。
? ?2. 對(duì)待上線,再謹(jǐn)慎也不為過。
?
以此文謹(jǐn)記!
轉(zhuǎn)載于:https://www.cnblogs.com/davidwang456/p/5003262.html
總結(jié)
- 上一篇: zookeeper源码分析之四服务端(单
- 下一篇: 技术高手如何炼成?--转自知乎