工作總結(jié)

發(fā)表時間：2026-04-18

〔參考〕運維一線工作梳理與經(jīng)驗交流。

又到年底翻運維日志的時候了。這一年的記錄本比去年厚了一倍，不是因為故障變多了，而是每個問題后面我都多寫了“為什么”和“怎么堵”。下面揀幾個實打?qū)嵉钠握f一說。

一、兩次Full GC引發(fā)的連鎖反應(yīng)

年初那次故障，現(xiàn)在想起來還是覺得窩火。凌晨兩點監(jiān)控彈窗，核心交易系統(tǒng)CPU飆到100%，服務(wù)假死。登錄上去看GC日志，發(fā)現(xiàn)每秒鐘Full GC一次，每次停頓8.3秒。當時第一反應(yīng)是堆太小，調(diào)了-Xmx參數(shù)重啟，半小時恢復(fù)。

兩周后同樣的事又來了，只不過換了另一個批處理接口。那次我真是火了——同一個坑踩兩次。坐下來跟開發(fā)一起翻代碼，才發(fā)現(xiàn)問題不是堆大小，而是一個定時任務(wù)每次從數(shù)據(jù)庫拉200萬條記錄往內(nèi)存里塞，觸發(fā)了G1回收器的Humongous Allocation。

后來我們定了三條死規(guī)矩：
- 所有批量查詢必須分頁，單次不超過5000條
- 上線前用生產(chǎn)流量副本做全量壓測，GC停頓超過1秒就打回
- 發(fā)布系統(tǒng)里加了“一鍵回滾”腳本，原來回滾要8分鐘，因為要手動重啟、清緩存、驗證，現(xiàn)在用預(yù)置的Docker鏡像快照，90秒內(nèi)切完

下半年同類故障再沒出現(xiàn)過。說實話，技術(shù)上的調(diào)整不難，難的是讓開發(fā)改掉“本地能跑就行”的思維。

二、機房那個局部熱點

六月中旬，機房一臺存儲設(shè)備反復(fù)報溫度過高。空調(diào)出風(fēng)口22度，設(shè)備進風(fēng)口34度。我拿紅外熱成像儀掃了一圈，發(fā)現(xiàn)是三個月前擴容時，施工人員把三臺高功耗計算節(jié)點緊挨著存儲塞進去，滿載時局部溫度飆到46度。

翻出當時的驗收報告，上面“設(shè)備間距”“熱分布測試”都打了勾，但實際上沒人做負載狀態(tài)下的實測。我重新做了驗收卡：
- 滿載跑4小時，每半小時記錄一次進風(fēng)口溫度，溫差不能超過5度
- 用一把30厘米的鋼尺復(fù)核相鄰設(shè)備間距，拍照留底
- 所有電源線、光纖預(yù)留50厘米余量，兩端貼帶日期的標簽

那個周末我?guī)е鴥蓚€同事，把12個機柜86臺設(shè)備全按新標準過了一遍。驗收時省五分鐘，以后可能要花五小時來填坑，這賬我算明白了。

三、光纖彎折的教訓(xùn)

三季度做政務(wù)云擴容，施工隊布光纖跳線時，有幾根直接跨過理線槽彎折，彎曲半徑不到2厘米。施工隊長說“能通就行”。我拿衰耗儀測給他看：合規(guī)布線的衰耗0.3dB，彎折那幾根1.8dB。短距離確實不影響業(yè)務(wù)，但光模塊壽命至少減半。

后來我在每個工位放了一個半徑4厘米的塑料標尺，要求每根光纖走完必須卡一下。驗收標準從“通斷測試”升級到“衰耗值≤0.5dB+通斷”。

四、容器排障的一次卡殼 [迷你句子網(wǎng) JZ139.COm]

還有個事值得記一筆。十月份上線一個新服務(wù)，用的K8s部署。業(yè)務(wù)反饋偶爾超時，但監(jiān)控上看CPU、內(nèi)存都正常。我登進Pod查日志，發(fā)現(xiàn)每次超時前后都有“Connection refused”錯誤。折騰了兩個小時，最后發(fā)現(xiàn)是服務(wù)啟動時依賴另一個StatefulSet的headless service，但那個StatefulSet重建后Pod IP變了，而調(diào)用方代碼里硬編碼了舊IP。

這件事讓我意識到，容器化之后不能光盯著資源指標，服務(wù)發(fā)現(xiàn)和DNS解析的監(jiān)控也得補上。后來我在監(jiān)控系統(tǒng)里加了headless service的端點變更告警，并且推動所有內(nèi)部調(diào)用必須走service name，不允許寫IP。

▲讀書筆記吧必讀攻略:

一線經(jīng)驗?|?教學(xué)經(jīng)驗交流?|?一線采購經(jīng)驗?|?一線操作經(jīng)驗?|?一線經(jīng)驗交流?|?一線經(jīng)驗交流

五、那個雨后的電話

說個暖心的。十一月初做完一次數(shù)據(jù)庫大版本升級，從PostgreSQL 11升到13。準備了兩周的方案，凌晨零點開始，預(yù)演了三遍。升級完成后，我在監(jiān)控前盯了半小時，指標平穩(wěn)。早上七點多，客戶那邊技術(shù)對接人打電話過來，說“昨天的批處理窗口提前了40分鐘跑完，業(yè)務(wù)部門讓我謝謝你”。

干運維的，系統(tǒng)穩(wěn)的時候沒人覺得你有存在感。但就這一句話，那些半夜調(diào)參數(shù)、寫預(yù)案、反復(fù)測試的功夫，全值了。

六、還有哪些沒做好的

不藏著掖著，這一年也有明顯短板。自動化巡檢還停留在腳本拼湊階段，沒有做成平臺，每周至少花8小時手動登錄各環(huán)境看日志和磁盤。另外，雖然年初就開始學(xué)K8s，但遇到復(fù)雜的網(wǎng)絡(luò)策略問題還是得翻半天文檔，缺乏快速定位的肌肉記憶。

明年我打算把這兩個坑填上：一季度把巡檢平臺搭起來，至少覆蓋90%的日常檢查項；二季度考個CKA，逼自己系統(tǒng)學(xué)一遍。

這一年最大的體會：運維不是比誰救火快，而是比誰能讓火少著幾次。每一次復(fù)盤文檔、每一版驗收標準、每一個標尺，都是在給未來的自己省時間。繼續(xù)干。

推薦閱讀:

〔參考〕運維一線工作梳理與經(jīng)驗交流

2026年一線教師年度工作思考

【優(yōu)秀】變電運維工作總結(jié)

【全面】網(wǎng)絡(luò)運維工作年度總結(jié)

2026年圖像分割技術(shù)一線工作盤點

【全面】運維總監(jiān)年度工作總結(jié)