01. 故事背景

IT運維部門平均每月都會接收1-2次內部辦公系統訪問緩慢的用戶反饋或投訴，月月被投訴，IT不勝其煩。經排查，絕大部分時候是由于與某個應用有關的Windows服務器的CPU資源占用奇高，導致系統無法響應用戶請求，從而產生“慢”的現象。

02. 問題排查

在羊城晚報，內部辦公(OA)系統需要遵循“報業網絡安全等保第二級”的要求，對服務器日志進行集中收集和留存。

羊城晚報使用的日志審計系統，采用的時C/S架構，需要在每臺服務器上安裝一個客戶端，該客戶端會收集那臺服務器產生的日志，并將日志轉發到集中日志接收和存儲系統。

可能是bug等原因，安裝在Windows服務器上的日志收集客戶端軟件，時不時“發瘋”一樣搶占CPU資源，導致資源耗盡，響應卡死。該客戶端安裝在linux服務器上卻一切正常。

03. 臨時方案

臨時的故障解決方法是在Windows服務器上，將該日志收集客戶端先停掉，再次啟動，故障即可解決。

羊城晚報數次找到日志審計系統的廠家，要求廠家解決此問題，但廠家反饋是自身日志審計系統是基于開源社區的工具進行二開，該問題屬于原始工具的問題，他們也無法徹底處理，并且只在Windows服務器上不定時出現，他們暫時不會花精力投入研究，建議客戶每次問題出現后，就手動處理，但每次問題出現時，都伴隨對IT部門的投訴。

*廠家推測：客戶端在向集中日志存儲系統傳送日志時，如果出現失敗（比如網絡中斷），會再次嘗試，這種再次傳送行為在Windows系統上，可能觸發了一些兼容性問題，導致嘗試次數越多，舊的資源不會被釋放，同時，不斷搶占新資源，最終導致服務器資源“耗盡”。

04. WeOps應對及效果

用WeOps監控告警，先于用戶發現該問題，并在用戶保障前處理，避免用戶投訴。

① 監控所有Windows服務器的資源情況，并設定告警規則，按照“提醒”“預警”“致命”三個層級，發送告警通知給IT管理員，管理員手工處理，與用戶投訴搶時間。

② 計劃進一步優化到自動化處置（技術上可行，但處置風險和管理要求在評估中），如告警后無人處理，則等待一段時間后，WeOps自動化處置并記錄，無需人為干預。

WeOps監控告警還幫助羊城晚報加快發現其它生產故障，例如采編系統抽圖異常、通訊社稿件無法入庫到編輯系統稿件庫等，提升核心系統的可用性。