中國人民保險集團股份有限公司南中心是中國人保集團的生產(chǎn)中心，目前在建的還有北中心和北方同城中心。基礎(chǔ)運維保障是南中心數(shù)據(jù)中心的核心能力，通過組織、人員、制度、流程和工具層面的完善和調(diào)優(yōu)，包括引入GB/T 33136和Uptime M&O運維管理體系以體系化的方式進行管理。在此基礎(chǔ)上，南中心還縱向拓展了網(wǎng)絡(luò)運維、設(shè)備運維、安全運維以及災(zāi)備運維等能力，之后將橫向拓展到北中心和北方同城中心。

隨著管理的進一步深入，新的運維提升要求不斷地涌現(xiàn)，比如：云運維、AIOps、DevOps等，對于南中心而言，如何實現(xiàn)工具層面的統(tǒng)一運維是提升運維效率的關(guān)鍵；如何利用好平臺化運維提升運維管理的深度和廣度是體現(xiàn)其運維價值的關(guān)鍵。

01. 搭建統(tǒng)一運維管理平臺

2020年，根據(jù)集團科技藍圖的相關(guān)規(guī)劃安排，為提升數(shù)據(jù)中心南中心機房精細化和智能化管理水平，南中心攜手嘉為藍鯨，打造“機房統(tǒng)一運維中臺+機房運維服務(wù)場景+數(shù)據(jù)報表及展示”的統(tǒng)一運維管理平臺。

基于藍鯨PaaS平臺底座，構(gòu)建一級原生工具五大域，含配置管理域、監(jiān)控與故障處理域、運維自動化域、ITSM運維流程自動化域、運維大數(shù)據(jù)域。同時，在此基礎(chǔ)上構(gòu)建了二級專用SaaS：網(wǎng)絡(luò)管理域。在最上層構(gòu)建統(tǒng)一信息展示窗口，以實現(xiàn)業(yè)務(wù)綜合信息、業(yè)務(wù)監(jiān)控數(shù)據(jù)、統(tǒng)一報表數(shù)據(jù)、網(wǎng)絡(luò)性能數(shù)據(jù)、數(shù)據(jù)中心架構(gòu)的可視化。

通過統(tǒng)一運維管理平臺，納管南中心機房資源，建設(shè)機房可視化、運維流程及告警體系、統(tǒng)一CMDB數(shù)據(jù)及網(wǎng)絡(luò)自動化管理，逐步構(gòu)建自主可控、高效敏捷的研運體系與組織架構(gòu)。

02. 建設(shè)網(wǎng)絡(luò)自動化管理SaaS

依托統(tǒng)一運維管理平臺，南中心建設(shè)了網(wǎng)絡(luò)自動化管理SaaS，作為集團統(tǒng)一網(wǎng)管平臺的監(jiān)控手段及工具的補充，整合納管過往建設(shè)的網(wǎng)管系統(tǒng)，如傳統(tǒng)監(jiān)控、Zabbix監(jiān)控、SDN監(jiān)控等；在此基礎(chǔ)上，構(gòu)建專有的管理工具，如配置管理工具、自動化工具、集中監(jiān)控工具等，夯實平臺的服務(wù)能力。

通過網(wǎng)絡(luò)自動化管理SaaS，實現(xiàn)對多種告警源的數(shù)據(jù)對接；基于配置發(fā)現(xiàn)工具及自動化工具，可以生成不同的防火墻腳本及交換機配置。同時，對集中監(jiān)控做了優(yōu)化，實現(xiàn)集中展示及告警分析。

03. 構(gòu)建防火墻自動化運維場景

隨著南北中心的整合及集團體制化改革的進程，南中心網(wǎng)絡(luò)團隊接手了防火墻的運維工作，在團隊人員不變的情況下，需要額外運維接近50臺防火墻，梳理超4萬條策略。任務(wù)重，要求高，給網(wǎng)絡(luò)團隊帶來極大的挑戰(zhàn)。因此，提高工作效率成了重中之重。

在統(tǒng)一運維管理平臺落地過程中，南中心已經(jīng)構(gòu)建了一系列基礎(chǔ)運維的能力，如ITSM、CMDB，并能夠把需求回寫到數(shù)據(jù)庫中，實現(xiàn)需求可統(tǒng)計、可跟蹤、可回溯。網(wǎng)絡(luò)運維SaaS依托上述基礎(chǔ)能力，建設(shè)了5大自動化能力，工作效率得到大幅提高：

• 自動校驗輸入需求
• 自動生成變更方案（腳本生成）
• 自動執(zhí)行變更方案（經(jīng)審批的腳本）
• 自動保存配置信息（應(yīng)實現(xiàn)的配置）
• 自動驗證執(zhí)行結(jié)果

同時，通過標準化、自動化、可視化、智能化的4大舉措為用戶提供優(yōu)質(zhì)高效的運維服務(wù)。

1）標準化

自動化的前提是標準化，需要統(tǒng)一思想，規(guī)范流程。網(wǎng)絡(luò)團隊在制定統(tǒng)一的策略規(guī)則后，對外開啟統(tǒng)一的服務(wù)接口，對內(nèi)加強內(nèi)部運維團隊意識培訓(xùn)。

2）自動化

① 歷經(jīng)三次迭代，最終實現(xiàn)自動生成變更。

第一次迭代：不依托平臺，僅通過Excel及宏執(zhí)行生成，人工清洗；缺乏回溯性，無法記錄和統(tǒng)計；

第二次迭代：基于藍鯨平臺，將生成規(guī)則寫到平臺上，與ITSM相結(jié)合，可以生成對應(yīng)工單、形成對應(yīng)代碼；沒有與CMDB相聯(lián)動，無法對CMDB數(shù)據(jù)做校驗；

第三次迭代：結(jié)合CMDB數(shù)據(jù)，對用戶輸入的需求進行清洗，同時匹配到不同的產(chǎn)品及型號，如華為、飛塔、華三、山石的防火墻。

② 自動執(zhí)行變更

用戶提交服務(wù)請求后，通過SaaS生成腳本，返回到堡壘機。其中涉及到SaaS與ITSM的聯(lián)動、ITSM與堡壘機不同系統(tǒng)間的對接，該功能還在加快推進，預(yù)計年內(nèi)實現(xiàn)全自動的下發(fā)工作。

③ 自動保存配置信息

第一次迭代：將ITSM的數(shù)據(jù)寫進工具，同時讀出設(shè)備的配置數(shù)據(jù)，回寫到CMDB，將ITSM審批過的數(shù)據(jù)寫進CMDB；

第二次迭代：操作人員存在刷錯腳本的情況，后續(xù)很難發(fā)現(xiàn)腳本的修改，且成本很高；在第二次迭代時，推進CMDB的AB庫建設(shè)，在審批完后，將審批過的數(shù)據(jù)寫到CMDB的一個庫里面，在下一步自動化執(zhí)行結(jié)果校驗的時候，對CMDB的數(shù)據(jù)進行AB庫的校驗。

④ 將設(shè)備的配置信息與工單數(shù)據(jù)做比對

第一次迭代：已錄入半份ITSM數(shù)據(jù)，如有哪些工單、哪些防火墻策略需要修改，但無法知道修改成什么樣；因此，通過讀取防火墻信息，把兩邊的信息結(jié)合，形成一條防火墻記錄，該過程存在校驗問題；

第二次迭代：將工單錄入數(shù)據(jù)錄入B庫，自動采集數(shù)據(jù)至A庫，AB庫進行比對校驗，針對不同的校驗結(jié)果做分析，提高運維準確率。

3）可視化

通過提高效率，網(wǎng)絡(luò)團隊得以騰出手來，基于工單數(shù)據(jù)分析準確率及服務(wù)效率，同時可以審查是否存在垃圾、冗余的策略，提升設(shè)備的運行性能。

服務(wù)分析：分別以防火墻維度、公司維度展示防火墻策略、工單數(shù)據(jù)；

工單分析：按不同維度，通過一段時間內(nèi)完成的工單數(shù)量統(tǒng)計工作效率；在工單中可以查詢防火墻策略明細以及各類信息，同時可以查詢服務(wù)請求與對應(yīng)的變更關(guān)系，使得工作更加一目了然；

策略分析：基于CMDB的靜態(tài)數(shù)據(jù)，分析防火墻的新增策略及可合并策略，以及各防火墻策略數(shù)變化趨勢；基于運行過程中產(chǎn)生的命中率的動態(tài)數(shù)據(jù)，如策略命中情況、命中趨勢，分析策略是否合理及其變化情況。

04. 經(jīng)驗分享

① 選用高頻、重復(fù)度高、有痛點的場景
高頻、重復(fù)度高的場景，能夠支撐運維團隊快速多次迭代；痛點代表有價值，克服痛點，SaaS才有價值所在；

② 標準化
SaaS設(shè)計之初是建立標準化的過程；

③ 做好增量，管住存量（適用于改造場景）
增量可能會線性爆炸發(fā)生，甚至非線性發(fā)展，做好SaaS就可以管好增量，然后再逐步去做存量策略及場景的優(yōu)化，SaaS就有了生命力；

④ 小步快跑，快速迭代
SaaS要能不斷推出功能，滿足業(yè)務(wù)側(cè)的需求，才能得到肯定與支持；

⑤ 橫向擴展，縱向深挖
橫向?qū)⒁延心芰ν卣沟狡渌麛?shù)據(jù)中心或區(qū)域，縱向深挖某一場景的需求；

⑥ 自有團隊，持續(xù)保障
在SaaS開發(fā)過程中，需要有自主團隊來保障知識產(chǎn)權(quán)持續(xù)發(fā)展，同時，保障迭代持續(xù)進行。