為應(yīng)對(duì)新的國(guó)際競(jìng)爭(zhēng)環(huán)境與新的國(guó)內(nèi)監(jiān)管形勢(shì)，行業(yè)數(shù)字化轉(zhuǎn)型方興未艾。云計(jì)算、大數(shù)據(jù)、AI等技術(shù)手段已逐步從后臺(tái)應(yīng)用走向前端業(yè)務(wù)，滲透至投研、營(yíng)銷、風(fēng)控、運(yùn)營(yíng)的各個(gè)環(huán)節(jié)。在數(shù)字化轉(zhuǎn)型的浪潮下，支撐業(yè)務(wù)運(yùn)行的應(yīng)用系統(tǒng)和基礎(chǔ)設(shè)施變得愈發(fā)復(fù)雜，維護(hù)成本及風(fēng)險(xiǎn)也越來(lái)越高，給運(yùn)維管理帶來(lái)很大的挑戰(zhàn)。如何建設(shè)更加安全、高效、智能的運(yùn)維管理體系，已成為行業(yè)IT建設(shè)的重點(diǎn)議題。

鵬華基金把數(shù)字化轉(zhuǎn)型納入到公司發(fā)展戰(zhàn)略，踐行“系統(tǒng)+流程+數(shù)據(jù)”三位一體的方式，將系統(tǒng)建設(shè)與業(yè)務(wù)流程緊密結(jié)合。在此過(guò)程中，由于涉及新系統(tǒng)的建設(shè)及存量系統(tǒng)的升級(jí)改造，團(tuán)隊(duì)需要管理的運(yùn)維對(duì)象及場(chǎng)景都在發(fā)生變化。受限于“煙囪式”的運(yùn)維工具體系，運(yùn)維管理面臨“工具孤立效率低”“管理規(guī)范難落地”“組織提升遇瓶頸”三大難題。

01. 運(yùn)維一體化平臺(tái)建設(shè)

為了解決運(yùn)維團(tuán)隊(duì)在數(shù)字化轉(zhuǎn)型過(guò)程中遇到的各類難題，鵬華基金以工具建設(shè)為抓手，依托理念先進(jìn)的運(yùn)維PaaS平臺(tái)，以點(diǎn)帶面，對(duì)運(yùn)維管理體系進(jìn)行全面優(yōu)化升級(jí)，主要涉及工具支撐體系、流程管理體系、指標(biāo)度量體系及人員組織體系的優(yōu)化建設(shè)。

1）工具支撐體系：建設(shè)自主可控、聯(lián)動(dòng)一體的運(yùn)維平臺(tái)

將運(yùn)維支撐工具的建設(shè)思路由“煙囪式”變?yōu)椤捌脚_(tái)化”，基于PaaS底座，建設(shè)以“管控一體、平臺(tái)一體、聯(lián)動(dòng)一體”理念為核心的運(yùn)維工具體系。

• 管控一體：所有上層場(chǎng)景，如監(jiān)控采集、自動(dòng)化執(zhí)行等場(chǎng)景，基于單一Agent實(shí)現(xiàn)，避免多Agent對(duì)服務(wù)器性能造成的性能損耗。
• 平臺(tái)一體：通過(guò)PaaS架構(gòu)實(shí)現(xiàn)能力的治理和沉淀，包含作業(yè)、自動(dòng)化編排引擎、工單流程引擎、容器管理等底層能力，使運(yùn)維系統(tǒng)避免煙囪模式和重復(fù)投資建設(shè)，實(shí)現(xiàn)可持續(xù)建設(shè)。并通過(guò)平臺(tái)的運(yùn)維開發(fā)能力助力團(tuán)隊(duì)實(shí)現(xiàn)運(yùn)維自主可控和能力升級(jí)。
• 聯(lián)動(dòng)一體：以運(yùn)維基礎(chǔ)平臺(tái)為底座，CMDB配置管理庫(kù)為基礎(chǔ)，通過(guò)IT管控流程建設(shè)、監(jiān)控告警建設(shè)、運(yùn)維自動(dòng)化工具、運(yùn)營(yíng)可視化的建設(shè)，構(gòu)建聯(lián)動(dòng)一體的運(yùn)維工具體系，提升運(yùn)營(yíng)保障效率，打造差異化的競(jìng)爭(zhēng)優(yōu)勢(shì)。

① 建設(shè)以消費(fèi)為核心的CMDB

梳理整體配置信息，完成模型設(shè)計(jì)和定標(biāo)以及對(duì)云平臺(tái)、操作系統(tǒng)、數(shù)據(jù)庫(kù)、中間件的配置自動(dòng)化發(fā)現(xiàn)及采集，支撐監(jiān)控、巡檢等消費(fèi)場(chǎng)景，并實(shí)現(xiàn)配置變更自動(dòng)化管理，集成自動(dòng)化運(yùn)維場(chǎng)景，實(shí)現(xiàn)從審批流到自動(dòng)化執(zhí)行再到配置數(shù)據(jù)回寫的閉環(huán)，如資源申請(qǐng)場(chǎng)景。申請(qǐng)人提單-管理員審批后實(shí)現(xiàn)資源的自動(dòng)化注冊(cè)至CMDB中。通過(guò)聯(lián)動(dòng)流程管理平臺(tái)，實(shí)現(xiàn)配置數(shù)據(jù)錄入及變更的流程化、規(guī)范化、自動(dòng)化，保障配置數(shù)據(jù)的統(tǒng)一和準(zhǔn)確性。

② 建設(shè)以事件和數(shù)據(jù)雙核驅(qū)動(dòng)的一體化監(jiān)控體系

一體化監(jiān)控體系以數(shù)據(jù)和事件雙核驅(qū)動(dòng)，旨在解決監(jiān)控及告警信息分散管理的問(wèn)題。監(jiān)控中心按照硬件設(shè)施層、操作系統(tǒng)層、組件服務(wù)層應(yīng)用性能層等維度梳理監(jiān)控對(duì)象，所有監(jiān)控對(duì)象都源自于CMDB，并在接入來(lái)自Zabbix、Prometheus等監(jiān)控源的性能數(shù)據(jù)時(shí)，打上CMDB中的模型及實(shí)例標(biāo)簽，進(jìn)而實(shí)現(xiàn)面向?qū)ο蟮谋O(jiān)控指標(biāo)統(tǒng)一管理體系，包含指標(biāo)內(nèi)容定義、指標(biāo)自定義啟停等。同時(shí)，監(jiān)控中心匯總的監(jiān)控?cái)?shù)據(jù)也可作為運(yùn)維大數(shù)據(jù)分析的數(shù)據(jù)源，消費(fèi)于統(tǒng)一可視化展示、Web視圖展示、報(bào)表統(tǒng)計(jì)展示等場(chǎng)景。告警中心實(shí)現(xiàn)告警事件的統(tǒng)一匯總，并通過(guò)和CMDB、自動(dòng)化、ITSM等運(yùn)維工具的無(wú)縫聯(lián)動(dòng)，在告警收斂、分派、轉(zhuǎn)工單、自愈等層面實(shí)現(xiàn)了提質(zhì)增效。

③ 建設(shè)敏捷IT服務(wù)管理工具

落地IT需求、變更、事件等管控流程以及IT內(nèi)部服務(wù)流程，與監(jiān)控、CMDB、運(yùn)維自動(dòng)化工具集成，實(shí)現(xiàn)管理流程和運(yùn)維工具的聯(lián)動(dòng)，并結(jié)合飛書移動(dòng)端應(yīng)用落地，提升流程管理的敏捷性，顯著提升部門流程處理效率及關(guān)單率。

④ 建設(shè)自主可控的自動(dòng)化運(yùn)維工具

結(jié)合實(shí)際運(yùn)維場(chǎng)景需求，基于運(yùn)維平臺(tái)所提供的前后端開發(fā)框架，通過(guò)對(duì)平臺(tái)服務(wù)的靈活調(diào)用和組裝，快速構(gòu)建支撐工具和運(yùn)營(yíng)系統(tǒng)。

⑤ 建設(shè)運(yùn)營(yíng)可視化

發(fā)布一系列大屏展示IT資產(chǎn)、流程、監(jiān)控、安全等工程和管理視角的數(shù)據(jù)，包括IT流程駕駛艙+CMDB資源大屏+監(jiān)控大屏+通過(guò)平臺(tái)大屏設(shè)計(jì)器，自主設(shè)計(jì)和對(duì)接數(shù)據(jù)源開發(fā)的信息安全大屏。

2）流程管理體系：服務(wù)目錄規(guī)劃

按服務(wù)類型的區(qū)分規(guī)劃服務(wù)目錄，將服務(wù)目錄劃分為IT內(nèi)部服務(wù)、IT管控服務(wù)以及內(nèi)置審批目錄三個(gè)大類。對(duì)于用戶而言，便于理解和選擇，可通過(guò)Web端、IM端快速提單；對(duì)于流程管理者而言，有助于針對(duì)服務(wù)的技術(shù)特點(diǎn)進(jìn)行管理和優(yōu)化。

3）人員組織體系：運(yùn)維開發(fā)轉(zhuǎn)型探索

運(yùn)維開發(fā)轉(zhuǎn)型起源于互聯(lián)網(wǎng)行業(yè)，為應(yīng)對(duì)殘酷的競(jìng)爭(zhēng)，互聯(lián)網(wǎng)公司需要從各個(gè)維度提升經(jīng)營(yíng)效率、降低成本。開展運(yùn)維開發(fā)轉(zhuǎn)型，實(shí)現(xiàn)工具自主掌控，便是降本增效的路徑之一。鵬華基金在引入運(yùn)維PaaS體系之后，積極開展運(yùn)維開發(fā)轉(zhuǎn)型的培訓(xùn)及學(xué)習(xí)活動(dòng)，鼓勵(lì)團(tuán)隊(duì)轉(zhuǎn)型升級(jí)。在這個(gè)過(guò)程中，具備一定工具開發(fā)能力，同時(shí)有更高成長(zhǎng)追求的人率先由運(yùn)維轉(zhuǎn)型為運(yùn)維開發(fā)，自主研發(fā)自動(dòng)化巡檢中心SaaS，改變?cè)入x散型巡檢方式，有效支撐部門日常巡檢統(tǒng)一管理，整個(gè)工具構(gòu)建過(guò)程可以分為三大步驟。

第一步，梳理原子能力。巡檢場(chǎng)景可劃分為獲取巡檢對(duì)象、執(zhí)行巡檢命令等操作。其中，獲取巡檢對(duì)象需要用到CMDB原子能力，基于CMDB批量獲取巡檢對(duì)象，如主機(jī)、數(shù)據(jù)庫(kù)等；執(zhí)行巡檢命令需要用到作業(yè)執(zhí)行原子能力，基于Agent在受控機(jī)器上執(zhí)行作業(yè)命令，完成巡檢操作。第二步，編排原子能力。將上述原子能力按串行、并行、判斷、循環(huán)等邏輯判斷串聯(lián)起來(lái)，構(gòu)建運(yùn)維自動(dòng)化流程。第三步，SaaS能力封裝。基于PaaS平臺(tái)提供的前后端開發(fā)框架及免運(yùn)維托管環(huán)境，將巡檢自動(dòng)化流程封裝為SaaS工具，提升易用性。

有了自動(dòng)化巡檢的成功案例，“工具文化”正逐步滲透到團(tuán)隊(duì)的每一個(gè)角落，不斷加速運(yùn)維組織轉(zhuǎn)型的進(jìn)程。巡檢中心：利用平臺(tái)開發(fā)框架，自研巡檢中心，統(tǒng)一各業(yè)務(wù)巡檢任務(wù)，并實(shí)現(xiàn)飛書移動(dòng)端開發(fā)，有效支撐部門日常巡檢統(tǒng)一管理

績(jī)效看板：自研績(jī)效門戶，結(jié)合工單數(shù)據(jù)，展示研發(fā)效能看板。運(yùn)維管理通知中心：對(duì)接飛書群機(jī)器人，分時(shí)段通知IT管控流程相關(guān)節(jié)點(diǎn)。

4）指標(biāo)度量體系：持續(xù)運(yùn)營(yíng)、持續(xù)完善

CMDB的建設(shè)是一個(gè)逐步完善的過(guò)程。在建設(shè)過(guò)程中通過(guò)數(shù)據(jù)運(yùn)營(yíng)的方式可以很好地輔助配置經(jīng)理“監(jiān)控”CMDB的狀態(tài)，數(shù)據(jù)運(yùn)營(yíng)的手段包含：數(shù)據(jù)孤島、關(guān)聯(lián)完整性、屬性完整性及屬性規(guī)范性。

• 數(shù)據(jù)孤島：即此實(shí)例沒有跟任何實(shí)例關(guān)聯(lián)，沒有配置負(fù)責(zé)人維護(hù)這個(gè)實(shí)例數(shù)據(jù)，或者是現(xiàn)實(shí)中這個(gè)資源對(duì)象沒有人使用。
• 關(guān)聯(lián)完整性：部分對(duì)象可能有重要的關(guān)聯(lián)沒有維護(hù)，而這個(gè)關(guān)聯(lián)會(huì)影響到核心場(chǎng)景的消費(fèi)，例如故障影響分析。
• 屬性完整性：本質(zhì)是針對(duì)配置管理員認(rèn)為重要的需要填充的屬性進(jìn)行檢查，例如：檢查資源對(duì)象的負(fù)責(zé)人屬性是否填充。
• 屬性規(guī)范性：CMDB建設(shè)過(guò)程往往是連續(xù)的持續(xù)優(yōu)化的，在建設(shè)初期對(duì)于模型屬性的規(guī)范往往沒有考慮清楚，為了收集數(shù)據(jù)初始化進(jìn)CMDB，往往這個(gè)時(shí)間數(shù)據(jù)的質(zhì)量是比較差的，在建設(shè)的過(guò)程中，逐漸根據(jù)消費(fèi)場(chǎng)景對(duì)屬性的規(guī)則有了更加清晰的定義后，我們需要通過(guò)定義某些規(guī)則，對(duì)當(dāng)前的CMDB數(shù)據(jù)進(jìn)行規(guī)范性的檢查，本質(zhì)而言是一個(gè)后置的工作。

統(tǒng)計(jì)事件總數(shù)、SLA、滿意度調(diào)查等IT服務(wù)管理指標(biāo)，持續(xù)分析和改進(jìn)IT服務(wù)質(zhì)量。通過(guò)ITSM工單沉淀價(jià)值數(shù)據(jù)，對(duì)需求、事件、變更的統(tǒng)計(jì)分析，建立效能指標(biāo)數(shù)據(jù)體系，有效幫助IT內(nèi)部管理。

監(jiān)控管理的指標(biāo)主要是監(jiān)控覆蓋率、告警分級(jí)、故障管理三個(gè)方面。

• 監(jiān)控覆蓋率主要是監(jiān)控對(duì)象采集覆蓋率、監(jiān)控指標(biāo)策略覆蓋率兩個(gè)指標(biāo)，主要衡量監(jiān)控的推廣使用情況。監(jiān)控對(duì)象采集覆蓋率一般通過(guò)監(jiān)控任務(wù)覆蓋的對(duì)象實(shí)例數(shù)和CMDB中該對(duì)象的實(shí)例總數(shù)進(jìn)行對(duì)比得出；監(jiān)控指標(biāo)策略覆蓋率，一般是某個(gè)實(shí)例的指標(biāo)策略配置數(shù)和該實(shí)例的總采集指標(biāo)數(shù)進(jìn)行對(duì)比得出。
• 告警分級(jí)一般分為三級(jí)，致命、警告、提醒。致命告警一般代表服務(wù)已經(jīng)異常，需要馬上進(jìn)行處理；警告告警一般代表如果不進(jìn)行及時(shí)處理，服務(wù)即將異常；提醒告警一般代表一些潛在問(wèn)題，需要開始關(guān)注或提前采取行動(dòng)，避免異常產(chǎn)生。
• 故障管理指故障處理過(guò)程的相關(guān)指標(biāo)，包含MTTI（平均故障發(fā)現(xiàn)時(shí)間）=發(fā)現(xiàn)時(shí)間-發(fā)生時(shí)間；MTTA（平均故障響應(yīng)時(shí)間）=響應(yīng)時(shí)間-發(fā)現(xiàn)時(shí)間；MTTR（平均故障恢復(fù)時(shí)間）=恢復(fù)時(shí)間-發(fā)生時(shí)間；MTBF（平均無(wú)故障時(shí)間）=運(yùn)行時(shí)間-故障時(shí)間。而故障管理的根本目標(biāo)便是縮短MTTR，提升MTBF。

02. 收益及展望

為滿足業(yè)務(wù)數(shù)字化轉(zhuǎn)型訴求，鵬華基金基于“平臺(tái)一體、管控一體、聯(lián)動(dòng)一體”的先進(jìn)理念，組合多種技術(shù)手段和管理工具，實(shí)現(xiàn)了數(shù)據(jù)、資源、人員的統(tǒng)一管理和協(xié)調(diào)，解決了過(guò)往“煙囪式”工具建設(shè)帶來(lái)的難題，并通過(guò)PaaS平臺(tái)的運(yùn)維開發(fā)能力，開啟了運(yùn)維團(tuán)隊(duì)SRE轉(zhuǎn)型之路。展望未來(lái)，面臨云原生轉(zhuǎn)型趨勢(shì)，可建設(shè)融合Trace、Metric、Log的全棧可觀測(cè)體系，解決復(fù)雜分布式架構(gòu)應(yīng)用的故障管理問(wèn)題；面臨AI技術(shù)的沖擊，可嘗試在運(yùn)維場(chǎng)景中利用深度學(xué)習(xí)、自然語(yǔ)言處理等技術(shù)，如監(jiān)控場(chǎng)景下的智能閾值、告警管理中的告警智能聚類等。