5月16日，藍鯨行業說直播專欄又迎來新一期的更新，第八期帶來金融基金行業的研運一體化落地實踐分享。
運維“監·管·控”、研發“效能工具鏈”如何實現一體化建設？平臺能力如何實現自主擴展及數字化轉型？來看看鵬華基金是如何實現的。
以下是直播的主要內容回顧，文末為各位熱心觀眾附上錄播視頻和講師PPT。
全文約 5800 字，預計閱讀時間 20 分鐘。
鵬華基金管理有限公司是一家總資產管理規模過萬億、累計服務客戶過億的公募基金管理公司，公司致力于打造業界一流的綜合資產管理平臺，金融科技在服務公司各業務領域數字化建設中起著至關重要的作用。
隨著業務和技術的復雜度不斷提升，技術團隊規模也在不斷發展，現有的研發和運維平臺在靈活性、拓展性和效能方面存在不足，因此我們規劃建設一體化平臺，支持金融科技團隊工作效能的提升。
01. 一體化技術平臺的思考
1）煙囪林立，人工為主
隨著業務的不斷發展，IT 研發和運維團隊規模不斷擴大，我們傳統的研發和運維平臺出現了一些瓶頸，無法滿足實際的工作需要。主要有：
- IT 服務流程方面較為分散，IT 運維工具之間沒有打通，形成了一些孤島
- 內部存在多套監控系統
- 自動化程度較低，不同的研發團隊使用了不同的研發管理平臺，缺少統一的研發體系規范和管控措施
- 研發工具分散，無法沉淀部門統一的研發過程數據，無法進行效能分析和持續改進
2）破局：踐行“系統+流程+數據”三位一體
因此，我們希望建設一套平臺化的架構體系，面向研發、運維、運營的 CI/CD/CO 全流程管理的一體化平臺。
通過平臺能力支撐我們的項目需求、編碼、持續集成、測試、發布、監控等各個工作環節。公司的各業務部門，各技術團隊的各角色，都能夠在統一的平臺上完成各自的工作，從而提高企業的研發效能和運維效率，提升技術團隊的價值交付。
3）破局：建立體系化的研運支撐能力
基于這樣體系化的一體化平臺，我們主要希望能夠達到以下三個目標。
第一，業務全流程貫通
流程化和自動化，平臺能夠快速構建 IT 服務流程，能夠支持研發流水線和運維工作的自動化處理。
第二，數據資產沉淀
通過一體化管理平臺，管理我們技術團隊的工作過程。基于數據治理的視角，沉淀高質量的過程數據，用于后續分析和發現問題，形成運營的駕駛艙。
第三，能力持續改進
各職能團隊能夠對平臺工具流程進行持續改進，持續推進 IT 數字化和業務數字化的工作。
4）一體化平臺建設需要考慮的問題
在規劃一體化平臺建設時，我們主要面臨和考慮了以下幾個問題。
第一，引入平臺及現成工具，不重復造輪子
通過引入相對成熟的、具備可持續優化能力的一體化平臺，避免內部重復的造輪子，減少推倒重來的情況，從而提升效率。
第二，平衡內外部成本，定制開發和自主開發并行
在開發模式上面，對于一些標準化、通用的能力，我們通過模塊采購，選擇與嘉為藍鯨合作。
對于個性化的一些場景需求，基于藍鯨的 PaaS 能力，我們進行自主研發，有效的控制項目成本。
第三，關注技術人員能力提升
在項目的整個實施過程當中，我們要求內部人員深度參與，提升運維開發能力和研發管理能力。
第四，人員與組織的價值提升
提升整個團隊的技術能力，最終達成技術團隊的數字化轉型，提升組織的價值交付能力。
5）運維平臺發展階段
我們一般認為在平臺工程方面，組織會經歷以下幾個階段：人工、自動化、平臺化、數字化和智能化的發展。
我們在這個項目建設前是處于人工和部分自動化工具運維的狀態，項目完成后，通過一體化平臺支持運維研發管理工作，不僅形成了一體化的平臺，同時也沉淀了整個技術的過程數據，為后續我們在智能化的發展奠定了平臺和數據的基礎。
02. 運維“監·管·控”一體化建設
1）監、管、控 聯動一體
接下來我分享一下我們在基于運維視角的“監·管·控”一體化建設內容，這個是我們的整體的架構圖。
通過一體化平臺的建設，實現了運維的“監·管·控”、聯動一體化的目標。公司目前所有的 IT 資產，通過配置錄入和自動發現，統一進入 CMDB 數據庫。
架構圖左邊，是基于藍鯨的 PaaS 平臺構建了公司內部的 ITSM 流程管理模塊，統一沉淀和管理公司的 IT 服務流程。
同時，為了提升流程的使用體驗和效率，我們將這個流程跟內部的 AD 域、OA 系統、代辦流程進行了打通，并提供移動端的辦公能力，提升了整體的流程處理效率。
架構圖右邊，是自動化運維和監控告警一體化的建設。目前各個團隊的一些工具腳本，基本上都沉淀到了一體化運維的模塊當中進行統一的管理。
監控中心會統一收集對接各個系統的實際數據，通過告警中心進行告警的豐富和收斂。打通短信、郵件和流程的通知，支持了我們整體可觀測的能力。所有的 IT 資產、ITSM 的流程數據，還有監控告警的過程數據，都會通過我們的運維大屏進行可視化數據的展示，形成運營大屏和駕駛艙。
2）所有 IT 內部服務在線自助化
在 IT 服務建設方面，我們實現了 IT 服務的流程化、規范化和自動化。根據我們內部的 IT 管理規范，驅動了流程在藍鯨平臺的落地，支持了 IT 服務的在線化處理。
我們總結了 IT 服務的以下幾個特點：
① 服務構建
首先，它能夠根據平臺的能力，快速的編排和構建我們的 IT 服務流程。在服務過程的落地中，均通過一些配置化的方法降低開發成本，效率非常高。
② 服務供給
在形成了一整套的 IT 服務體系之后，用戶可以通過流程進行申請或者直接使用服務流程。同時，在整個流程的運營過程當中，用戶和相關的干系人也會針對流程提出一些問題和優化建議。這個平臺能夠敏捷地支持流程的調整和改進。
③ 服務運營
我們也統計了一下，在上線后，目前在需求方面沉淀的工單有 1000 多個，事件 300 多個，變更 2000 多個。基本上部門內部的流程均進行了高效的流轉和運營。
3）配置驅動自動化，打通流程形成工作閉環
通過 ITSM 流程協同 CMDB 數據庫進行數據錄入、審批執行。CMDB 的建設過程中，我們有兩點做得不錯的地方：
第一，標準結構化
我們在做 CMDB 的時候，與內部的數據治理團隊協同定義了 CMDB 的模型和元數據標準。同時，對 ITSM 驅動 CMDB 落地當中涉及的節點相關數據進行了定標，保障整個流程驅動的 CMDB 沉淀的最終數據是高質量的。
第二，不再等待信息
通過流程的驅動，整個自動化流程承載的配置信息、監控告警信息、上下文信息等，都能夠在流程當中進行流轉，無需再次進行數據信息的溝通，提升了 ITSM 的處理效率。
4）建設統一告警體系，提升運維保障效能
下圖是我們監控告警的流程架構圖。我們把監控和告警整合為一體化的平臺能力，提升了運維的保障效能，我們把內部的主機、日志、網絡、數據庫等重要的資產信息通過監控系統采集為統一的時序數據，然后通過標準化接口對接告警中心。
告警中心具備告警的收斂能力，同時也可以關聯 CMDB 做信息的豐富，最終形成告警信息通知到相應的干系人。對于一些關鍵業務的告警，會形成工單進行沉淀和驅動跟進，對于相對來說風險較低的、可控的告警，會調用自動化運維能力去進行自動恢復。
所有的異構環境接入，均是通過藍鯨插件的平臺開發能力進行的自研和拓展（如圖所示），可以拓展到我們內部的異構的基礎設施和一些環境。
我們自主開發拓展了一些云平臺、NAS、大數據平臺、數據庫、日志等等，都接入到了我們的監控中心。
自主擴展告警源插件，接入藍鯨監控平臺、SCP云平臺、NAS存儲、大數據TBDS平臺、OCP平臺、ELK日志等告警事件源
03. 研發“效能工具鏈”一體化建設
1）構建端到端研發效能平臺
接下來我再繼續分享一下，基于研發平臺的效能工具鏈的一體化建設。
公司的研發團隊經歷了從小到大的過程，從局部開發業務系統，發展為整體業務系統全面自研的過程。
在這個過程當中，我們存在一些問題。
各個研發產品組所使用的需求管理工具沒有進行統一的管理。有的使用一些在線的文檔，有的使用 Confluence、Excel、禪道等等。這就存在需求管理環節的系統割裂問題，沒有進行統一的管控，沒有沉淀統一的研發需求相關數據。
同時，在項目建設之前，也沒有一個企業級的制品管理工具，無法保障依賴包的安全和可信。在 CI、CD 方面也存在不統一的情況，內部的一些第三方工具，例如測試、代碼安全掃描的工具等，跟我們的流水線沒有打通，在協同方面存在一些效率問題。
基于以上等等問題，我們在完成運維平臺的平臺化能力建設后，繼續推進了研發一體化平臺的建設。
在這里，我們的項目引入了藍鯨的 DevOps 平臺、測試管理、制品管理、CI、CD 度量等等過程管理工具來進行一體化的建設，與我們公司內部研發過程需要用到的第三方的工具進行了打通。
2）研發效能工具鏈統一
下圖展示了我們的內部工具、流水線和插件開發能力打通的情況。
關于流水線與數據庫，我們有一個數據庫的工具，與測試工具對接后能夠進行數據的交互和打通，包括安全代碼、掃描工具的互通。
在發布環節涉及到容器平臺流水線的打通，整個過程當中，信息的通知也跟內部的移動端消息通知進行了互聯互通。
整體實現了流水線與內部三方工具的互聯互通、效率提升、自動化執行。
在此之前公司的運維流程平臺和工程平臺的建設是相對比較孤立和割裂的。我們基于藍鯨一體化的平臺能力，實現了 ITSM 的管理流程和 DevOps 工程域的互聯互通。這一點是我們本次項目比較有特色的實踐內容。
在需求管理方面，通過 ITSM 審批后的業務需求會自動推送到 DevOps 平臺，形成史詩級業務需求。產品經理使用 DevOps 平臺就可以看到需求池中的待辦需求，通過用戶故事進行需求拆分，開發團隊就會根據用戶故事去進行開發任務的維護。這是業務需求在管理域和工程域的實施情況。
通過 CD 平臺的流水線能夠自動化管理開發過程。在工程域當中形成的用戶故事的開發狀態、開發效能指標等數據，會自動同步到我們上層 ITSM 需求流程的管理域中，這樣業務的干系人就能夠通過管理域數據視角看到工程域的進展狀態，了解工程域的關鍵指標數據。
相應的需求經過開發和測試完成后進行發布，也同時將 CI、CD 的流水線跟上層的變更流程進行互聯。在變更流程審批通過后，就會自動觸發流水線的執行發布。
以上這些需求變更在工程域和管理域上的數據互聯互通，使業務的需求人員和相關的業務干系人能夠了解到工程域的信息，同時也提升了工程域的狀態和效率。
3）開源治理：唯一可信源，控制風險
分享一下開源治理的實踐，通過平臺我們實現了開源治理的目標。開發團隊引入開源組件進行流程的管控，建立公司層面的唯一可信的制品庫，控制開發風險。如果需要引入不在我們統一制品庫的開源組件，需通過標準化的流程進行申請和審批。審批通過后由安全人員對相應的開源組件進行安全掃描和處理，建立白名單機制，引入到統一的制品庫當中。
4）實現多維度的研發效能數據度量
下圖是沉淀在各個開發環節的過程數據，覆蓋需求管理、測試管理、缺陷管理、代碼管理、發布管理等整個端到端的各模塊。
利用藍鯨的 CI 模塊可以很方便的為不同的團隊提供關鍵數據的度量指標，發現和分析團隊中的一些問題，從而進行持續的改進。
目前公司所有的產品組和開發組都已經使用了統一的藍鯨 CD 平臺，因此所有的數據都能方便地展示給各個項目組。
04. 平臺能力自主擴展，數字化轉型
1）從腳本到運維開發
運維團隊整體通過平臺化的建設，在運維開發方面進行了一些探索和轉型，實現了團隊的能力進階。
- 基于藍鯨的作業平臺，我們實現了對所有腳本的統一管理。
- 基于藍鯨的標準運維，我們實現了對軟件的安裝、配置、發布、自動化運維場景的推進和落地。
- 基于藍鯨強大的 PaaS 的開發框架，運維團隊可以比較低成本的去開發運維相關的系統，去探索 SRE的轉型。
2）支撐部門日常巡檢統一管理
在運維場景自主拓展方面，運維團隊利用了藍鯨的 PaaS 開發框架，開發了一套部門的日常巡檢管理的應用系統，能夠對各個團隊的日常關鍵任務進行管理。同時，在每一項的巡檢項目背后對接了藍鯨的作業平臺，能夠實現部分運維項的自動化巡檢。
3）自主探索運維轉型
基于藍鯨平臺沉淀的各個研發和流程的過程數據，我們對部門的團隊和個人績效考核指標進行了一些效能平臺的開發和落地。
下圖右邊的內容展示了運維流程的各個待辦通知與整體的消息中心打通，提供提醒和通知功能。
4）流水線插件集成
在研發場景自主拓展方面，藍鯨 DevOps 平臺具有非常強大的插件開發能力。基于流水線插件的開發方式，能夠很方便的實現我們整個平臺工具的互聯互通，進一步提升研發效能。
5）展望：讓 CMDB 從后臺走向前臺
如圖是我們構建的一個比較完整的 CMDB 數據庫。基于 CMDB 可以去探索更深一步的應用，例如數據消費的一些場景、識別各團隊 IT 資產的使用情況等，從而去優化各團隊的用量管理、資源使用，以及摸清各團隊的使用情況和優化建議，給各團隊提供全場景的運維數據。
05. 問答環節
CMDB 是怎么保證數據準確性的？
答：一是通過自動化手段，通過采集插件以及外部數據對接等方式，將能用自動化插件獲取的數據進行采集；二是對 CMDB 進行數據定標，通過各運維服務流程進行 CMDB 數據的錄入，支持流程中可直接引用 CMDB 數據，流程審批后可直接寫入 CMDB 中；三是在一體化運維平臺的各個場景中，都對 CMDB 數據進行了消費，如監控下發、告警通知、資源交付等等，把數據用起來，活起來，讓數據有價值。
目前運維工具大概六七個，都是單獨的入口，建議怎么實現一體化呢？
答：可以先實現入口的統一，藍鯨平臺可以接入外鏈應用，也可以支持外部登錄的集成，可以先將各個運維工具“放到”藍鯨桌面上，實現運維統一的工作臺。后續進行替代與能力整合，能力相同的，可以考慮替代，將場景遷移到藍鯨上，如自動運維的腳本等，一些專業運維工具，可考慮能力融合，把運維工具能力集成到 API 網關、標準運維原子中。實現能力與數據的互通互聯。
請問這個告警中心是單獨開發實現的嗎？跟藍鯨監控平臺本身的告警通知有什么關系？
答：告警中心是獨立的 SaaS 應用，將藍鯨監控平臺的告警接入到了告警中心，現在存量有不少各種用途監控系統，如藍鯨監控用于操作系統與基礎軟件監控，zabbix 主要是網絡與硬件監控，OEM 監控數據庫等等，需要將不同監控系統產生的告警集中進行管理，統一對這些告警事件進行治理與轉 ITSM 事件單據。
目前監控、告警、ITSM 都有，可以集成進藍鯨嗎？
答：可以的，藍鯨平臺的開放性與擴展性非常好，可以將已有的運維系統能力進行整合，比如已有的監控，告警、ITSM 可以調用藍鯨 CMDB 的 API 接口消費配置數據，告警也可以調用自動化能力的 API 實現自愈場景。藍鯨平臺 API 網關，標準運維原子，監控采集插件等等都具備較好的擴展性。
