DeepFlow全棧混合云網(wǎng)絡(luò)監(jiān)控實(shí)踐【阿里云篇】
云杉網(wǎng)絡(luò)DeepFlow云網(wǎng)分析平臺(tái)，在2020年9月正是成為阿里云首個(gè)混合云網(wǎng)絡(luò)流量分析合作伙伴，本文主要介紹DeepFlow在阿里混合云全棧流量監(jiān)控與分析的實(shí)現(xiàn)。
多云和云原生趨勢漸成主流。RightScale 2019年云狀態(tài)報(bào)告顯示，有84%的受訪企業(yè)采用了多云戰(zhàn)略；Gartner 預(yù)測，2020年全球90%的組織將利用混合云管理基礎(chǔ)設(shè)施；Nutanix全球企業(yè)云指數(shù)調(diào)查報(bào)告顯示，86%的企業(yè)受訪者認(rèn)為混合云是是理想IT基礎(chǔ)架構(gòu)的最佳選擇；《IDC FutureScape: 全球云計(jì)算2020 年預(yù)測——中國啟示》則認(rèn)為，到2021年中國90%以上的企業(yè)將依賴于本地/專屬私有云、多個(gè)公有云和遺留平臺(tái)的組合，以滿足其基礎(chǔ)設(shè)施需求。
中國信通院的混合云調(diào)查報(bào)告指出，減少基礎(chǔ)設(shè)施投資是企業(yè)采用混合云的首要原因，災(zāi)難恢復(fù)、數(shù)據(jù)備份和負(fù)載擴(kuò)容是混合云三個(gè)重要的應(yīng)用場?；旌显萍婢吖性坪退接性浦L，在混合云下實(shí)施微服務(wù)架構(gòu)，能夠提供更好的軟件伸縮性和企業(yè)的敏捷性，滿足企業(yè)客戶快速響應(yīng)市場變化、加速業(yè)務(wù)創(chuàng)新的需求。
在金融等重點(diǎn)行業(yè)領(lǐng)域，隨著企業(yè)基礎(chǔ)設(shè)施從傳統(tǒng)自建IDC到混合云的演進(jìn)，網(wǎng)絡(luò)流量數(shù)據(jù)采集和智能分析已經(jīng)成為支撐業(yè)務(wù)穩(wěn)定運(yùn)行和快速演進(jìn)的重要能力，云上、云下一致性的網(wǎng)絡(luò)流量分析能力成為混合云平臺(tái)的強(qiáng)需求。 本文內(nèi)容適用于以下場景：
- 流量采集分發(fā)：提供物理網(wǎng)絡(luò)探針、虛擬網(wǎng)絡(luò)及容器全網(wǎng)流量采集、存儲(chǔ)及引流再分發(fā)的能力。
- 網(wǎng)絡(luò)質(zhì)量分析：高效展示多地區(qū)、可用區(qū)、虛擬機(jī)、宿主機(jī)、應(yīng)用、POD、服務(wù)等維度的關(guān)聯(lián)性、連接狀態(tài)、性能等網(wǎng)絡(luò)性能指標(biāo)。
- 多維數(shù)據(jù)聚合：構(gòu)建網(wǎng)絡(luò)知識(shí)圖譜，提供關(guān)聯(lián)網(wǎng)絡(luò)、云平臺(tái)、容器平臺(tái)、服務(wù)等各平臺(tái)信息，快速查詢關(guān)聯(lián)信息。
- 監(jiān)控納管：報(bào)警、報(bào)表、視圖、資產(chǎn)管理等。
- 云原生兼容：流量分析組件支持彈性伸縮，滿足云原生場景下架構(gòu)橫向擴(kuò)容的需求。
在阿里專有云及混合云場景部署DeepFlow
在專有云環(huán)境中部署DeepFlow之前，用戶需要開通服務(wù)隧道資源，并記錄相關(guān)服務(wù)及其IP地址信息、服務(wù)隧道IP地址信息。其部署示意圖如下：
阿里專有云部署示意圖
在阿里混合云的部署示意圖如下所示，用戶完成DeepFlow部署之后，通過登錄管理后臺(tái)進(jìn)行配置管理（為控制器和數(shù)據(jù)節(jié)點(diǎn)綁定隧道IP地址信息），關(guān)于部署的詳細(xì)信息可參考https://help.aliyun.com/document_detail/201110.html
阿里混合云部署示意圖
DeepFlow全?；旌显品治瞿芰?/h5>
云杉網(wǎng)絡(luò)DeepFlow自5.6之后的版本開始適配容器，并最終全棧覆蓋網(wǎng)絡(luò)+應(yīng)用的流量監(jiān)控和分析，具備了細(xì)至端到端及服務(wù)端口的逐跳流粒度檢索能力。即，覆蓋流量從業(yè)務(wù)POD經(jīng)過容器節(jié)點(diǎn)、物理宿主機(jī)、物理網(wǎng)絡(luò)鏈路（包括負(fù)載均衡器、網(wǎng)關(guān)等），到另外一臺(tái)宿主機(jī)上某個(gè)容器節(jié)點(diǎn)內(nèi)的業(yè)務(wù)POD，提供全?；旌显骗h(huán)境下的全鏈路監(jiān)控追蹤能力。
網(wǎng)絡(luò)拓?fù)涔δ芫劢褂趶倪壿嫛⑻摂M、物理的視角展現(xiàn)網(wǎng)絡(luò)的配置信息和狀態(tài)指標(biāo)數(shù)據(jù)。完整描述各虛擬資源及虛擬網(wǎng)元之間的訪問關(guān)系以及流量狀態(tài)，幫助用戶全面掌握虛擬網(wǎng)絡(luò)整體情況，有效應(yīng)對(duì)虛擬網(wǎng)絡(luò)內(nèi)部組件關(guān)系復(fù)雜、容器或虛擬機(jī)變動(dòng)頻繁等現(xiàn)象。
當(dāng)用戶遇到業(yè)務(wù)問題時(shí)，可以借助DeepFlow逐跳的監(jiān)控能力排查性能問題：
- 通過廣域網(wǎng)追蹤，過濾網(wǎng)流，定位問題地域；
- 通過物理鏈路追蹤查看網(wǎng)絡(luò)性能指標(biāo)的變化，定位丟包和時(shí)延位置；
- 通過虛擬鏈路追蹤查看網(wǎng)絡(luò)性能指標(biāo)的逐跳變化，定位丟包和時(shí)延位置；
- 通過精細(xì)搜索，過濾指定網(wǎng)流：源、目的、協(xié)議、服務(wù)端口。
DeepFlow業(yè)務(wù)全鏈路排查能力
全景圖是DeepFlow重要功能之一，5.6版本后提供了多個(gè)維度（包括IP、VPC、子網(wǎng)、區(qū)域、可用區(qū)、宿主機(jī)、虛擬機(jī)、容器節(jié)點(diǎn)、容器POD、業(yè)務(wù)、資源組等）的資源流量搜索和知識(shí)圖譜展現(xiàn)。全景圖展示的視角包括：
- 流統(tǒng)計(jì)：以IP五元組聚合流，以流屬性為基礎(chǔ)統(tǒng)計(jì)吞吐、負(fù)載、時(shí)延、性能、異常及流量屬性數(shù)據(jù)，支持以趨勢、排名、分布、拓?fù)涞姆绞竭M(jìn)行可視化。
- 包統(tǒng)計(jì)：以IP二元組聚合，對(duì)包的播送類型、TCP標(biāo)志位、TTL、包長區(qū)間等屬性進(jìn)行吞吐量統(tǒng)計(jì)，支持以趨勢、排名、分布、拓?fù)涞姆绞竭M(jìn)行可視化。
- 廣域網(wǎng)：從地理位置的視角展示資源與Internet之間的流量分布，支持以中國省份維度進(jìn)行分組統(tǒng)計(jì)，支持的指標(biāo)量與流統(tǒng)計(jì)相同，支持以趨勢、排名、分布的方式進(jìn)行可視化。
用戶可通過DeepFlow對(duì)物理鏈路、虛擬鏈路統(tǒng)一進(jìn)行鏈路逐跳的排查，快速定位丟包和時(shí)延的位置。針對(duì)需要鉆取或詳細(xì)查看的環(huán)節(jié)，用戶通過通過點(diǎn)擊拓?fù)渲械馁Y源、路徑，以及分布圖中的分組等選項(xiàng)，可在多個(gè)維度的展示界面之間進(jìn)行隨意切換，從不同的視角對(duì)目標(biāo)段的數(shù)據(jù)進(jìn)行細(xì)致的展現(xiàn)。
此外，在鉆取環(huán)節(jié)，頁面還可進(jìn)一步跳轉(zhuǎn)到流量曲線二級(jí)頁面，以折線圖的視角，展現(xiàn)現(xiàn)拓?fù)渲械墓?jié)點(diǎn)、路徑或分布圖中分組的統(tǒng)計(jì)數(shù)據(jù)在不同時(shí)間的結(jié)果，并與虛擬機(jī)、容器POD的啟停、創(chuàng)建（同步）、刪除、遷移、IP變更事件進(jìn)行關(guān)聯(lián)展示。進(jìn)一步的，可以跳轉(zhuǎn)到流日志三級(jí)頁面，查看對(duì)應(yīng)的原始流日志詳細(xì)信息。
DeepFlow采集器分布式部署在用戶的計(jì)算節(jié)點(diǎn)，擁有多種形態(tài)的版本、以進(jìn)程形態(tài)獨(dú)立運(yùn)行并支持在異構(gòu)的混合云資源池中一鍵部署。DeepFlow控制器按角色分為主控制器、備控制器、從控制器，用戶可根據(jù)實(shí)際部署要求進(jìn)行靈活選擇；控制器集群最大可管理10萬臺(tái)規(guī)模的采集器，分布式部署的采集器與控制器構(gòu)建成一個(gè)與云網(wǎng)規(guī)模一致的分布式流量處理系統(tǒng)。滿足大型企業(yè)私有IT、公有云、容器等對(duì)云數(shù)據(jù)中心資源池建設(shè)持續(xù)演進(jìn)的網(wǎng)絡(luò)流量監(jiān)控分析要求。