為滿足用戶新型的多樣化業(yè)務(wù)需求，在市場和技術(shù)的雙重驅(qū)動下，中國聯(lián)通總部以產(chǎn)業(yè)互聯(lián)網(wǎng)為依托，推出了可為用戶提供即時開通、彈性帶寬、自助服務(wù)的“云網(wǎng)一體化”產(chǎn)品，產(chǎn)品以本地IPRAN+產(chǎn)業(yè)互聯(lián)網(wǎng)進(jìn)行承載。

浙江中小企業(yè)居多，且政府高度重視“企業(yè)上云”，對于云網(wǎng)一體化業(yè)務(wù)需求相應(yīng)較多。通過產(chǎn)業(yè)互聯(lián)網(wǎng)承載，一方面需要占用骨干網(wǎng)絡(luò)資源，另一方面IPRAN終端費用偏高也制約業(yè)務(wù)的推廣。而IP城域網(wǎng)的網(wǎng)絡(luò)資源相對空閑、終端成本低廉、覆蓋廣泛，成為更有效的接入手段。與此同時，浙江各地市建有IDC專有域，各地市也建有IDC網(wǎng)絡(luò)，IDC用戶的東西向流量無效占用骨干資源。

基于此現(xiàn)狀，為更好地支撐DC業(yè)務(wù)發(fā)展，同時作為總部“云網(wǎng)一體化”產(chǎn)品在浙江本地落地的有效補充，浙江聯(lián)通構(gòu)建了基于DC的云網(wǎng)一體化承載網(wǎng)絡(luò)。該網(wǎng)絡(luò)依托浙江聯(lián)通IDC專有域進(jìn)行DC間互聯(lián)，以城域網(wǎng)為主、IP RAN為輔的接入方式覆蓋用戶末端接入，通過DCI控制器實現(xiàn)自動開通，在全省構(gòu)建一套云網(wǎng)一體化承載網(wǎng)。網(wǎng)絡(luò)建成后，一方面實現(xiàn)DC東西向流量的疏導(dǎo)，實現(xiàn)DC間資源復(fù)用；另一方面通過對接自營行業(yè)云、沃云、第三方云（主要為阿里云）引入云端資源，實現(xiàn)省內(nèi)云聯(lián)網(wǎng)（DCI）、云組網(wǎng)、云專線等云網(wǎng)一體化產(chǎn)品需求。

面向未來的網(wǎng)絡(luò)演進(jìn)需求

浙江省內(nèi)11個地市都建有規(guī)模不同的IDC機房，而同一客戶在不同地市IDC機房的情況也較為普遍，因而DC的東西流量的互通及客戶異地互連都有較大的需求，實現(xiàn)DC間的互聯(lián)勢在必行。

與此同時，公有云以其安全、便捷、數(shù)據(jù)共享等優(yōu)勢，越來越受到用戶的青睞。企業(yè)客戶根據(jù)自己的業(yè)務(wù)需求，將部分或全部業(yè)務(wù)部署于公有云或私有云，有的采用將核心系統(tǒng)保留在本地，其他系統(tǒng)部署在云端；有的則只在本地保留終端，將業(yè)務(wù)系統(tǒng)全部部署于云端。這種業(yè)務(wù)模式下就產(chǎn)生了用戶與云端及云端之間的互聯(lián)需求，同時還需要為用戶提供最為便捷的DC遷移。要滿足此類業(yè)務(wù)需求，目前使用比較多的模式是采用傳統(tǒng)專線電路或者租用互聯(lián)網(wǎng)電路在用戶端以VPN的方式實現(xiàn)，前者一來費用較高，二來不夠靈活，而后者則在網(wǎng)絡(luò)保障性上較差，同時客戶端也相對復(fù)雜。建設(shè)一個一點接入、就近入云的網(wǎng)絡(luò)將是一種更為有效的實現(xiàn)方式。

浙江聯(lián)通建有一個IDC專有域，主要覆蓋杭州、寧波的IDC業(yè)務(wù)，其余地市的IDC業(yè)務(wù)通過城域網(wǎng)接入,具體如圖1所示。

圖1 省內(nèi)IDC網(wǎng)絡(luò)現(xiàn)狀

在當(dāng)前組網(wǎng)模式下，各DC間東西向互聯(lián)需通過城域網(wǎng)及骨干網(wǎng)，受OTT公司、大數(shù)據(jù)業(yè)務(wù)等驅(qū)動，IDC業(yè)務(wù)帶寬越來越大，在IDC出口上行鏈路上的帶寬增長迅速，對骨干和城域網(wǎng)的帶寬造成巨大沖擊。同時多段路由迂回難以滿足VM遷移、協(xié)同計算（并行計算、3D渲染、搜索等業(yè)務(wù)）等業(yè)務(wù)對低延遲、高帶寬的需求。為此，需要將省內(nèi)各DC進(jìn)行互聯(lián)，以實現(xiàn)DC間東西向流量穿越及用戶VM遷移等需求。

對于省內(nèi)跨域?qū)＞€，除傳統(tǒng)傳輸電路外，目前接入段主要有IP RAN網(wǎng)絡(luò)和城域網(wǎng)兩種方式，借助全省性的網(wǎng)絡(luò)做跨域MPLS-VPN。網(wǎng)絡(luò)成本及費用均相對較高，且無任何云資源池接入。兩種方式均不能有效滿足就近入云的業(yè)務(wù)需求。

傳統(tǒng)網(wǎng)絡(luò)下，運營商和服務(wù)供應(yīng)商面對的問題和痛點越來越多，如：端到端連接部署和變更太慢，配置工作量大，而且需要多部門和廠商配合；網(wǎng)絡(luò)利用率低，無法對網(wǎng)絡(luò)流量進(jìn)行全局性調(diào)整；傳統(tǒng)業(yè)務(wù)發(fā)放方式無法滿足新型業(yè)務(wù)的快速上線等。網(wǎng)絡(luò)的高穩(wěn)定與高性能目前已經(jīng)不足以滿足業(yè)務(wù)需求，靈活性和敏捷性反而更為關(guān)鍵，因此SDN解決方案應(yīng)運而生。

網(wǎng)絡(luò)部署方案

根據(jù)業(yè)務(wù)需求，針對現(xiàn)網(wǎng)網(wǎng)絡(luò)資源情況做深入分析，本項目需要借助擁有大量云端資源的網(wǎng)絡(luò)作為骨干承載網(wǎng)絡(luò)，且項目的實施要充分利用現(xiàn)網(wǎng)資源，以達(dá)到節(jié)約成本的目的。而城域網(wǎng)具備帶寬充足、廣泛覆蓋的優(yōu)勢，應(yīng)作為末端接入的首選，IP RAN作為傳統(tǒng)電路接入手段可為有效補充?？焖俚臉I(yè)務(wù)開通需要配備部分自動的手段，政企的云末端延伸只需要將政企云作為云專線接入即可實現(xiàn)。

基于上述分析，確定的總體技術(shù)方案如下。

以現(xiàn)有DC網(wǎng)絡(luò)為基礎(chǔ)，各地市新建一對PE設(shè)備，實現(xiàn)DC互聯(lián)，同時PE設(shè)備與城域網(wǎng)及IPRAN互聯(lián)，用戶可通過PON+城域網(wǎng)或IP RAN網(wǎng)絡(luò)接入DC骨干網(wǎng)，通過DC骨干網(wǎng)打通跨地市云專線接入，這樣就實現(xiàn)了用戶的最廣覆蓋。

而對于云間互聯(lián)需求，則依托DC網(wǎng)絡(luò)形成省內(nèi)骨干云互聯(lián)網(wǎng)絡(luò)。各骨干節(jié)點匯聚各本地網(wǎng)IDC出口，實現(xiàn)聯(lián)通自營行業(yè)云、沃云、第三方云（目前主要是阿里云）等多云互聯(lián)。具體如圖2所示。

圖2?總體技術(shù)方案

在圖2中，①表示通過IP RAN接入跨地市云；②表示通過IP RAN接入本地云；③表示通過城域接入本地云； ④表示通過城域接入跨地市云；⑤表示DC間互聯(lián)。該方案共涉及5種應(yīng)用場景，對比傳統(tǒng)網(wǎng)絡(luò)解決方案，本方案有如下優(yōu)勢。

立足現(xiàn)網(wǎng)實現(xiàn)用戶廣覆蓋、快接入

各本地網(wǎng)末端接入采用城域網(wǎng)/IP RAN接入，在覆蓋范圍上城域網(wǎng)和IP RAN互為補充，利用現(xiàn)有IP RAN與城域網(wǎng)豐富的末梢接入資源，實現(xiàn)企業(yè)入云專線的快速接入，最大程度提升現(xiàn)網(wǎng)資源利用率，減少干線OTN網(wǎng)絡(luò)的投資成本。

針對不同價值的用戶提供差異化服務(wù)

不同價值定位的云專線接入可以采用不同的接入方式。例如，針對高價值高安全等級專線（如黨政軍、金融）采用OTN方式接入，提供硬隔離高可靠的安全保障；針對價格敏感的普通中小企業(yè)等，可采用PON+城域網(wǎng)/IP RAN方式接入，提供價格上更具備競爭力的專線方案。

構(gòu)建全連接，“一點接入，就近入云”

新建/整合云骨干網(wǎng)絡(luò)，各地市部署骨干網(wǎng)接入點，與城域網(wǎng)/IP RAN背靠背對接；云骨干網(wǎng)絡(luò)通過IDC專有域核心路由器實現(xiàn)邏輯全互聯(lián)。企業(yè)分支通過本地城域網(wǎng)/IP RAN網(wǎng)絡(luò)接入云骨干，實現(xiàn)“一點接入，就近入云”的業(yè)務(wù)訴求。

疏導(dǎo)東西向流量，緩解骨干帶寬壓力，實現(xiàn)VM跨DC遷移

云骨干網(wǎng)絡(luò)同時可以承載DC間東西向流量，減少DC帶寬增長對城域網(wǎng)和骨干網(wǎng)的沖擊，同時為企業(yè)實現(xiàn)業(yè)務(wù)流量疏導(dǎo)及DC間虛機遷移的高可靠要求提供了基礎(chǔ)網(wǎng)絡(luò)和可行的技術(shù)實現(xiàn)方案。

專線網(wǎng)絡(luò)復(fù)用，“一線入多云”

建立云骨干網(wǎng)絡(luò)，也讓企業(yè)具備了一條云專線接入多個云池的擴展能力：云骨干網(wǎng)絡(luò)通過L3VPN承載專線業(yè)務(wù)，分別引入不同云池的路由，企業(yè)分支通過一個接入點接入云骨干即可實現(xiàn)多云訪問，避免為不同的云池分別開通專線接入業(yè)務(wù)，節(jié)省了網(wǎng)絡(luò)資源，同時也可在商務(wù)上具備更大的靈活性。

引入SDN控制器提升運維效率

傳統(tǒng)網(wǎng)絡(luò)下E2E連接部署和變更太慢，配置工作量大，而且需要多部門和廠商配合；網(wǎng)絡(luò)利用率低，無法對網(wǎng)絡(luò)流量進(jìn)行全局性調(diào)整，而且對調(diào)優(yōu)結(jié)果不能清晰的感知；傳統(tǒng)的業(yè)務(wù)發(fā)放方式無法滿足新型業(yè)務(wù)的快速上線等。網(wǎng)絡(luò)的高穩(wěn)定與高性能目前已經(jīng)不足以滿足業(yè)務(wù)需求，靈活性和敏捷性反而更為關(guān)鍵，因此采用SDN控制實現(xiàn)業(yè)務(wù)的自動下發(fā)，可避免人工開通時可能出現(xiàn)的配置下發(fā)錯誤，提高業(yè)務(wù)敏捷性；同時在運維管理上也能提供更直觀的界面進(jìn)行業(yè)務(wù)的診斷及監(jiān)控，提高運維效率。

與傳統(tǒng)專線相比，大幅減少末端接入成本，同時提升城域網(wǎng)絡(luò)資源利用率

傳統(tǒng)專線普遍采用SDN光端機等傳輸設(shè)備接入，終端成本造價高（每臺終端5000~7000元），接入段線路投資大。而采用城域網(wǎng)方式接入，用戶端只需采用現(xiàn)網(wǎng)ONT設(shè)備，價格不足傳輸設(shè)備的1/10。同時，公眾寬帶用戶增長緩慢，云專線業(yè)務(wù)的發(fā)展使相對輕載的城域網(wǎng)利用率有所提升。

根據(jù)上述業(yè)務(wù)需求，結(jié)合浙江聯(lián)通網(wǎng)絡(luò)現(xiàn)狀，在杭州等7個本地網(wǎng)各新增一對PE路由器設(shè)備，通過口字型組網(wǎng)下掛現(xiàn)網(wǎng)杭州IDC專有域核心路由器。同時PE節(jié)點與城域網(wǎng)ASBR、IP RAN的ASBR節(jié)點、本地的IDC出口互聯(lián)。PE設(shè)備一方面實現(xiàn)DCI互聯(lián)，另一方面兼做專線VPN GW，用于終結(jié)城域?qū)＞€和IP RAN專線的VPN。具體如圖3所示。

圖3?具體實施方案

在具體實施方案中，云骨干網(wǎng)上云資源池接入云網(wǎng)關(guān)有兩種方案：云網(wǎng)關(guān)（DAP）直連PE，用于大型云資源池，如政企云、阿里云等；小型的云資源池通過SR匯聚后，再接入PE，主要是接入三方的IDC。

為實現(xiàn)DCI網(wǎng)絡(luò)的全生命周期管理，完成設(shè)備即插即用、敏捷的業(yè)務(wù)發(fā)放、網(wǎng)絡(luò)流量監(jiān)控、全局的網(wǎng)絡(luò)優(yōu)化等功能，新增一套DCI控制器，納管杭州IDC專有域核心路由器以及7個地市的PE設(shè)備，實現(xiàn)業(yè)務(wù)自動發(fā)放、流量智能調(diào)優(yōu)、智能運維，同時提供北向接口支持后續(xù)聯(lián)通自有或第三方編排器，打通OSS/BSS，實現(xiàn)業(yè)務(wù)自動開通。為確保業(yè)務(wù)的快速上線，初期采用局部自動化模式，后續(xù)逐步打通相關(guān)接口，推進(jìn)自動化水平。

業(yè)務(wù)應(yīng)用實例PON+城域云專線承載方案

此方案下，用戶側(cè)采用原有的ONT接入即可，不需要增加額外的設(shè)備投入。城域接入可以采用L2VPN或L3VPN, OLT以下通過VLAN標(biāo)識，城域網(wǎng)絡(luò)及云骨干側(cè)均通過L2VPN（VLL/VPLS）或L3VPN（MPLS-L3VPN）承載。下面以城域網(wǎng)L2、云骨干L3模式為例，具體如圖4所示。

圖4?PON+城域云專線承載方案

用戶側(cè)部署CE路由器。PON網(wǎng)絡(luò)側(cè)，OLT以下通過VLAN標(biāo)識企業(yè)專線業(yè)務(wù)，OLT以上通過QINQ標(biāo)識企業(yè)專線業(yè)務(wù)。城域網(wǎng)層面采用L2VPN（VLL/VPLS）承載，城域ASBR和PE之間通過VLAN對接，通過不同VLAN ID區(qū)分用戶。云骨干層面，在接入本地云數(shù)據(jù)中心時，PE同時作業(yè)云、網(wǎng)PE，部署本地VRF，作為用戶CE三層網(wǎng)關(guān)，終結(jié)ASBR側(cè)VLAN，封裝VRF；終結(jié)VRF，封裝VLAN與云DAP對接；接入異地云數(shù)據(jù)中心時，云骨干PE間通過L3VPN承載租戶專線業(yè)務(wù)，域內(nèi)通過LDP承載，網(wǎng)PE作為用戶CE三層網(wǎng)關(guān)，終結(jié)VLAN，封裝VRF，云PE終結(jié)VRF，封裝VLAN與云DAP對接。

IPRAN云專線承載方案

此方案下，用戶側(cè)需要增配CPE設(shè)備。相比較城域網(wǎng)接入方案成本較高。采用IPRAN方案時，IPRAN只負(fù)責(zé)二層接入。云骨干網(wǎng)做三層承載。以接入異地DC為例，具體如圖5所示。

圖5?IP RAN云專線承載方案

企業(yè)CE側(cè)通過物理端口/VLAN子接口接入CPE，CPE通過靜態(tài)PW接入CSG；CSG組成接入環(huán)，ASG和ASBR/RSG組成匯聚環(huán)，IP RAN內(nèi)建立動態(tài)PW業(yè)務(wù)，CSG上進(jìn)行靜態(tài)PW與動態(tài)PW交換；云骨干網(wǎng)PE節(jié)點建立L3VPN業(yè)務(wù)，本地網(wǎng)PE通過VLAN與IP RAN對接，云PE通過VLAN/QINQ與云網(wǎng)關(guān)對接；DAP配置到企業(yè)Site側(cè)子網(wǎng)的路由，下一跳為PE互聯(lián)地址。

云聯(lián)網(wǎng)方案

該業(yè)務(wù)場景下，云數(shù)據(jù)中心之間通過云骨干網(wǎng)絡(luò)打通，云骨干PE節(jié)點建立L3VPN業(yè)務(wù)，云PE通過VLAN與云網(wǎng)關(guān)對接；云數(shù)據(jù)中心DAP配置到對端云數(shù)據(jù)中心DAP的子網(wǎng)路由，下一條為云PE互連地址。具體如圖6所示。

圖6?云聯(lián)網(wǎng)方案

該方案下無云和網(wǎng)的協(xié)同，只有骨干網(wǎng)業(yè)務(wù)發(fā)放，即該平臺上只提供給企業(yè)租戶網(wǎng)絡(luò)管道業(yè)務(wù)。

虛機（VM）牽移方案

該業(yè)務(wù)場景下，云數(shù)據(jù)中心之間建立VxLAN，打通二層網(wǎng)絡(luò)，云骨干網(wǎng)絡(luò)作為管道，通過L3VPN為兩端DAP打通路由：云PE節(jié)點建立L3VPN業(yè)務(wù)，云PE通過VLAN與云網(wǎng)關(guān)對接；云數(shù)據(jù)中心DAP配置到對端云數(shù)據(jù)中心DAP的子網(wǎng)路由，下一跳為云PE互連地址。

DAP之間IP打通后，在DAP上建立到對端云數(shù)據(jù)中心DAP的BGP PEER，協(xié)商控制面，建立VxLAN隧道，使DAP之間可以通過VxLAN打通二層網(wǎng)絡(luò)，實現(xiàn)VM遷移。如圖7所示。

圖7?虛機（VM）牽移方案

方案中BGP PEER以及VxLAN的建立均在云數(shù)據(jù)中心DAP建立，需要DAP控制器在遷移VM的云數(shù)據(jù)中心之間進(jìn)行統(tǒng)一協(xié)同管理；云骨干網(wǎng)絡(luò)為VxLAN提供傳輸管道。

云商對接實例

云商可直接接入PE，也可以通過DC路由器匯聚接入，對于大型云商（如阿里云）采用直接接入PE的方式，可采用二層或三層方案。具體如圖8所示。同時在云商平臺側(cè)需用合作方身份為最終客戶創(chuàng)建VBR相關(guān)信息。

圖8 云商對接實例

合作方登錄阿里云控制臺創(chuàng)建“邊界路由器（VBR）”，分配資源（vlan id、接入設(shè)備）并關(guān)聯(lián)客戶賬戶（uid）；客戶登錄控制臺確認(rèn)并完善VBR信息。包括：VBR名稱、互連IP地址（阿里云側(cè)、客戶側(cè)）；如果采用冗余線路接入，重復(fù)步驟1、步驟2。不同VBR的互連IP地址段不能相同；客戶在CE設(shè)備和VBR、VPC中配置靜態(tài)路由。對于有冗余線路需求的，還需要配置ECMP的健康檢查地址；VPC添加客戶私網(wǎng)路由，選擇等價路由。

上述應(yīng)用實例為目前現(xiàn)網(wǎng)常用應(yīng)用場景，根據(jù)用戶業(yè)務(wù)需求的變化，前文提及的業(yè)務(wù)模型均可靈活滿足。并可通過部署設(shè)備、鏈路、路由、隧道等多級的網(wǎng)絡(luò)檢測和保護(hù)來確保業(yè)務(wù)的安全性，滿足用戶對可靠性的要求。

結(jié)論

本項目方案采用傳統(tǒng)網(wǎng)絡(luò)技術(shù)與新技術(shù)有效結(jié)合的方式，依托浙江聯(lián)通現(xiàn)有網(wǎng)絡(luò)，以最小的網(wǎng)絡(luò)改造滿足了DC間互訪及客戶基于云網(wǎng)一體化的多種網(wǎng)絡(luò)需求。方案充分利用現(xiàn)網(wǎng)資源，快速投產(chǎn)，且有效節(jié)約投資成本。采用城域網(wǎng)PON為主、IP RAN為輔的接入方式，在實現(xiàn)最廣泛覆蓋的基礎(chǔ)上有效減少客戶接入初期建設(shè)成本，隨著業(yè)務(wù)規(guī)模的不斷發(fā)展，成本效益優(yōu)勢將愈加明顯。方案實施后，使得傳統(tǒng)網(wǎng)絡(luò)具備云專線、云組網(wǎng)、云聯(lián)網(wǎng)等云網(wǎng)一體化產(chǎn)品能力，同時具備DC間虛機遷移功能，網(wǎng)絡(luò)的業(yè)務(wù)支撐能力顯著提升。方案兼顧網(wǎng)絡(luò)演進(jìn)方向，根據(jù)業(yè)務(wù)需求分階段推進(jìn)，避免投資浪費，且具有良好的擴展性，為后續(xù)網(wǎng)絡(luò)的優(yōu)化完善奠定基礎(chǔ)。

與此同時，由于本方案的廣覆蓋和低成本，降低了最終客戶的接入門檻；而“一點接入”的模式極大地方便客戶，對推動中小企業(yè)利用云計算加快數(shù)字化、網(wǎng)絡(luò)化、智能化轉(zhuǎn)型具有積極作用，為推進(jìn)互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能與實體經(jīng)濟深度融合，建設(shè)“數(shù)字浙江”提供必要的網(wǎng)絡(luò)基礎(chǔ)，具有一定的社會效益。