1 引言
數據中心(Data Center)集中為各種企業業務提供數據，實現了IT系統整合和集中管理。這也導致數據中心規模越來越大，復雜度越來越高。為了建設集中扁平化，統一多種應用的融合數據中心，未來數據中心建設將圍繞融合網絡和虛擬化展開，大量新技術應用在數據中心中，如數據中心以太網，Fibre Channel Over Ethernet，虛擬化等。新技術的驗證和性能評估是數據中心部署的第一步，在測試中需要把新舊組件結合起來，進行集中的整體分析。思博倫通信推出業界第一個整體數據中心測試解決方案。本文從數據中心網絡基準性能測試方法，數據中心以太網測試，FCoE測試，虛擬化測試等方面，對思博倫數據中心整體分析解決方案進行論述。
2 基準性能測試
基準性能測試是數據中心設備最基本的測試項目。通信界長期以來形成了一系列測試標準，定義了基準性能和基準性能測試方法。這些標準對包括數據中心在內的網絡設備和系統都非常有效。系列標準包括：RFC 1242/2544：網絡和網絡設備的基準性能測試術語和測試方法學。RFC 2432/2889：以太網二層交換機基準性能測試術語和測試方法學。RFC 2432/3918：組播基準性能測試術語和測試方法學。RFC 2647/3511：防火墻基準性能測試術語和測試方法學。其他對數據中心測試非常有效的測試標準，比如RFC 5180，定義了RFC2544在IPv6上擴展，RFC 4814，定義偽隨機測試流量模式。RFC 4689，定義網絡層QoS測試術語。
Spirent TestCenter為上述基準性能測試提供了標準自動測試套件。在此基礎上，Spirent TestCenter提供了很多對數據中心有效的測試擴展：
(1)基準性能測試標準中定義的是固定幀長的測試。一般說來，設備對大幀的轉發性能優于小幀。但現網中有各種幀長，所以有了Internet混合幀長(IMIX)的概念。在IMIX模型中，用戶可以根據應用自定義不同幀長幀的比例關系(見圖1)。Spirent TestCenter還可以完成隨機幀長和IMIX的基準性能測試。
圖1 RFC 3393 Jitter原理圖
(2)巨型幀(Jumbo Frame)基準性能測試。傳統的以太網幀最大幀長是1518字節。而數據中心業務傳輸大塊數據，Fibre Channel幀最長為2112字節。為了避免FCoE分片帶來的額外開銷，數據中心以太網要求支持2.5kbyte的Jumbo Frame。Spirent TestCenter能夠支持最大16kbyte的巨型幀，支持Jumbo Frame的基準性能測試。
(3)隨著實時業務的增加，一些能有效反映實時業務質量的統計量被越來越重視。比如，抖動，RFC3393和MEF10對抖動提供了標準的定義：It’s defined as absolute value of difference between Latency A and Latency B。
Spirent TestCenter能在基準性能測試的同時，測試出不同負載下的抖動。
●數據中心網絡要求幀的順序傳遞。RFC4737/MEF10對幀的順序性提供了明確定義。Spirent TestCenter是目前惟一支持RFC 4737/MEF10幀的順序定義的測試儀表。
●在任意拓撲之上的基準性能測試。傳統測試中，基準性能測試和協議測試往往是分開的，在進行某項測試時，系統所有資源都在為這項測試服務，而現網中，協議和數據轉發是同時運行的。Spirent TestCenter 把協議平面和數據轉發平面測試結合起來，能先建立協議平面拓撲，然后在此拓撲之上運行基準性能測試。比如，先在測試端口之間建立FCoE Session，然后在之上運行FCoE數據的RFC 2544測試。
Spirent TestCenter能夠每端口產生32k條獨立測試流和實時分析64k條獨立的測試流，能夠在一個端口上仿真經過RR調度，WRR調度和絕對優先級調度的測試流量，能非常好地測試流量的優先級區分功能和QoS能力。
Spirent TestCenter提供了業界最高的10ns測量精度，具備業界最優的時延補償算法，其任何類型的端口，包括10/100/1000Mbit/s和10G接口在任何幀長和負載下的自環時延，都在0.3us以下。數據中心設備轉發時延都在us級別。Spirent TestCenter自有時延可以忽略，而且由于各種接口的自有時延一致，進行不同類型接口之間性能測試，比如千兆和萬兆接口之間測試，不存在時延無法補償問題。由于數據中心設備的轉發時延和抖動要求非常高，所以Spirent TestCenter的測試精度和時延補償算法對數據中心測試非常重要。
3 數據中心以太網和Fibre Channel over Ethernet
傳統的Fibre Channel技術廣泛應用在存儲網絡(SANs)中。而以太網技術在網絡領域占據統治地位。企業的數據中心網絡中，可能會建若干網絡，其中以太網承載IP流量，Fibre Channel承載基于塊讀寫的SCSI流量，可能還會由InfiniBand來承載高速I/O。這造成了大量的線纜、能耗和費用。把這些應用融合到以太網上，建設統一融合的數據中心以太網(Data Center Ethernet，DCE)，能夠大幅減少線纜和能耗，大大降級運維成本。數據中心以太網也稱為融合增強型以太網(Converged Enhanced Ethernet，CEE)。
3.1 數據中心以太網測試
在DCE/CEE中，Fibre Channel幀映射到以太網上來進行承載。Fibre Channel提供流控機制，保證無丟包，并且對時延的增加/變化或者抖動非常敏感。而傳統的以太網絡可以容忍一定的丟包和時延變化/抖動。所以IEEE定義了一系列標準，規范DCE/CEE對于傳統以太網增強，主要包括：
●802.1Qbb Priority Flow Control(PFC)：802.1Qbb是基于優先級的流控標準。在一條物理鏈路上，分成8個優先級通道。一條鏈路上可以承載多種業務類型，包括FCoE和非FCoE的業務。當發生擁塞時候，接收端可以在特定的優先級通道上發送XOFF和XON幀，抑制或者繼續特定的業務，保證高優先級或者時延敏感的業務的傳輸。圖2是802.1qbb的原理圖。
圖2 802.1Qbb原理
●802.1Qaz Enhanced Transmision Selection(ETS)：保證不同服務級別上的質量。在DCE業務中，IPC是時延敏感的業務，SAN是對丟包敏感的業務，而IP業務是可以允許一定的丟包和時延。鏈路上的業務，可以分為若干優先級組(Priority Group，PG)，并且定義每個PG的帶寬屬性。重要的業務，比如存儲網絡數據被賦予高優先級，保證帶寬。低優先級業務只能在高優先級業務帶寬不占用的情況下，才能使用分配帶寬之外的額外帶寬。圖3是ETS和PG的典型例子。
圖3 ETS和PG實例
●Data Center Bridge Exchange(DCBX)：IEEE LinkLayer Discovery Protocol(LLDP)的擴展，可以在鏈路建立的時候交換兩端設備的能力參數，比如是否支持PFC，以及802.1Qaz Priority Group。
●其他相關標準：包括IEEE 802.1Qau端到端擁塞管理標準，為克服生成樹協議單路徑和收斂慢特點的Layer2 Multipathing(L2MP)協議等。
DCE/CEE測試，首先要完成前述的基準性能測試，其次是傳統以太網的測試，如生成樹/多生成樹協議，VLAN，訪問控制列表(ACL)，路由協議等。此外，最重要的就是對上述以太網增強功能和性能進行測試。Spirent TestCenter提供了全面的測試方案。
(1)ETS測試
Spirent TestCenter每端口可以支持產生32k條和實時分析64k調獨立的測試Stream，產生豐富的測試流量，驗證ETS各Priority Group的帶寬分配、流量整形等功能。Spirent TestCenter能為每一優先級和Priority Group提供基本帶寬以及其他高級統計功能，包括實時丟包，實時RFC 4737序列，實時RFC 3393 Jitter，誤碼率等，評估每一種Priority Group的流量特性。圖4是業務設置和結果顯示。
圖4 Spirent TestCenter ETS測試和測試結果
(2)PFC測試
PFC測試是要驗證DCE設備在擁塞情況下對于PFC幀的發生和響應情況。PFC XOFF幀中包含抑制流量的時間，以512bit時間為單位，稱為Pause Quanta，在10G速率下對應51.2ns。Spirent TestCenter可以對每個優先級的抑制時間和XOFF和XON幀的發送間隔和序列進行用戶自定義。
Spirent TestCenter可以統計兩個PFC重要指標：Pause持續時間和Pause響應時間。Pause響應時間是指從儀表發送XOFF幀，到收到這個優先級上最后一個數據幀的時間。
Spirent TestCenter可以在多個優先級上產生不同Pause Quanta的異步XON/XOFF序列，同時發送不同幀長的雙向測試流量，驗證每條流的最大時延和PAUSE功能。一個典型的測試例如圖5所示。
圖5 真實PFC測試場景
在這個和真實網絡非常相似的測試場景中，一共有3級流量，分別是P1，P2和P3：
●Spirent TestCenter同時在P1，P2和P3上發送不同幀長的雙向流量。
●Spirent TestCenter同時在3個優先級上發送Pause Quanta為65535的XOFF消息。
●150us時候，Spirent TestCenter先在P2上發送XON消息，結束P2優先級上的流量抑制。
●200us時候，Spirent TestCenter在P1上發送XON消息。
●300us時候，Spirent TestCenter在P3上發送XON消息。
●600us時候(150+450)，在P2上發送XOFF，重復上述行為。
●700us時候，在P1上發送XOFF，重復上述行為。
●1000us時候，在P3上發送XOFF，重復上述行為。
經過若干輪循環后，不同優先級上流量異步，給被測設備造成很大的壓力。我們評估每條測試流的最大時延和Pause時間。當具有幾十/上百個端口的設備同時做這類測試，將給設備帶來極大的壓力，能測出系統或者設備的性能極限。
3.2 FCoE測試
FCoE用以太網替換了Fibre Channel中的FC-0和FC-1，把Fibre Channel幀作為Layer 3協議直接封裝在以太網之上傳輸。圖6是FCoE的協議層次。FCoE要求以太網支持上述DCE擴展特性。
圖6 FCoE的協議層次圖
2個Fibre Channel節點之間的典型通信過程包括：
●Link初始化。
●F_LOGI：完成交換機發現，N_Port和F_Port之間交換能力參數，節點FCID分配，初始化流控參數。
●P_LOGI：建立端到端的連接，交換PWWN，NWWN和協商操作參數。
●可選的PRLI：進行端到端進程級別的服務參數協商。
FCoE要求和傳統的FC Fabric無縫對接，所以FCoE必須透明支持所有Fibre Channel特性。FCoE分為2個部分：FC初始化協議(FC Initialization Protocol，FIP)和FCoE協議。
FIP協議完成Fabric發現和F_LOGI功能。FCoE協議包含P_LOGI，PRLI以及Fibre Channel幀的傳輸。圖7是FIP和FCoE的協議封裝圖。
圖7 FIP和FCoE協議封裝圖(上圖是FCoE協議封裝，下圖是FIP協議封裝)
基本的FCoE測試包括協議功能測試和性能測試，包括：FIP協議功能(Discovery，Login，Logout 等功能)；FCID和Ethernet MAC映射；FCoE Session之上的性能測試；FCoE和非FCoE混合性能測試。
Spirent TestCenter能夠仿真FC Initiator和Target。圖8是Spirent TestCenter進行FCoE協議和性能測試的拓撲結構。
圖8 FCoE測試拓撲
Spirent TestCenter提供了完整的Fibre Channel測試功能，包括：基于狀態的真實FIP和FCoE協議仿真；FIP協議包括Discovery and FLOGI/FLOGO；支持SPMA，FPMA(Mac Address Assignment)；每端口仿真500個FCoE Host；FCoE拓撲之上的數據平面性能測試，測試流量綁定；FPMA/SPMA分配的地址；靜態WWN分配；豐富的實時統計。
Spirent TestCenter為FCoE測試提供方便快捷的測試向導，幫助用戶快速完成復雜的系統測試配置。測試向導集成了PFC配置和集成的測試流量配置。
4 虛擬化和云計算測試
隨著數據中心物理服務器成倍增加，硬件成本高漲，所以整合是必然趨勢。通過整合，將多種業務集成在同一臺服務器上，減少服務器數量，有效降低服務器硬件成本和管理難度。
多種業務集成在一臺服務器上，如何保證資源的合理分配，如何保證安全是一個難題。虛擬化是解決這些問題的途徑。虛擬化指用多個物理實體創建一個邏輯實體，或者用一個物理實體創建多個邏輯實體。實體可以是計算、存儲、網絡或應用資源。虛擬化的實質就是將不同的業務和業務資源隔離開來，從而保證業務對于資源的要求。
虛擬化對擴展性測試提出了很高的要求。新的虛擬化產品可以在一個物理服務器上支持64個或以上的虛擬化實例。一個數據中心可能會有成百的物理服務器，這將導致非常大的網絡流量。同時部署虛擬服務器，將導致額外的管理流量。比如VMware Vmotion產品，可以在數據中心中遷移虛擬服務器，這增強了實時性和可靠性，同時也產生了大量網絡流量。
隨著實體交換機的精簡和虛擬化，物理交換機也被一并整合到虛擬平臺。
以虛擬化技術為核心的云計算成為電信業，互聯網業和IT業的市場和技術熱點。“云”是一些可以自我維護和管理的虛擬計算資源，通常為一些大型服務器集群。云計算通過虛擬平臺將所有計算資源集中起來，并由軟件實現自動管理，無需人為參與。這使應用提供者無需關注繁瑣的細節，能夠專注于自己的業務。
對虛擬設備的測試，包括性能測試和協議的測試，比如VLAN，ACL，組播協議等。僅通過把測試儀表接到集成虛擬交換機的服務器的物理接口上測試是不夠的，一臺物理服務器上有很多虛擬設備，很難隔離評估每一個虛擬設備的性能。這就需要測試工具虛擬化。虛擬化測試工具以軟件形式駐留在服務器內部，具備對應的物理測試工具的功能。從虛擬網絡設備角度看，一個虛擬化測試工具的端口和一個物理測試端口是一樣的。虛擬化測試工具能夠在任何虛擬端口以及虛擬端口和物理端口之間提供測試L2—L7測試流量。
Spirent TestCenter Virtual是Spirent TestCenter的虛擬化測試模塊，可以駐留在虛擬機上，用于評估虛擬服務器交換機和基于云的虛擬技術的性能。圖9顯示了Spirent TestCenter Virtual的基本測試原理。
圖9 Spirent TestCenter Virtual測試原理圖
Spirent TestCenter Virtual 是業界第一個虛擬化測試解決方案，提供下列功能：
●提供L2—L7 線速測試流量，測試虛擬設備和物理設備的性能。
●仿真VLAN，IGMP，FCoE等協議，產生真實基于狀態的應用層流量。
●提供RFC 2544，RFC 2889，RFC 3918組播等基準性能測試。
●和Spirent TestCenter硬件結合測試業務和路徑可以是物理網絡?VM，VM?VM和物理網絡?物理網絡，為整個系統及系統的每個部分提供詳盡的性能和功能分析。
●集成虛擬網絡架構性能，擴展性和安全性分析。
●通過Spirent TestCenter GreenPut關聯網絡負載和能耗關系，測試在不同的網絡負載下的能耗以及Throughput Per Watt。
通過Spirent TestCenter和Spirent TestCenter Virtual組成的測試系統，我們可以完成：
●在虛擬交換機上完成所有在物理交換機上需要進行的測試。
●快速定位影響網絡性能的物理或虛擬組件。
●完成對虛擬交換機、防火墻、負載均衡器和其他虛擬組件的基準性能測試，包括單播和組播測試。
●實時驗證在實時虛擬服務器遷移和資源調配中應用的可靠性。
●比較評估不同廠家的虛擬化平臺的性能。
●對整個數據中心系統或者云計算系統進行全面評估。
