顯示具有 VMware 標籤的文章。 顯示所有文章
顯示具有 VMware 標籤的文章。 顯示所有文章

前言

在 VMware VMworld 2016 大會上,由 VMware 執行長 Pat Gelsinger 正式發表 SDDC 軟體定義資料中心願景中最要的運作元件 VMware vSphere 6.5 及 VMware vSAN 6.5 正式推出,並且在日前 2016 年 11 月 15 日時 VMware 官方正式宣佈 vSphere 6.5 新版發佈,同時提供相關新版產品映像檔的下載。



站長將不定期撰寫相關新功能簡介文章: (更新文章符號 💩)

【簡介】




【vCenter Server】




【Security】




【Storage】




【VMware Taiwan vSphere 6.5 新功能介紹】


網管人雜誌

本文刊載於 網管人雜誌第 132 期 - 2017 年 1 月 1 日出刊,NetAdmin 網管人雜誌 為一本介紹 Trend Learning 趨勢觀念、Solution Learning 解決方案、Technology Learning 技術應用的雜誌,下列筆記為本站投稿網管人雜誌獲得刊登的文章,網管人雜誌於每月份 1 日出刊您可於各大書店中看到它或透過下列圖示連結至博客來網路書店訂閱它。





文章目錄

前言
vCenter Server 功能再進化
安全性
          vMotion 流量加密
高可用性機制
          DRS 自動負載平衡機制再增強
儲存功能增強
          支援 4K Native Drives in 512e 運作模式
          預設採用 SE Sparse 虛擬磁碟格式
          LUN 可擴充性
          CBRC 讀取快取空間支援至 32 GB
網路功能增強
          增強 Nested ESXi 運作效能
          VMkernel Port 可配置不同預設閘道
實戰 VM 虛擬主機加密機制
          組態設定金鑰管理伺服器
          建立加密原則
          VM 虛擬主機套用加密原則
結語





前言

在 VMware VMworld 2016 大會上,由 VMware 執行長 Pat Gelsinger 正式發表 SDDC 軟體定義資料中心願景中最要的運作元件 VMware vSphere 6.5 及 VMware vSAN 6.5 正式推出,並且在日前 2016 年 11 月 15 日時 VMware 官方正式宣佈 vSphere 6.5 新版發佈,同時提供相關新版產品映像檔的下載。

圖 1、新版 VMware vSphere 6.5 打造 SDDC 軟體定義資料中心願景

當然,每次只要新版本的發佈相關硬體資源支援度便會再次提升。在下列表格當中,我們條列出目前許多企業及組織仍使用的主流版本 vSphere 5.5 及 vSphere 6.0,以及最新版本 vSphere 6.5 在支援度上有哪些再提升的部分(詳細資訊請參考 VMware KB 1003497)。

請注意,倘若企業或組織仍使用舊版 vSphere ESXi 5.0 / 5.1 以及 vCenter Server 5.0 / 5.1 版本的話,那麼已經於「2016 年 8 月 24 日」進入「終止支援(End Of Support,EOS)」,因此企業或組織應儘快進行版本升級的動作。





vCenter Server 功能再進化

拜雲端運算風潮所賜,在企業或組織當中早已經建立 vCenter Server 管理平台。或許,IT 管理人員可能希望嘗試使用 vCSA,但是目前所管理的 vSphere 虛擬化運作環境中,已經採用安裝於 Windows Server 作業系統的 vCenter Server。事實上,VMware 官方早已經推出 vCenter Server 平台遷移工具,最新的遷移版本為 vCenter Server Migration Tool: vSphere 6.0 Update 2m,同時在新版遷移工具中支援遷移的目標對象為「Windows vCenter Server 5.5、6.0」。

因此,即便企業及組織已經建立最新的 Windows vCenter Server 6.0,仍可以透過 vCenter Server遷移工具將 vCenter Server 管理平台遷移至最新的 vCSA 6.5 版本中。此外,新版的 vCenter Server 遷移工具支援更細緻的遷移選項:

  • Configuration。
  • Configuration、Events、Tasks。
  • Configuration、Events、Tasks、Performance Metrics。


同時,在最新版本的 vCSA 6.5 當中,VMware 官方為 vCSA 打造原生 HA(High Availability)機制,這個 HA 機制是由「Active、Passive、Witness」成員節點所組成。當 vCenter HA Cluster 某個成員節點發生災難事件時(例如,擔任 Active 角色的成員節點主機發生硬體故障),便會觸發 vCenter HA 機制。目前,vCSA HA 機制的 RTO 預計為「5 分鐘」,當然實際上必須視底層硬體資源的工作負載情況而定。

圖 2、vCenter HA 及 PSC HA 協同負載平衡運作架構示意圖





安全性

雖然,加密 VM 虛擬主機的機敏資料是多年來一直在進行的事情,但每項解決方案都有不足或造成困擾的部分。在最新 vSphere 6.5 虛擬化平台中希望能夠解決這個問題,加密的對象將針對「VM Home Files(VMX,Snapshot…等)」以及「VMDK 虛擬磁碟」。同時,加密的動作是當「資料 I/O」從 VM 虛擬主機的 vHBA 虛擬磁碟控制器出來時,再傳送到「Kernel Storage Layer」之前就會進行加密的動作。



vMotion 流量加密

針對 vMotion 傳輸流量進行加密的要求其實已經很長一段時間,現在開始於新一代 vSphere 6.5 虛擬化平台中正式提供此功能。此外,在這個版本中的「vMotion Encryption」並非加密網路所以無須管理憑證或其它網路組態設定。

加密是針對「每台 VM 虛擬主機」層級,當 VM 虛擬主機啟用 vMotion Encryption 機制後,倘若針對該 VM 虛擬主機進行 vMotion 線上遷移作業時,vCenter Server 將會「隨機產生」(Randomly Generated)1 個「One time 256-bit Key」(請注意,此加密金鑰並不會採用 vCenter Server Key Manager 產生)。

除了隨機 256-bit 加密金鑰之外還會搭配「64-bit 隨機數」,所以當進行 VM 虛擬主機 vMotion 線上遷移作業時,將會打包「256-bit Key 加上 64-bit 隨機數」在「2 台 ESXi 主機」之間,以確保兩端之間通訊所傳輸的資料無法被惡意人士所複製。

在組態設定部分提供下列 3 種 vMotion Encryption 設定值:

  • Disabled: 停用 vMotion Encryption 機制。
  • Opportunistic: 預設值,當來源端及目的端 ESXi 主機都支援 vMotion Encryption 機制時,在執行 vSphere vMotion 時將會加密傳輸流量,倘若有任何一方不支援便不會加密 vSphere vMotion 傳輸流量。
  • Required: 來源端及目的端 ESXi 主機都必須支援 vMotion Encryption 機制,倘若有任何一方不支援便無法順利執行 vSphere vMotion 線上遷移機制。

圖 3、為 VM 虛擬主機組態設定加密 vSphere vMotion 遷移流量





高可用性機制

在新版 vSphere 6.5 環境當中增加「vSphere HA Orchestrated Restart」機制,當 ESXi 主機發生故障損壞事件觸發 vSphere HA 高可用性機制時,能夠依照管理人員指定的啟動順序,依序將 VM 虛擬主機啟動以便應用程式能夠正常重新啟動。

圖 4、觸發 vSphere HA 高可用性機制時,依序啟動 VM 以便應用程式能夠正常重新啟動



DRS 自動負載平衡機制再增強

在過去的 vSphere 運作環境中,在 DRS 自動化負載平衡演算法機制是採用「標準差模型」(Standard Deviation Model)的方式運作。現在,新版 vSphere 6.5 運作環境中除了原本標準差模型運作之外,更加入「成對計算」(Pairwise Calculation)機制,以便更容易在 VMware Cluster 內計算 ESXi 主機及 VM 虛擬主機的工作負載,達到更佳的負載平衡機制。

同時,在 vSphere DRS 的組態設定內容中也增加 3 個最常使用的進階功能,以便管理人員能夠更進一步的管控 vSphere DRS 負載平衡機制:

  • 均勻分佈虛擬機器: 啟用後,將盡力在 VMware Cluster 的 ESXi 成員主機之間,讓 VM 虛擬主機的工作負載能夠達到最大限度的負載平衡。
  • 已取用記憶體與作用中記憶體的對照: 啟用後,將以 Active Memory 25% 的記憶體空間當成主要指標,以便盡量避免 VMware Cluster 運作環境中發生 Memory 過度使用的情況。
  • CPU 過度分配: 在 VMware Cluster 層級中套用 vCPU: pCPU 的最大使用比率,一旦到達組態設定的比例後便無法啟動 VM 虛擬主機,有效避免許多 VM 虛擬主機同時啟動(例如,VDI 虛擬桌面環境),造成 CPU 資源嚴重超用的情況。

圖 5、vSphere DRS 組態設定內容中新增 3 個最常使用的進階功能





儲存功能增強

在目前主流的 vSphere 5.5 及 6.0 版本當中,所採用的 VMFS 檔案系統版本為「VMFS 5」。在最新 VMware vSphere 6.5 版本當中,可以使用 VMFS 6 新版檔案系統,下列便是 VMFS 6 檔案系統的新增功能項目:

  • 支援 4K Native Drives in 512e 運作模式。
  • 預設採用 SE Sparse 格式的虛擬磁碟,以便自動化執行空間回收機制。
  • LUN 可擴充性最大支援至 512 個 LUN 及 2,000 路徑。
  • CBRC 讀取快取空間由舊版的最大 2 GB 提升為 32 GB。

圖 6、新版 vSphere 6.5 運作環境中,支援最新 VMFS 6 檔案系統



支援 4K Native Drives in 512e 運作模式

簡單來說,新一代的新式硬碟(2011 年 1 月起出廠的硬碟)採用的進階格式為「4K Byte Sector」而非舊有的「512 Byte Sector」。因此,從 vSphere 6.5 版本開始支援由 512e 模擬 4K 的方式運作,以便配合實體硬碟特性增強整體運作效能。值得注意的是 Virtual SAN 6.5 目前仍僅支援 512e 運作模式,相信後續版本便有可能全面支援 4K Byte Sector,有關 4K / 512 Byte Sector 的相關資訊請參考 VMware KB 2091600

圖 7、4K / 512 Byte Sector 資料讀取及寫入示意圖



預設採用 SE Sparse 虛擬磁碟格式

在過去舊版 vSphere 運作環境中,只有透過 VMware Horizon「連結複製」(Linked Clone)技術,所部署的 VM 虛擬主機虛擬磁碟能夠採用「SE Sparse(Space-Efficient Sparse Virtual Disks)」虛擬磁碟格式,以便達成 VM 虛擬主機中因為使用者建立資料又刪除資料時產生的空白資料區塊能夠自動回收的目的。倘若,在伺服器虛擬化環境中則必須管理人員,手動執行相關指令才能執行空白資料區塊佔用空間回收的動作。

現在,新版 vSphere 6.5 運作環境中當採用 VMFS 6 檔案系統後,預設情況下便採用 SE Sparse 虛擬磁碟格式,讓採用「精簡佈建」(Thin Provision)的 VM 虛擬主機,能夠在使用者刪除 VM 虛擬主機內相關資料後,自動執行空白資料區塊佔用空間回收的動作。

圖 8、SE Sparse 儲存空間自動回收運作示意圖



LUN 可擴充性

在目前 vSphere 6.0 版本運作環境中,儲存資源 LUN 的最大支援數量為「256」路徑為「1,024」,雖然這樣的儲存資源支援度已經可以因應非常大的運作規模。但是,在新版 vSphere 6.5 運作環境中,將儲存資源 LUN 的最大支援數量再次推升至「512」路徑為「2,000」。



CBRC 讀取快取空間支援至 32 GB

早從 VMware vSphere ESXi 5.0 版本開始,便原生支援 ESXi Host Caching 機制「CBRC(Content-Based Read Cache)」,此快取機制是從實體伺服器中切出一塊實體記憶體空間(最大支援至 2 GB),以便降低 ESXi 儲存資源的 Read I/O Requests 工作負載。

現在,最新版本 vSphere 6.5 運作環境中,CBRC 讀取快取空間最大支援至「32 GB」,透過實體記憶體快速存取的特性,有效讓 ESXi 儲存資源的 Read I/O Requests 工作負載降至更低。(有關 CBRC 讀取快取的詳細運作機制,請參考網管人雜誌第 94 期「設定 VMware 內建快取機制,加速虛擬桌面環境效能」文章內容。)

圖 9、新版 vSphere 6.5 運作環境中 CBRC 讀取快取空間最大支援至 32 GB





網路功能增強

在新版 vSphere 6.5 當中網路功能增強的部分,例如,VMkernel 能夠支援 2M Page、VMKAPI 鎖定功能增強以便提升 vDS 分散式交換器可擴展性、健康狀態檢查機制升級……等。同時,除了運作效能提升外對於管理功能也同步增強,舉例來說,在過去舊版 vSphere 運作環境中當需要為 VM 虛擬主機配置 SR-IOV 網路卡時,必須管理人員介入手動為指定的 VM 虛擬主機配置 SR-IOV 網路卡,現在則可以在 VM 虛擬主機中如同增加其它虛擬裝置一樣新增 SR-IOV 網路卡。

圖 10、為 VM 虛擬主機組態配置 SR-IOV 網路卡



增強 Nested ESXi 運作效能

在過去 vSphere 舊版運作環境中,虛擬網路交換器 vSwitch 的設計是每個 vNIC 連接埠僅支援「單一 Unicast MAC 位址」,所以在 Nested ESXi 運作環境中必須「啟用」Promiscuous Mode,那麼 Nested ESXi 的網路功能才能順利運作。但是,此舉也同時造成 vSwitch 將所有流量都傳送到 Nested ESXi 主機中,這會導致不必要的網路封包也都傳送至 Nested ESXi 主機,造成「CPU 高使用率」及「網路效能低落」的情況。

現在,在新版 vSphere 6.5 運作環境中 vSwitch 具備 MAC 學習功能,所以僅會轉送相關的網路封包給 Nested ESXi 主機,因此可以明顯提升 Nested ESXi 主機運作效能。

圖 11、在建立客體作業系統時選擇版本 VMware ESXi 6.5 以便建立 Nested ESXi



VMkernel Port 可配置不同預設閘道

在過去舊版 vSphere 運作環境中,vSphere vMotion、vSphere DRS、iSCSI……等進階服務只能共同使用「單一預設閘道」。雖然,可以透過額外新增「靜態路由」的方式,解決不同服務採用不同預設閘道的問題,但是過多的靜態路由會造成管理上的麻煩。

現在,新版 vSphere 6.5 運作環境中,可以針對不同的 VMkernel Port 指定採用「不同預設閘道」。因此,管理人員無須再為不同服務必須採用不同預設閘道及額外新增靜態路由而苦惱,同時也因為無須再額外新增靜態路由同步讓 ESXi 主機的運作效能提升。





實戰 VM 虛擬主機加密機制

那麼就讓我們來實戰 VM 虛擬主機加密機制的組態設定部分吧。簡單來說,當加密機制運作環境準備妥當之後,只需要進行下列 4 項操作步驟即可為 VM 虛擬主機建立加密機制,以便保護 VM 虛擬主機當中的機敏資料:

  • 將金鑰管理伺服器加入至 vCenter Server 管理平台當中。
  • 建立加密原則。
  • 為現有 VM 虛擬主機套用加密原則,或為新建立的 VM 虛擬主機啟用加密原則。
  • 為套用加密機制的 VM 虛擬主機進行解密。




組態設定金鑰管理伺服器

首先,請透過 vSphere Web Client 管理工具登入 vCenter Server 管理平台後,依序點選「首頁 >  vCenter 詳細目錄清單 > 資源 > vCenter Server」,接著在右方管理介面中依序點選「管理 > 金鑰管理伺服器 > 新增伺服器」項目。

圖 12、準備新增金鑰管理伺服器並加入 vCenter Server 管理平台

在彈出的新增 KMIP 伺服器視窗中,請依序在相關欄位填入運作環境資訊:

  • 金鑰伺服器叢集: 因為運作環境中尚未有任何金鑰管理伺服器,所以選擇預設值建立新叢集即可。
  • 叢集名稱: 請鍵入金鑰管理伺服器叢集名稱,此實作環境為 Key MGMT Server Cluster。
  • 伺服器別名: 請鍵入金鑰管理伺服器容易記憶的名稱,此實作環境為 KeyServer。
  • 伺服器位址: 請鍵入金鑰管理伺服器 FQDN 或 IP 位址,此實作環境為 kms.vsphere.weithenn.org。
  • 伺服器連接埠: 請鍵入金鑰管理伺服器服務連接埠號碼,此實作環境為預設的 5696。

圖 13、鍵入金鑰管理伺服器運作環境資訊

當 vCenter Server 順利與金鑰管理伺服器連線後,將會自動彈出信任憑證視窗請按下「Trust」鈕即可。順利新增金鑰管理伺服器後,請將這台金鑰管理伺服器設定為叢集中的預設值,請點選 Key MGMT Server Cluster 項目後按下「將叢集設定為預設值」,並於彈出的視窗中按下「是」鈕即可。

圖 14、將這台金鑰管理伺服器設定為叢集中的預設值

組態設定完畢後,便可以看到 Key MGMT Server Cluster 項目結尾多出「(預設值)」字樣。同時,請確認金鑰管理伺服器的「連線狀態」以及「憑證狀態」是否正常運作中。

圖 15、確認金鑰管理伺服器的「連線狀態」以及「憑證狀態」是否正常運作中



建立加密原則

請依序點選「首頁>原則和設定檔>虛擬機器儲存區原則>建立虛擬機器儲存區原則」。此時,將會彈出建立新的虛擬機器儲存區原則視窗,首先在名稱與說明頁面中請於名稱欄位鍵入此儲存加密原則的名稱(此實作環境中,我們鍵入的名稱為 VM Encryption Policy),在原則結構頁面中採用預設值即可。在一般規格頁面中,請勾選「使用虛擬機器存放區原則中的一般規則」項目後按下「新增元件」鈕後選擇「加密」項目。

圖 16、在虛擬機器儲存區原則中準備新增加密原則

此時,頁面中將出現「加密 > 自訂 > 提供者」項目,然後請在新增規格下拉式選單中選擇至「vmcrypt」項目,並於出現的 Allow I/O filters before encryption 欄位下拉式選單中保持預設值「False」即可。

圖 17、在虛擬機器儲存區原則中新增加密原則

在規則集頁面中,請確認「使用儲存區原則中的規則集」項目並未勾選即可。然後在儲存區相容性頁面中,選擇採用相容的 Datastore 儲存區即可。最後,在即將完成頁面中再次檢視組態設定內容無誤後,按下完成鈕即可。當系統建立好加密原則之後,在虛擬機器儲存區原則中便會看到剛才所新增的「VM Encryption Policy」加密原則。

圖 18、順利新增用於 VM 虛擬主機的加密原則



VM 虛擬主機套用加密原則

順利將用於保護 VM 虛擬主機內機敏資料的加密建立後,請依序點選「首頁 > vCenter 詳細目錄清單 > 虛擬機器 > 新增虛擬機器」。此時,將會彈出新增虛擬機器視窗,在選取建立類型頁面中此實作環境選擇「建立新的虛擬機器」項目。

圖 19、建立新的 VM 虛擬主機並準備套用加密原則

在選取名稱和資料夾頁面中,請鍵入 VM 虛擬主機名稱(此實作環境為 Secret-VM),然後選擇此台 VM 虛擬主機所要存放的目標 DataCenter 或資料夾即可。在選取運算資源頁面中,請選擇此台 VM 虛擬主機所要存放的目標 Cluster 或 ESXi 主機即可。在選取儲存區頁面中,請於虛擬機器儲存區原則下拉式選單中,選擇至剛才所建立的「VM Encryption Policy」加密原則項目,並確認所採用的 Datastore 儲存原則通過相容性檢查作業。

圖 20、為新建立的 VM 虛擬主機選擇套用加密原則

在選取相容性頁面中,請於相容下拉式選單中選擇「ESXi 6.5 及更新版本」項目,確保此台 VM 虛擬主機採用最新虛擬硬體版本 13,以便屆時能夠順利使用加密機制保護 VM 虛擬主機中的機敏資料。

圖 21、為建立的 VM 虛擬主機選擇採用最新虛擬硬體版本 13

在選取客體作業系統頁面中,請選擇 VM 虛擬主機所採用的客體作業系統以及版本即可。在自訂硬體頁面中,首先於虛擬硬體頁面中你會看到 Encryption 欄位顯示為「VM files are encrypted」,表示預設安裝客體作業系統的虛擬磁碟已經受到加密保護。倘若,管理人員為此台 VM 虛擬主機新增其它虛擬硬碟時,那麼也可以展開新增硬碟項目後在虛擬機器儲存區原則下拉式選單中,為新增的虛擬磁碟套用加密機制。

圖 22、為 VM 虛擬主機額外新增的虛擬磁碟套用加密機制

然後,請點選虛擬機器選項頁籤後,展開下方 Encryption 項目將 Encryption vMotion 下拉式選單中選擇至「Required」項目,確保此台 VM 虛擬主機在執行 vSphere vMotion 線上遷移期間,所有傳輸的記憶體狀態及相關網路流量是有進行加密的,避免遭受惡意人士監聽相關流量後引發資安事件或造成安全性風險。

圖 23、為 VM 虛擬主機組態設定加密 vSphere vMotion 遷移流量

在即將完成頁面中,再次檢視組態設定內容無誤後按下完成鈕即可。至此,VM 虛擬主機便順利套用加密原則,即便整台 VM 虛擬主機或虛擬磁碟(VMDK)直接被惡意人士複製後帶走,那麼也無法查看 VM 虛擬主機當中所儲存的機敏資料。





結語

透過本文的說明及實作相信讀者已經了解,在新版的 vSphere 6.5 當中舊有的功能增強部分,以及新增的特色功能機制,能夠幫助企業及組織建立更靈敏、高可用性、高安全性的雲端運算環境。


前言

日前 (2016.12.8),在 Taiwan 舉辦的 VMware Taiwan vForum 2016 議程簡報已經開放下載了,有興趣的朋友可以參考看看。

簡報下載

主題演講




分會場 1、軟體定義資料中心




分會場 2、軟體定義儲存




分會場 3、軟體定義網路及安全




分會場 4、多雲維運與自動化




分會場 5、行動終端應用




分會場 6、Cloud Native


網管人雜誌

本文刊載於 網管人雜誌第 130 期 - 2016 年 11 月 1 日出刊,NetAdmin 網管人雜誌 為一本介紹 Trend Learning 趨勢觀念、Solution Learning 解決方案、Technology Learning 技術應用的雜誌,下列筆記為本站投稿網管人雜誌獲得刊登的文章,網管人雜誌於每月份 1 日出刊您可於各大書店中看到它或透過下列圖示連結至博客來網路書店訂閱它。




文章目錄

前言
實體網路基礎架構
          Leaf-Spine 網路架構
          建立多路徑路由環境
          IP MultiCast
          網路安全性
          實體網路卡配置
虛擬網路架構
          vSwitch 虛擬網路交換器
          VMkernel Port
          停用流量管控機制
          NIC Teaming
          Jumbo Frames
          Switch Discovery Protocol
結語





前言

在 VMware 所擘劃的 SDDC 軟體定義資料中心願景中,在 SDC 軟體定義運算的部分由 vSphere ESXi 虛擬化平台擔綱,而在 SDN 軟體定義網路的部分為 NSX 虛擬化平台解決方案,在 SDS 軟體定義儲存的部分,便是由 VMware Virtual SAN(簡稱 VSAN)負責。

圖 1、VMware SDDC 軟體定義資料中心願景

簡單來說,透過 VMware VSAN 技術便能夠將多台 x86 實體伺服器中,配置於實體伺服器的「本機硬碟(Local Hard Disk)」串連起來,進而將叢集當中所有叢集節點主機的儲存資源整合起來,成為一個巨大的儲存資源池並且能夠互相共用。

同時,為了提供足以運作大型運作規模的軟體定義儲存資源,因此 VSAN 支援採用「Hybrid」儲存資源運作架構,將快取資料存放於快閃式儲存(例如,SSH / NVMe)中,至於儲存資料則放於一般機械式硬碟內。倘若,需要更高的儲存效能則可以建置「All-Flash」運作架構,也就是連同資料儲存空間的部分也交由一般的 SSD 固態硬碟負責。

圖 2、VSAN 運作架構示意圖

目前,VMware VSAN 最新釋出為 6.2 版本(第 4 代 VSAN),除了原有加強監控 IOPS 效能及健康狀況外,同時也推出重複資料刪除與壓縮 、EC 編碼技術和 QoS 品質管控機制。在本文中,我們將從實體網路環境至 vSphere 虛擬化環境,深入剖析最佳規劃設計準則及相關組態設定建議,以便幫助企業及組織的管理人員打造高可用效高效能的 VSAN 運作環境。

圖 3、VSAN 版本演進及功能進化示意圖



實體網路基礎架構

在資料中心網路基礎架構中,傳統網路環境採用「Access-Aggregation-Core」的 3 層式架構,以便處理資料中心內「南 - 北(North - South)」的網路流量,同時為了避免網路環境發生「迴圈(Looping)」的情況,通常會啟用 STP(Spanning Tree Protocol)機制防止網路環境發生迴圈的情況,但也等同於將網路的整體頻寬限制在 50 %

然而,隨著虛擬化及雲端運算不斷的發展,現代化資料中心的網路架構已經改為採用架構簡單 、 可擴充性 、 高網路頻寬 、 容錯機制和 QoS 網路流量管控的「Leaf-Spine」2 層式架構。不管採用哪一種網路環境及基礎架構,在 VMware VSAN 運作環境中皆支援舊式的 3 層式網路架構或新式的 2 層式網路架構。

圖 4、 傳統 3 層式架構(Access-Aggregation-Core)與新式 2 層式架構(Leaf-Spine)示意圖



Leaf-Spine 網路架構

VMware VSAN 為 SDS 軟體定義儲存解決方案,所以在 VSAN 叢集中每台 ESXi 成員主機便是 1 台儲存資源節點主機,因此每台儲存資源節點主機之間將會有高速資料傳輸的需求(東 - 西向網路流量),應該要保持網路傳輸極低的延遲時間,否則將會造成 VSAN 儲存效能上的問題。

此外,在網路頻寬的規劃上也非常重要,舉例來說,VSAN 儲存網路環境建議採用 10 Gbps 網路頻寬環境,雖然 1 Gbps 網路環境也能運作但是將會造成 VSAN 儲存效能上的問題,因為在 1 Gbps 網路環境中假設重建儲存空間為 12 TB 時,那麼儲存資源節點主機之間的資料同步作業將需要 24 小時以上。

即便規劃 10 Gbps 網路頻寬環境搭配 Leaf-Spine 網路架構,後續在規劃 VSAN 叢集時也必須考量實務上儲存資源節點主機的放置及環境。舉例來說,如圖 5 所示可以看到為 10 Gbps 網路頻寬的 Leaf-Spine 網路架構,機櫃 1 中為編號 1 ~ 16 儲存資源節點主機而機櫃 2 為編號 17 ~ 32 儲存資源節點主機,倘若只是單純將這 32 台儲存資源節點主機建立 1 個 VSAN 容錯網域的話,那麼屆時在儲存資源節點主機之間的溝通網路頻寬,將會因為比例(4:1)的關係有可能只達到 2.5 Gbps 的水準。

因此,建議在這樣的運作環境中建立 3 個 VSAN 容錯網域(Fault Domains),假設每台儲存資源節點主機原始儲存空間為 10 TB,當設定 FTT = 1 時將會有 6 TB 空間用於保護 VM 虛擬主機,在這種情況下將會有 4/3(也就是 30 Gbps 可以進行重建資料的動作),並且在沒有發生磁碟資源爭奪的情況下只需要 26 分鐘即可完成,即便重建資料儲存空間達 12 TB 並且頻寬少到 10 Gbps,那麼重建時間也僅需要 156 分鐘即可完成。

圖 5、VMware VSAN 採用 Leaf-Spine 網路架構示意圖



建立多路徑路由環境

目前,許多企業或組織已經在資料中心網路環境內,建立 STP 機制以防止網路環境發生迴圈的情況,同時在 Layer 2 網路環境內也應建立 ECMP(Equal-Cost Multi-Path routing)、SPB(Shortest Path Bridging)或 TRILL(Transparent Interconnection of Lots of Links)……多路徑路由或最短路徑等機制。同樣的,在 VMware VSAN 運作環境中皆支援這些網路拓撲基礎架構,重要的是必須良好規劃設計 VSAN 叢集中 ESXi 成員主機的「東 - 西」向網路。

根據 VMware 官方最佳作法,在 VSAN 叢集同一個容錯網域內的 ESXi 成員主機之間,除了確保東西向網路具備低延遲網路時間之外,在實體交換器的部分應該採用「交換機堆疊」(Switch Stack)的運作架構,以滿足高可用性及網路頻寬輸送量的需求。

圖 6、ECMP 多路徑路由運作示意圖



IP MultiCast

簡單來說「IP 多點傳送」(IP Multicast)機制,是可以「1 對多」或「多對多」的 IP 網路通訊技術。一般來說,會建議將 VSAN 運作環境建立於 Layer 2 網路環境中,以便降低複雜度及管理成本。倘若,將 VSAN 運作環境建立於 Layer 3 網路環境時,那麼實體網路一定要建立 IP Multicast 機制。

在 IP 多點傳送運作環境中,使用的 IP 多點傳送位址稱為「多點傳送群組」(Multicast Group,MG)。同時,在預設情況下當 VSAN 叢集建立時,預設便會自動分配 IP 多點傳送位址給節點主機,預設的 VSAN 多點傳送群組位址為「224.1.2.3」,而 VSAN 多點傳送群組代理程式位址為「224.2.3.4」。
請注意! 倘若希望調整預設的 VSAN 多點傳送群組位址,或是 VSAN 多點傳送群組代理程式位址的話,請參考 VMware KB 2075451 文件內容即可進行調整。

在 VSAN 叢集運作環境中,叢集節點主機透過 VMkernel Port 以 IP 多點傳送機制,透過 IGMP(Internet Group Management Protocol)互相傳送 Metadata 以及加入或離開 VSAN 叢集等資訊,同時在叢集節點主機之間也是透過 IP 多點傳送機制,互相偵測對方是否存活。

在預設情況下,VSAN 叢集將會採用 IGMP v3 版本進行「交涉」(Negotiate)的動作,倘若網路環境不支援 IGMP v3 的話,那麼就會採用 IGMP v2 進行交涉的動作。VMware 最佳作法,建議在 Layer 3 網路環境中採用一致的 IGMP 版本即可。

在 VSAN 叢集運作環境中,倘若叢集節點主機之間需要跨越多個子網路時,便需要採用 PIM(Protocol Independent Multicast)機制,並且支援 4 種模式以便因應不同的應用情境,PIM-DM(PIM Dense Mode)適用於 1 對多環境,PIM-SM(PIM Sparse Mode)同樣適用於 1 對多環境,當 Layer 3 網路環境僅支援 IGMP v2 時便建議採用此模式,Bi-PIM(Bidirectional PIM)適用於多對多環境,PIM-SSM(PIM Source-Specific Multicast)適用於多對多環境,且完全支援 IGMP v3 環境中使用。

圖 7、Layer 3 網路環境 PIM-SSM 運作機制示意圖

Layer 2 網路規劃建議
當你決定將 VSAN 架構運作於 Layer 2 網路環境時,下列為 Layer 2 網路規劃建議假設採用 VLAN ID 1,並且 IGMP Querier 運作於網路交換器上而非路由器。值得注意的是,務必確認實體網路交換器支援 IGMP v2 或 IGMP v3(例如,Cisco Nexus 交換器支援 IGMP v3,而 Brocade VDX 交換器僅支援 IGMP v2)。

圖 8、 運作於 Layer 2 網路環境的 VSAN 架構示意圖

Layer 3 網路規劃建議
當你決定將 VSAN 架構運作於 Layer 3 網路環境時,表示屆時 VSAN 叢集節點主機之間將有 Layer 3 設備(例如,L3 網路交換器或路由器)。同時,因為必須針對每個 Layer 3 分區送出請求,所以 IGMP Querier 必須是預設閘道,並且必須具備多點傳送群組的成員資格以便執行加入及更新 PIM 的動作。

圖 9、 運作於 Layer 3 網路環境的 VSAN 架構示意圖



網路安全性

與其它 IP 儲存網路流量一樣,在 VSAN 儲存網路中儲存資源節點主機之間的流量並「沒有加密」。因此,在規劃設計 VSAN 儲存網路時,應該規劃獨立且安全的 VLAN 網段進行 VSAN 儲存流量隔離。倘若,管理人員需要更高的安全性,那麼可以在更高運作層級中進行資料加密的動作即可,舉例來說,可以在 VM 虛擬主機的客體作業系統中執行資料加密工作任務。

實體網路卡配置

下列為 VSAN 叢集運作環境中,為每台 ESXi 主機規劃設計實體網路卡時的配置建議:

  • 至少配置 1 個專屬於 VSAN 儲存流量的實體網路卡。建議配置 2 個或以上實體網路卡,以便達到 VSAN 儲存流量負載平衡及容錯移轉機制。
  • 建議將 VSAN 儲存流量(VMkernel Port),在 Layer 2 層級以 VLAN 隔離以維持基本網路安全性。倘若,需要與其它網路流量共用(例如,VM 虛擬主機 、vSphere vMotion……等),那麼務必要搭配 NIOC(Network I/O Control)網路流量頻寬管控機制。
  • 在 Hybrid VSAN 運作架構中,若採用 1 Gbps 網路頻寬則必須規劃多個且專屬的實體網路卡,建議改為採用 10 Gbps 網路頻寬環境。
  • 在 All Flash VSAN 運作架構中,倘若採用 SATA SSD 固態硬碟時仍可採用 10 Gbps 網路頻寬環境,倘若採用 SAS、NVMe、PCIe 或 Ultra DIMM 等快閃儲存資源時,建議採用 25 Gbps 或 40 Gbps 網路頻寬環境(甚至 100 Gbps 也支援)。






虛擬網路架構

了解 VSAN 運作架構中實體網路環境的部分後,接下來我們將 VSAN 叢集的規劃設計重點轉移到 vSphere 虛擬化環境中,我們將依序討論 vSwitch 虛擬網路交換器和 VMkernel Port,然後再深入至 NIC Teaming 負載平衡機制及交換器探索機制的部分。


vSwitch 虛擬網路交換器

在 VSAN 運作環境中,支援「標準型交換器」(vNetwork Standard Switch,vSS)或「分散式交換器」(vNetwork Distributed Switch,vDS)。VMware 最佳作法,建議管理人員採用 vDS 分散式交換器,主要原因是 vSS 並不支援相關進階管理功能,並會增加企業及組織在管理 VSAN 運作環境中的營運成本,舉例來說,vSS 不支援 LBT(Load Based Teaming)負載平衡機制 、LLDP(Link Layer Discovery Protocol)交換器環境探索機制 、NIOC(Network IO Control)網路流量管控機制……等。
請注意! 有關 vSS 標準型交換器及 vDS 分散式交換器,這兩種虛擬化網路交換器的功能差異詳細說明,請參考 VMware KB 1010555 文件內容。
圖 10、vDS 分散式交換器啟用 NIOC 網路流量管控示意圖

值得注意的是,當 vDS 分散式交換器啟用 NIOC 網路流量管控機制後,共有 3 種管控流量的方式分別是「共用率值」(Share)、「保留」(Reservation)、「限制」(Limit)。VMware 最佳作法,考量網路頻寬整體使用率及管理方便度和靈活性,建議採用共用率值的方式進行網路頻寬的管控動作。只要在 vSphere Web Client 管理介面中,依序點選「首頁 > 網路功能 > vDS Switch > 管理 > 資源配置」項目,即可針對網路流量進行頻寬管理的組態設定。

此外,如果 VM 虛擬主機有啟用 vSphere FT 高可用性機制的話,那麼也請將 vSphere FT 網路流量的共用率值提升,因為 vSphere FT 為「延遲時間敏感」(Latency-Sensitive)類型的網路流量,倘若發生網路頻寬不足的情況將會造成受保護的 VM 虛擬主機,發生非預設的運作錯誤。

圖 11、vDS 分散式交換器啟用 NIOC 網路流量管控機制



VMkernel Port

完成 vSwitch 虛擬網路交換器的規劃後,接著便是新增 VMkernel Port 來處理 VSAN 儲存流量。基本上,ESXi 虛擬化平台上所有類型的流量,都會透過 VMkernel Port 服務類型的組態設定後進行傳送,並且在 VMkernel Port 當中除了 ESXi 主機的管理網路流量之外,還有其它類型的網路流量。舉例來說,VMkernel Port 還負責 vSphere vMotion、iSCSI、NAS/NFS、VSAN、vSphere Replication 及 vSphere FT……等網路流量。

在舊版 vSphere 5.5 時,VMkernel Port 網路流量類型只有 4 種。在新版 vSphere 6.0 運作環境中,VMkernel Port 網路流量則細分為 7 種,其實是將原本歸納於管理流量的相關網路流量,再細分後拆出來成為獨立的網路流量,分別是佈建流量、vSphere Replication 流量、vSphere Replication NFC 流量。

其中,「佈建流量」負責處理 VM 虛擬主機「複製」(Cloning)、「冷遷移」(Cold Migration),以及建立「快照」(Snapshot)時所產生的網路流量,同時當採用的儲存資源若未支援 VAAI(VMware vSphere Storage APIs Array Integration)硬體卸載功能時,產生的佈建網路流量將會更為明顯。
請注意! 有關 VAAI 硬體卸載功能的詳細資訊,請參考 VMware KB 1021976

「vSphere 複寫流量」項目,則是負責處理 ESXi 主機傳輸複寫資料至 vSphere Replication 虛擬設備時使用,「vSphere 複寫 NFC 流量」項目,負責處理 vSphere Replication 虛擬設備從網路環境複製檔案,至 ESXi 主機 Datastore 儲存資源之間的網路流量。

請依序執行下列操作步驟,即可透過 vSphere Web Client 管理工具建立 VMkernel Port,並加入至現有的 vSwitch 虛擬網路交換器中:

1. 在本文實作環境中,請開啟瀏覽器鍵入網址 https://vcenter.vdi.weithenn.org:9443/vsphere-client,鍵入管理者帳號密碼後便能透過 vSphere Web Client 管理工具,連接至 vCenter Server 執行個體。
2. 依序點選「首頁 > 主機和叢集」項目後,點選準備建立 VMkernel Port 的 ESXi 主機。
3. 依序點選「管理 > 網路功能 > VMkernel 介面卡」項目後,按下「新增網路」圖示。此時,管理畫面將會彈出新增網路精靈視窗。
4. 在選取連線類型視窗中,請點選「VMkernel 網路介面卡」項目後,按下一步鈕。
5. 在本文實作環境中,我們要將 VSAN 用途的 VMkernel Port 加入至現有的 vDS 分散式交換器中,因此選擇「選取現有網路」項目後按下瀏覽鈕,選擇要將 VMkernel Port 加入至哪個連接埠群組內(本文實作環境中,vDS 分散式交換器名稱為 Dswitch,而連接埠群組名稱為 DPortGroup),請按下一步鈕繼續組態設定程序。
6. 在連接埠內容頁面中,請於啟用服務設定區塊中勾選「Virtual SAN 流量」項目,以便為此 VMkernel Port 啟用 VSAN 儲存流量,請按下一步鈕繼續組態設定程序(如圖 12 所示)。
7. 在 IPv4 設定頁面中,請為 VMkernel Port 指定採用 DHCP 動態取得 IPv4 位址,或選擇採用靜態 IPv4 設定,手動為 VMkernel Port 指定 IP 位址及子網路遮罩等網路資訊。建議為每台 VSAN 叢集節點主機設定固定的 IPv4 位址,請按下一步鈕。
8. 在即將完成頁面中,檢視 VMkernel Port 組態設定內容正確無誤後,按下完成鈕系統便立即於剛才選定的 vDS 分散式交換器,以及所屬的連接埠群組中建立 VMkernel Port 並啟用 VSAN 儲存流量功能。

圖 12、建立 VSAN 用途的 VMkernel Port 並勾選啟用 VSAN 流量項目

請注意! 倘若 VSAN 用途的 VMkernel Port 網段,與 ESXi 主機的管理網路不同(採用不同預設閘道及 DNS 伺服器 IP 位址),那麼便需要建立及採用非預設值的 TCP/IP 堆疊。有關建立 VSAN 用途的 VMkernel Port 及 TCP/IP 堆疊的詳細資訊,請參考 VMware KB 2058368 文件內容。



停用流量管控機制

在 VMware VSAN 軟體定義儲存的網路環境中,VSAN 不管採用 vSS 標準型交換器或 vDS 分散式交換器,都必須與 ESXi 主機的實體網路卡(在 vSphere 環境中稱為 Uplink)進行關聯,以便屆時其上運作的 VM 虛擬主機能夠透過 Uplink 與實體網路環境溝通。

預設情況下,在 vSphere 虛擬化環境中所有的 Uplink 都會啟用「流量管控」(Flow Control)機制。因為,在乙太網路環境運作架構中,倘若 ESXi 主機不堪網路流量沈重的工作負載時,將會送出「暫停封包」(Pause Frames),以便通知在網路流量發送端暫時停止網路傳輸。

但是,在 VSAN 運作環境中已經內建「壅塞管理」(Congestion Management)機制,能夠有效防止因為網路流量爆發而產生壅塞的情況,或者是因為快取及緩衝機制所導致的壅塞。因此,VMware 官方最佳作法為建議將 VSAN 叢集中所有 ESXi 成員主機,組態設定 VSAN 用途的 VMkernel Port「停用」(Disable)Flow Control 機制,以避免與內建的壅塞管理機制互相干擾。
請注意! 有關如何在 VSAN 叢集節點主機中,組態設定 VMkernel Port 停用 Flow Control 機制的詳細資訊,請參考 VMware KB 1013413 文章內容。



NIC Teaming

在 VSAN 運作架構中啟用 NIC Teaming 功能後,若採用「Port ID」、「Source MAC」、「IP Hash」等原則時,其實僅具備高可用性(容錯移轉)特色並沒有負載平衡功能。VMware 最佳作法,當採用 vDS 分散式交換器時能夠使用特殊 NIC Teaming 機制,也就是「LBT(Load Based Teaming)」的負載平衡機制,啟用後將會每隔 30 秒偵測實體網路卡流量並進行流量負載平衡作業。

圖 13、LBT(Load Based Teaming)負載平衡機制運作示意圖

圖 14、將 NIC Teaming 負載平衡機制調整為 LBT 模式

請注意! 有關 NIC Teaming 負載平衡及容錯移轉機制的詳細資訊,請參考 VMware KB 2006129KB 1004048 文件內容。



Jumbo Frames

VSAN 運作架構中支援 Jumbo Frames,但是並非運作 VSAN 環境的必要條件。在 VMware 的測試結果中,發現 Jumbo Frames 機制可以減少 CPU 使用率並提高輸送量,但是因為 vSphere 已經使用 TCP Segmentation Offload(TSO)及 Large Receive Offload(LRO)機制,所以 Jumbo Frames 的幫助其實是有限的。
請注意! 有關 TSO 及 LRO 的詳細資訊,請參考 VMware KB 2055140 文件內容。

VMware 最佳作法,建議採用現有的 MTU/Frame Size 即可。也就是說倘若企業及組織的資料中心內已經啟用 Jumbo Frames 機制,那麼 VSAN 用途的網路環境也請啟用 Jumbo Frames。倘若資料中心並沒有啟用 Jumbo Frames,那麼不必單獨為 VSAN 網路特地啟用 Jumbo Frames。

圖 15、在 vSphere 運作環境中啟用 Jumbo Frames 機制



Switch Discovery Protocol

在 vSphere 虛擬化網路環境中,偵測實體網路環境探索協定分別支援 CDP(Cisco Discovery Protocol)及 LLDP(Link Layer Discovery Protocol)。值得注意的是,採用 vSS 標準型交換器僅支援 CDP,採用 vDS 分散式交換器才支援 CDP/LLDP。同時,VMware 最佳作法為不管採用 CDP 或 LLDP 皆請開啟傳送及接受模式。

圖 16、啟用 LLDP 探索通訊協定並啟用傳送及接受模式



結語

透過本文的說明及實作,從實體網路環境到 vSphere 虛擬化網路環境,相信企業或組織的 IT 管理人員只要遵從 VMware 官方的最佳作法及建議進行設計規劃,便能建構出高可用性、高效能並具備靈活性的 VSAN 軟體定義儲存環境。

前言

在目前主流的 vSphere 5.5 及 6.0 版本當中,所採用的 VMFS 檔案系統版本為「5」。在最新 VMware vSphere 6.5 版本當中則採用「VMFS 6」,下列便是 VMFS 6 的新增功能項目:

  • 支援 4K Native Drives in 512e 運作模式。
  • 預設採用 SE Sparse 格式的虛擬磁碟,以便自動化執行空間回收機制。
  • 最大支援 512 個儲存裝置及 2,000 路徑 (舊版為 256 個儲存裝置及 1,024 路徑)。
  • CBRC (View Storage Accelerator) 空間由舊版的最大 2 GB 提升為 32 GB




支援 4K Native Drives in 512e 運作模式

新式硬碟 (理論上 2011 年 1 月起出廠的硬碟) 的進階格式為「4K Byte Sector」而非舊有的「512 Byte Sector」。因此,從 vSphere 6.5 版本開始支援由 512e 模擬 4K 的方式運作。但是 Virtual SAN 6.5 目前仍僅支援 512e 運作模式,相信後續版本便有可能全面支援 4K Byte Sector。有關 4K / 512 Byte Sector 的相關資訊請參考 FAQ: Support statement for 512e and 4K Native drives for VMware vSphere and vSAN (2091600)




預設採用 SE Sparse 虛擬磁碟格式

在最新版本 vSphere 6.5 當中採用的 VMFS 6 檔案系統,預設情況下便會採用「SE Sparse」虛擬磁碟格式。有關 SE Sparse 虛擬磁碟格式的功能說明,請參考:



事實上,這是基於「VAAI Unmap」運作機制並且已經運作一段時間了。簡單來說,就是空白的儲存空間可以被回收並釋放回儲存設備當中,在先前舊版 vSphere 的運作環境中,通常需要管理人員手動執行相關指令來執行空間回收的動作。現在,只要透過 GUI 圖形化操作介面即可達成。



如果,你還是習慣使用「esxcli」指令處理的話,那麼可以執行下列指令: (下列範例中 Datastore 名稱為 sharedVmfs-0)
esxcli storage vmfs reclaim config get -l sharedVmfs-0
Reclaim Granularity: 1048576 Bytes
Reclaim Priority: low

也可以透過「esxcli」指令將儲存層級調整為「High」:
esxcli storage vmfs reclaim config set -l sharedVmfs-0 -p high



最大支援 512 個 LUN 儲存裝置及 2,000 路徑

過去,在舊版 vSphere 運作環境中最大僅支援「256 個 LUN 儲存裝置」及「1,024 路徑」。現在,最新版本 vSphere 6.5 運作環境中擴大支援至「512 個 LUN 儲存裝置」及「2,000 路徑」。



CBRC aka View Storage Accelerator

在過去 CBRC (在 VDI 運作環境中稱之為 View Storage Accelerator) 最大僅支援至「2 GB」。現在,最新版本 vSphere 6.5 運作環境中擴大支援至「32 GB」。有關 CBRC 快取機制的相關資訊請參考站內文章:





參考資源