VMware + GPFS分布式方案，主要麵向生產安全而設計，該方案同時具備生產高可用、存儲高可用、使用高性能三個方麵優點，設計思路：2台或以上物理服務器分別搭建VMware虛擬化平台架構+多台存儲構建存儲集群實現數據高可用，實現生產高可用，+多台存儲構建高可靠數據存儲池（實際應用大都采用3台存儲構成高可靠存儲池
，性價比最優），也就是多台服務器做成集群，

 隨著社會的發展和科技的進步，IT 係統架構也變得越來越複雜和相互關聯，企業越來越依賴於數據處理來進行業務運營
，對IT係統的依賴性也隨之增加。因此,越來越多的企業考慮通過虛擬化來提高 IT 資源和應用程序的效率和減少運營成本。

erzaichuantongdefuwuqiweihuzhong
，ruguoyitaifuwuqidangji，namezuiduojiushizhetaifuwuqishangdeyingyongwufazhengchangtigongfuwu，keyitongguojiqungaokeyongdengfangfajiejue；但dan是shi在zai虛xu擬ni化hua環huan境jing中zhong，如ru果guo一yi台tai虛xu擬ni主zhu機ji端duan服fu務wu器qi宕dang機ji，那na麼me運yun行xing在zai上shang麵mian的de虛xu擬ni機ji就jiu都dou會hui無wu法fa正zheng常chang運yun行xing
，雖sui然ran虛xu擬ni化hua將jiang所suo有you的de資zi源yuan都dou集ji中zhong管guan理li，但dan是shi出chu現xian故gu障zhang時shi影ying響xiang的de麵mian也ye廣guang了le，所suo以yi在zai虛xu擬ni化hua中zhong集ji群qun高gao可ke用yong的de功gong能neng就jiu顯xian得de尤you為wei重zhong要yao。保bao護hu物wu理li服fu務wu器qi是shi不bu夠gou的de
，還hai要yao保bao護hu包bao含han重zhong要yao商shang業ye數shu據ju和he信xin息xi虛xu擬ni服fu務wu器qi。虛xu擬ni服fu務wu器qi提ti供gong了le靈ling活huo性xing，但dan是shi
，與yu此ci同tong時shi，如ru果guo一yi台tai包bao含han多duo個ge虛xu擬ni服fu務wu器qi的de物wu理li服fu務wu器qi出chu現xian故gu障zhang，那na將jiang造zao成cheng巨ju大da的de數shu據ju損sun失shi。

本文主要介紹如何優化現有的VMware虛擬化環境
，利用架構改造將環境調整為高可用架構。無論是網絡資源層、計算資源層、還是存儲資源層均實現雙鏈路高可用。在做任何架構的改動之前，一定要對現有環境有足夠的認知和了解，掌握其變動對業務的影響。

• 在調整架構之前
  ，一定要先了解和熟悉現有架構缺點。
• 在調整架構之前，解決現有環境的故障問題。
• 了解現有架構與業務的匹配性。
• 預評估現有架構改造的工作量和依賴條件。

下麵本文將詳細介紹如何將現有VMware架構調整為高可用性雙鏈路架構。

高可用方案背景

VMware vSphere是VMware公司推出的一款優秀的虛擬化平台，其易擴展性、高可靠性得到了業界的一致好評。vSphere將應用程序和操作係統從底層硬件分離出來，從而簡化了 IT操作。更多關於VMware vSphere產品的介紹
，可以訪問其官方網站。（https://www.vmware.com/cn.html）

背景介紹

在介紹背景前
，先了解一下什麼是VMware vSphere

，為背景介紹做鋪墊。VMwarevSphere是VMware公司推出的一套服務器虛擬化解決方案，目前項目使用版本為6.0。vSphere本身是個軟件套件

，組件主要包括用於主機虛擬化的ESXi，用於虛擬化管理的vCenter，用於升級的Update Manager，以及自動化部署Auto deploy等。

在之前的架構中，集團已有的虛擬化架構已經存在2年了，整體運行良好
，但是每次出現問題的時候，都會影響業務的運行
，無論是網絡設備故障還是SAN交換機、甚至計算節點。整體方案采用千兆的網絡交換機進行虛擬機的管理與遷移
，群集之間未開啟HA，SAN的(de)劃(hua)分(fen)層(ceng)次(ci)不(bu)明(ming)確(que)
，名(ming)稱(cheng)沒(mei)有(you)規(gui)範(fan)。導(dao)致(zhi)故(gu)障(zhang)後(hou)，虛(xu)擬(ni)機(ji)不(bu)能(neng)及(ji)時(shi)漂(piao)移(yi)。業(ye)務(wu)的(de)流(liu)量(liang)過(guo)大(da)，網(wang)絡(luo)帶(dai)寬(kuan)受(shou)到(dao)限(xian)製(zhi)。硬(ying)件(jian)鏈(lian)路(lu)的(de)設(she)備(bei)損(sun)壞(huai)，將(jiang)導(dao)致(zhi)虛(xu)擬(ni)化(hua)環(huan)境(jing)癱(tan)瘓(huan)，影(ying)響(xiang)業(ye)務(wu)的(de)正(zheng)常(chang)使(shi)用(yong)。由(you)於(yu)之(zhi)前(qian)的(de)架(jia)構(gou)在(zai)vMotion和Storage vMotion上的性能不佳，導致硬件或係統變更時，業務不能很好的遷移，給運維帶來了不小的壓力。

VMware vMotion遷移原理

vMotion作為VMware提供的強大功能之一
，可以很好的幫運維人員解決單機維護影響業務的困擾。了解vMotion的遷移原理，為更好的架構設計打好鋪墊。

VMware VMotion能夠在兩台正在運行的服務器之間進行實時遷移，具有零停機性能
，能夠 大(da)幅(fu)度(du)提(ti)高(gao)了(le)服(fu)務(wu)器(qi)的(de)可(ke)用(yong)性(xing)，保(bao)證(zheng)交(jiao)易(yi)數(shu)據(ju)的(de)完(wan)整(zheng)性(xing)。用(yong)戶(hu)可(ke)以(yi)手(shou)工(gong)遷(qian)移(yi)服(fu)務(wu)器(qi)上(shang)的(de)虛(xu)擬(ni)機(ji)至(zhi)另(ling)外(wai)一(yi)台(tai)服(fu)務(wu)器(qi)，從(cong)而(er)在(zai)不(bu)間(jian)斷(duan)服(fu)務(wu)的(de)情(qing)況(kuang)下(xia)，升(sheng)級(ji)和(he)維(wei)護(hu)原(yuan)來(lai)的(de)服(fu)務(wu)器(qi)。多(duo)個(ge)服(fu)務(wu)器(qi)之(zhi)間(jian)可(ke)以(yi)自(zi)動(dong)遷(qian)移(yi)虛(xu)擬(ni)機(ji)，從(cong)而(er)達(da)到(dao)負(fu)載(zai)均(jun)衡(heng)，提(ti)高(gao)資(zi)源(yuan)利(li)用(yong)率(lv)的(de)目(mu)的(de)。同(tong)時(shi)，這(zhe)項(xiang)技(ji)術(shu)還(hai)可(ke)以(yi)實(shi)現(xian)雙(shuang)機(ji)或(huo)多(duo)機(ji)熱(re)備(bei)，保(bao)證(zheng)了(le)服(fu)務(wu)的(de)高(gao)可(ke)用(yong)性(xing)。具(ju)體(ti)工(gong)作(zuo)原(yuan)理(li)，如(ru)圖(tu) 1 所示，Storage vMotion如圖 2 所示：

圖 1.vMotion遷移原理圖

專業術語說明：

• vMotion：是VMware 開發出的一項獨特技術，它將服務器、cunchuhewangluoshebeiwanquanxunihua，shidezhengzaiyunxingdezhenggexunijinenggouzaishunjiancongyitaifuwuqiyidaolingyitaifuwuqishang。xunijidequanbuzhuangtaiyoucunchuzaigongxiangcunchuqishangdeyizuwenjianjinxingfengzhuang
  ，er VMware 的 VMFS 群集文件係統允許源和目標 VMware ESX 同時訪問這些虛擬機文件。
• Storage vMotion：是VMware推出的一項針對存儲遷移的功能，就是在虛擬機開機狀態下改變其存儲位置，和VMotion一樣
  
  ，整個遷移過程對用戶透明
  ，應用不會中斷。

Storage vMotion作為VMware提供的另一個強大功能，極高方便了管理員針對存儲的運維，可以在業務需要時隨時在線遷移VM的存儲，不影響業務的正常運行，而且vMotion和Storage vMotion是可以同時操作的。

圖 2.Storage vMotion原理圖

原理圖說明：

• 移動磁盤文件之前，Storage VMotion 會在目標數據存儲中為虛擬機創建一個新的虛擬機主目錄。
• 接著，將會創建一個新的虛擬機實例。其配置保留在新的數據存儲中。
• 然後
  
  ，Storage VMotion 會為每個所移動的虛擬機磁盤創建一個子磁盤，用於在父磁盤處於隻讀模式的同時捕獲寫活動的副本。
• 將原始父磁盤複製到新的存儲位置。
• 子磁盤重新成為新位置中新複製的父磁盤的父磁盤。
• 完成到新虛擬機副本的轉移後
  ，原始實例將關閉。然後
  ，從 VMware vStorage VMFS 中刪除源位置的原始虛擬機主目錄

zhenggeguochengsuohuafeideshijianyulengqianyidazhixiangtong，bingqieyuxunijicipandedaxiaoyouguan。congyuanshixunijidaoxinshilidezuizhongqiehuankezailiangmiaoneiwancheng
，bingqieduiyingyongchengxuyonghushitoumingde。Storage VMotion 使用獨立於特定存儲類型的高級拷貝引擎技術。這意味著它適用於您已有的任何存儲類型。

現有架構設計

為了讓大家更好的理解現有架構的問題，根據項目的實際經驗繪製了部署架構圖
，並在文中對架構圖進行了詳細說明。如圖 3 所示：

圖 3.VMware部署架構圖

說明：
為了更好的理解架構用意，以下為詳細說明。
1.通過文章可以看到這是一個典型的集中存儲架構
，采用HP的3PAR作為虛擬機的存儲。
2.兩台博科SAN交換機交叉鏈接。
3.四台思科千兆交換機兩兩堆疊
，但是網關和出口卻在第一台。
4.所有ESXi主機分別連接SAN網路及以太網絡。

高可用架構

乍zha一yi看kan之zhi前qian的de架jia構gou沒mei有you什shen麼me問wen題ti，但dan是shi仔zai細xi推tui敲qiao會hui發fa現xian網wang絡luo不bu具ju備bei冗rong餘yu效xiao果guo
，當dang第di一yi台tai交jiao換huan機ji出chu現xian意yi外wai宕dang機ji
，那na麼me整zheng個ge虛xu擬ni化hua環huan境jing將jiang脫tuo離li網wang絡luo，直zhi接jie影ying響xiang業ye務wu的de正zheng常chang運yun行xing。而er四si台tai交jiao換huan機ji均jun為wei千qian兆zhao交jiao換huan機ji，無wu法fa滿man足zu業ye務wu的de使shi用yong和he將jiang來lai的de擴kuo展zhan。為wei了le解jie決jue這zhe些xie問wen題ti
，我wo們men將jiang現xian有you架jia構gou進jin行xing了le修xiu訂ding

，所suo有you鏈lian路lu均jun實shi現xian冗rong餘yu，任ren何he一yi條tiao鏈lian路lu中zhong斷duan，都dou不bu會hui影ying響xiang業ye務wu的de正zheng常chang運yun行xing。新xin架jia構gou如ru圖tu4所示：

圖 4.虛擬化環境架構圖

高可用架構說明

由於受到硬件資源限製，首先需要購買萬兆交換機
，並且每台服務器上需要插入萬兆網卡，詳細信息如表 1 所示。

表 1.環境設備說明

計算節點的設計

X3650服務器額外配置2塊萬兆雙口網卡、自帶4個千兆網口、2個HBA卡。為了讓虛擬化的性能和穩定性提高，采用管理流量、vKernel流量和VM流量分開的方式，不同的網卡走不同的流量
，相互之間無幹擾。共24台服務器
，建立4個群集，分別用於生產和測試
，在下文的網絡配置中，將詳細講述具體的分流配置。

ESXi安裝

實際項目中采用VMware vSphere6.0版本搭建虛擬化環境，其穩定性和功能性比之前的版本有所提升。

管理員通過IMM遠程安裝ESXi到24台服務器
，並配置IP
、主機名
、DNS等配置。使所有主機相互通信，開啟防火牆防止遠程登陸，強化安全防禦機製。

ESXi添加群集

按照規劃

，在vCenter內創建4個群集，分別命名為Prd01、Prd02
、Dev01
、Dev02。每個集群添加6台主機，主機的命名符合規劃要求，主機的高可用配置將在下文介紹。

網絡的設計

4台網絡交換機去掉之前的堆疊模式，分別作為接入層交換機連接上層彙聚
，劃分兩個VLAN，分別為生產VLAN命名為prod及開發測試VLAN命名為Dev。每台交換機獨立工作，作為接入層，盡量減少其它無關的網絡配置。

SAN的設計

2台博科SAN交換機分別將24台主機接入，並相互主備。每個交換機劃分24個Zone，以主機為單位

，這樣設計可以提高I/O讀取

，並確保Zone與Zone的隔離，不會影響其他的主機與存儲。

存儲的設計

當前采用惠普的高端存儲3PAR作為VM及其它相關文件的存儲介質，共劃分15個LUN，每個LUN是4T。全部格式化為VMFS5，掛載到各個主機。由於3PAR底層采用RAID技術確保了數據的冗餘性
，所以我們直接劃分相關LUN即可。

環境配置

通過上述操作
，已經將虛擬化環境的基礎設施進行了說明，從底層存儲到SAN交換機
、zhujijishangcengdewangluoshebei，quebaolianjiexianzhengchang，fuhejiaochalianjiefa，bimiandanlianluguzhang。benwenjiangzhuyaojieshaojutidepeizhi，ruheshiqifuhegaokeyongyaoqiu。

VMware主機高可用配置

SXi軟件的順利安裝僅僅是完成了虛擬化的搭建，但是其高可用特性需要額外的配置。不同的配置參數，將有不同的效果產生。VMware的高級功能很多都在群集中設定，群集將作為高可用區（Availability zone）對其內部主機進行統一資源分配與調整。群集內的虛擬機將以群集作為邊界進行自動遷移和負載。作為高可用要求
，需要在群集內打開HA
，此功能將確保單個主機故障後
，虛擬機可以自動在群集內的其它主機上重啟，保證業務不被長時間中斷。如圖5所示：

圖 5. VMware HA配置

開啟DRS功能，建議選擇全自動模式，當然不同場景請酌情設置。開啟後
，創建的VM將會自動分配到資源合理的虛擬主機上，不會導致資源分配不均的現象發生。若在後期的使用中，資源發生變化
，VM會自動調用vMotion功能，基於DRS的策略進行遷移
，整個過程無需人工參與。如圖6所示：

圖 6. VMware DRS配置

VMware內的很多高級功能
，都需要DRS和HA依賴，所以要使用更高階功能
，都需要提前開啟上述兩個功能。

SAN配置

線纜連接正確後，分別登陸到兩台SAN交換機內，配置24個Zone，每個Zone內僅有一個主機與存儲LUN聚合。之後將所有的Zone統一保存在一個名為vcf的配置文件內。每個SAN交換機僅僅有一個配置文件會生效，所以請切記，不要建立多個。多個Config的配置

，需要根據自身場景而定。配置完成後
，同一群集內的主機可以看到共同的存儲LUN。如圖7所示：

圖 7. VMware LUN配置

網絡配置

為了滿足網絡流量按照功能隔離傳輸與高可用的要求
，需要在每台主機的網絡配置中將四個萬兆網口交叉配置到不同的虛擬交換機內，vSwitch0主要負責vMotion、FT和管理流量。vSwitch1主要負責虛擬機的流量傳輸。如圖8所示：

圖 8. VMware 網絡配置

存儲高可用設計

調(tiao)整(zheng)後(hou)的(de)架(jia)構(gou)，基(ji)本(ben)實(shi)現(xian)了(le)各(ge)條(tiao)鏈(lian)路(lu)的(de)高(gao)可(ke)用(yong)，唯(wei)一(yi)不(bu)足(zu)的(de)是(shi)存(cun)儲(chu)為(wei)單(dan)一(yi)集(ji)中(zhong)存(cun)儲(chu)。按(an)照(zhao)當(dang)前(qian)架(jia)構(gou)

，如(ru)果(guo)存(cun)儲(chu)損(sun)壞(huai)，所(suo)有(you)的(de)數(shu)據(ju)將(jiang)不(bu)能(neng)放(fang)問(wen)
，甚(shen)至(zhi)有(you)丟(diu)失(shi)的(de)風(feng)險(xian)。整(zheng)個(ge)項(xiang)目(mu)由(you)於(yu)費(fei)用(yong)的(de)問(wen)題(ti)， 不bu能neng在zai本ben季ji度du進jin行xing存cun儲chu購gou買mai。為wei了le保bao證zheng虛xu擬ni機ji在zai存cun儲chu失shi效xiao後hou可ke用yong，我wo們men暫zan時shi采cai用yong備bei份fen機ji製zhi解jie決jue，遇yu到dao類lei似si問wen題ti，通tong過guo備bei份fen恢hui複fu。如ru果guo條tiao件jian允yun許xu，還hai是shi建jian議yi買mai額e外wai的de3PAR存儲或者IBM SVC進行存儲級別的冗餘，可以大大減輕存儲損壞帶來的損失，快速切算業務到正常的存儲。

通過如上設計，基本上去掉了之前架構的網絡、主機等非高可用因素，提高了基礎設施的可用性

、可靠性。

結束語

本文是VMware眾多經典架構中的一種，主要是采用集中存儲的方式構建。在新版VMware vSphere中

，也可以通過vSAN方式，去掉集中存儲的限製，采用分布式對象存儲，將虛擬機分布在不同的X86主機上，任何主機宕機，都不會影響數據的訪問，同時節約了整體基礎設施的構建成本，有興趣的朋友可以通過下文參考資源訪問TWT或者VMware。

參考資源 (resources)

• 參考 VMware官方文檔 ，查看 VMware vSphere 更多的功能介紹。
• 參考 TWT Community ，查看 VMware 更多的使用場景。