高密度數(shù)據(jù)中心發(fā)展至今,迫切需要解決的問題是降低PUE值。隨著電子信息機房IT設(shè)備和供配電系統(tǒng)的高度集成化,機房散熱量日漸趨高,必須要有強大的制冷系統(tǒng),來維持機房的環(huán)境溫度能保持在一個合理范圍內(nèi)。從圖1中可以看出,電力在數(shù)據(jù)中心的消耗僅有33%供給了IT負荷,散熱負荷卻高達63%,也就是說,散熱負荷已經(jīng)遠遠超過了IT設(shè)備的負荷。這意味著,降低IT設(shè)備的發(fā)熱量,可相應(yīng)地降低散熱負荷,也就是降低了用于制冷設(shè)備的電力,這對于降低PUE值是一個關(guān)鍵的因素。

在現(xiàn)代電子信息機房中,空調(diào)負荷主要來自計算機主機設(shè)備、外部輔助設(shè)備的發(fā)熱量,這些發(fā)熱量大約占機房空調(diào)總熱量的80%～95%,而在計算機主設(shè)備(包括服務(wù)器、存儲、網(wǎng)絡(luò)等)中,服務(wù)器所產(chǎn)生的熱量約占到80%左右?？梢?降低服務(wù)器的發(fā)熱量,從而降低制冷系統(tǒng)的能耗是至關(guān)重要的。

目前,很多數(shù)據(jù)中心的服務(wù)器散熱采用風冷技術(shù),即用空氣來冷卻?？諝獠⒉皇呛芎玫睦涿?。若采用液冷,其冷卻效果比空氣強1000～3000倍。風冷所不能解決的高能耗、低性能的問題,用液冷技術(shù)卻可以得到顯著的改善。服務(wù)器也因此實現(xiàn)了高密度、低噪音、低傳熱溫差、全年自然冷卻的效果。

液冷是利用工作流體作為熱量傳輸?shù)拿浇?將熱量由熱區(qū)傳遞到遠處再進行冷卻。由于液體比空氣的比熱大很多,散熱速度也遠遠大于空氣,因此制冷效率遠高于風冷散熱,由于省去了風扇,也能達到降低噪音的效果。

液冷服務(wù)器不用壓縮機制冷,使得整個系統(tǒng)全年P(guān)UE值下降到1.2以下并非難事,同時服務(wù)器CPU可超頻運行,計算性能可提高12%。國外研究表明,CPU核溫每提高10℃,可靠性降低一半。而液冷服務(wù)器的CPU核溫比風冷極限溫度可低20～30℃,可靠性必將大大提高。

　　1 液冷服務(wù)器的原理

制冷系統(tǒng)的制冷原理主要在于冷量傳輸?shù)耐緩讲町悺＠涿降娜珶釣轱@熱與潛熱之和。濕熱是液體在加熱或冷卻過程中,溫度升高或降低而不改變其原有相態(tài),所需吸收或放出的熱量時,不發(fā)生相變;而潛熱是相變潛熱的簡稱,為單位質(zhì)量的物質(zhì)在等溫等壓情況下,從一個相變化到另一個相時,所吸收或放出的熱量。這是物體在固、液、氣三相之間以及不同的固相之間相互轉(zhuǎn)變時具有的特點之一,固、液之間的潛熱稱為熔解熱或凝固熱,液、氣之間的潛熱稱為汽化熱或凝結(jié)熱,而固、氣之間的潛熱稱為升華熱或凝華熱。

對于超高功率密度的數(shù)據(jù)中心來說,風冷技術(shù)難以實現(xiàn)對系統(tǒng)的高效散熱,而水冷或液冷有兩大好處:一是把冷卻劑直接導向熱源,而不是像風冷那樣間接制冷;二是和風冷相比,每單位體積所傳輸?shù)臒崃?散熱效率)比風冷高幾千倍。

由于液體的比熱容大,能吸收大量的熱量而保持溫度不會有明顯的變化,液冷系統(tǒng)中CPU的溫度能夠得到很好的控制,突發(fā)的操作不會引起CPU內(nèi)部溫度瞬間大幅度的變化,因此能允許CPU進行超頻工作,從而節(jié)省服務(wù)器的數(shù)量。此外,由于泵的噪聲很小,整個液冷系統(tǒng)的噪音比與風冷系統(tǒng)小很多,可達到“靜音機房”的效果。此外,由于省掉了風扇及機房專用空調(diào)系統(tǒng),因此節(jié)省了電費和耗能。

該技術(shù)可廣泛應(yīng)用于超高功率密度數(shù)據(jù)中心中服務(wù)器的散熱,為數(shù)據(jù)中心的散熱問題提供一個優(yōu)異的解決方案。

圖2  給出了風冷服務(wù)器與液冷服務(wù)器的比較。

值得一提的是,服務(wù)器的液冷技術(shù)并不需要昂貴的水冷機組,在減少總體擁有成本的同時,顯著提高了數(shù)據(jù)中心的能源效率,而且做到了綠色環(huán)保。它還可以控制運營成本,使初始投資實現(xiàn)快速回報。這在那些高電力成本、高運營成本的數(shù)據(jù)中心顯得尤其重要。

使用液冷系統(tǒng)的節(jié)能效果十分明顯。服務(wù)器前部必須要保持25℃以下才能穩(wěn)定工作,精密空調(diào)想要保持這個溫度,必須在空調(diào)冷風口達到18～20℃,而液冷媒只要能達到20～25℃就可以。另一方面,遠程制冷的效率比較低,而液冷媒在相對封閉的運行環(huán)境中,效率較高。

形象地理解,液冷設(shè)備與精密空調(diào)的區(qū)別,就像冰箱制冷與冷庫制冷的區(qū)別。對機房來說,液冷媒將每個機柜包裝成為一個“冰箱”,而精密空調(diào)則把整個機房制冷視為一個“冷庫”,其能耗的差別不言而喻。使用液冷技術(shù)節(jié)能的效果不僅僅在于制冷方面,液冷技術(shù)有一個與眾不同的系統(tǒng),叫Freecooling(自然冷卻系統(tǒng))。液冷媒的進口溫度需要低于15℃,而當環(huán)境溫度低于15℃時,就可以不需要通過循環(huán)制冷來制冷液體,僅僅用自然冷量制冷即可。這一切都是自動調(diào)節(jié)的,不需要人工操作。使用液冷系統(tǒng)的節(jié)能效果十分明顯。

　　2  液冷服務(wù)器的種類

液冷服務(wù)器的種類一般是按采用的模式和選用的冷媒來區(qū)分的。

按照系統(tǒng)模式,液冷服務(wù)器可分為直接冷卻和間接冷卻兩大類;按照工作介質(zhì)的不同,可分為水冷和其它制冷劑冷卻,制冷劑除水以外,還有變壓器油、礦物油、19.8%的乙二醇溶液、13.6%NaC的鹽水、FC-75、Coolanol45、二甲烷飽和溶液等;按照是否發(fā)生相變,可分為溫差換熱(利用制冷劑的溫升來帶走熱量)和相變換熱(利用制冷劑的氣化潛熱來帶走熱量)。

(1)間接液冷服務(wù)器

間接液冷服務(wù)器又叫冷板式液冷服務(wù)器,其原理圖如圖3所示。如圖中所示,冷媒與被冷卻對象分離,并不直接接觸,而是通過液冷板等高效熱傳導部件將被冷卻對象的熱量傳遞到冷媒中。對于原有的風冷方式來說,僅需將原風冷散熱片替換為液冷散熱片,并將冷媒管路引出機箱即可。在間接冷卻方式中,冷媒有其自身通路,并不與電子器件直接接觸,因此只要液體管路密封性好、冷媒不泄漏,那么系統(tǒng)對冷媒種類的要求較低,多種冷媒均可實現(xiàn)其功能。

缺點是由于增加了傳熱過程熱阻,傳熱溫差增大,制冷效果遜于直接冷卻式,且需要額外安裝風扇對機房的其他元器件進行散熱。

(2)直接液冷服務(wù)器

直接液冷服務(wù)器又叫浸沒式液冷服務(wù)器,其原理圖如圖4所示。如圖中所示,發(fā)熱元器件與冷媒直接接觸,即將服務(wù)器主板、CPU、內(nèi)存等發(fā)熱量大的元器件完全浸沒在冷媒中。由于冷卻液與被冷卻對象直接接觸,散熱效果更佳,能一次性解決全部元器件的散熱問題,無須額外配置風扇、散熱片等。但此系統(tǒng)對原有的風冷系統(tǒng)有較大改動,需制作密封艙體用來盛放冷媒。另外,對冷媒的要求較高,需具備絕緣性好(不導電)、無毒無害、無腐蝕性等物理化學特性。

直接冷卻式能解決更高熱流密度的散熱問題。直接冷卻式是利用液體的溫差或相變將熱量直接帶走,減少了傳熱過程的熱阻,冷卻效率更高。而且,冷卻制冷劑蒸汽只需40℃的進水,由于全國很多地方全年溫度都是在40℃以下,因此可實現(xiàn)全年自然冷卻,PUE值可降至1.05左右。

服務(wù)器設(shè)計者和數(shù)據(jù)中心運營商主要關(guān)注的問題是數(shù)據(jù)中心系統(tǒng)的穩(wěn)定性。然而,在液體冷卻系統(tǒng)中,一個接頭的失效就會導致冷卻液無法自動替補供應(yīng)。因此,對機械沖擊的抵抗能力及可靠性是液體冷卻系統(tǒng)快速插拔接頭的重要特征。服務(wù)器設(shè)計者就需要構(gòu)造優(yōu)良、鎖緊機構(gòu)簡單、制作材料耐用并兼容的快速插拔接頭。這種接頭必須能夠長期保持連接狀態(tài),但在斷開進行維護時快速接頭內(nèi)集成的閥門能夠迅速動作,以避免冷卻液的溢出。使得密封件應(yīng)當與冷卻液兼容,以避免膨脹、收縮或者變形。

在使用液體冷卻系統(tǒng)時,為了更好地保障電子設(shè)備周圍設(shè)施的安全性與可靠性,數(shù)據(jù)中心運營商需要采用堅固耐用且保證無滴漏的連接設(shè)備。快速接頭連接后的多重密封和無密封摩擦功能,能夠保證液體冷卻設(shè)備即使在長時間處于連接狀態(tài)和壓力的情況下,在斷開時也能保證無溢漏,大大提高了液體冷卻系統(tǒng)的安全性和可靠性。

此外,簡單易用、設(shè)計直觀的快速插拔接頭可以滿足液體冷卻系統(tǒng)操作及維護的便利性。

比如,彩色編碼的設(shè)計為冷卻管理提供即時視覺上的辨別,這種易用且直觀的設(shè)計更加方便技術(shù)人員使用和維護。產(chǎn)品配有高質(zhì)量閥門的一鍵連接或扭鎖式接頭,操作簡單快速,并且在斷開時閥門完好閉合。對于慣于連接和斷開以太網(wǎng)和電源電纜的技術(shù)人員而言,直觀設(shè)計的快速插拔接頭更方便使用。

3 國內(nèi)外服務(wù)器液冷技術(shù)發(fā)展現(xiàn)狀

(1)國內(nèi)服務(wù)器液冷技術(shù)發(fā)展現(xiàn)狀

目前國內(nèi)知名的多個設(shè)備、軟件廠商推出了液冷服務(wù)器系統(tǒng)產(chǎn)品,包括曙光、華為、神威藍光等。

曙光推出的TC4600E-LP液冷服務(wù)器是以原有風冷型刀片為原型,進行了液冷改造設(shè)計,除去CPU和顯卡的風冷式散熱器,改造為液冷冷板。圖5為TC4600E-LP液冷服務(wù)器的前、后視圖。

TC4600E-LP采用CPU冷板技術(shù)以及先進的防泄漏技術(shù),具有以下優(yōu)越的性能:

①風扇功耗降低70%,具有更優(yōu)的整機效率;

②CPU可超頻運行,計算性能提高12%;

③CPU核溫可降低30℃,平均無故障工作時間延長50%,具有更高的可靠性;

④噪聲比風冷板機型低20dB(A),具有更低的噪音指數(shù);

⑤由于處理器的熱量通過水冷帶走,不需要安裝大量的機房專用精密空調(diào);

⑥液冷系統(tǒng)采用30℃的常溫進水,可以實現(xiàn)全年自然冷卻,PUE值輕松降至1.2以下。

華為公司的液冷刀片服務(wù)器采用高集成LCS(Liquid Cooling System)設(shè)計,在1個標準的42U機柜中通過部署三臺裝配有高性能冷板(CH121 CH140刀片服務(wù)器)的E9000融合架構(gòu)刀片服務(wù)器,即在部署96個2路刀片服務(wù)器的情況下,對86%的器件進行液體冷卻，相比傳統(tǒng)的風冷散熱設(shè)計可實現(xiàn)50%～60%的能耗降低，有助于將數(shù)據(jù)中心PUE值降至1.2以下。華為公司間接液冷服務(wù)器如圖6所示。

神威藍光公司的間接液冷服務(wù)器中的冷卻用水是內(nèi)部封閉循環(huán),是來自礦泉水廠處理過的純水。中間是鋁制液冷散熱板。神威藍光公司的間接液冷服務(wù)器的優(yōu)勢是集成度高,水冷散熱高效,可在一個機柜內(nèi)存放更多的CPU,僅依靠9個運算機柜就達到了很高的運算能力。神威藍光間接液冷服務(wù)器如圖7所示。

目前國內(nèi)有很多企業(yè)已經(jīng)開始研發(fā)液冷服務(wù)器產(chǎn)品,但截至目前,大部分企業(yè)使用液冷技術(shù)多采用純水作為冷媒。眾所周知,含雜質(zhì)的水是電的良導體,一旦冷媒泄漏,與主板上的塵埃等雜質(zhì)混合,后果不堪設(shè)想。且選用水作為冷媒,是利用水的溫升帶走發(fā)熱元件的熱量,只利用了水的顯熱,并沒有發(fā)揮其全部功效,還有很大的潛能可以發(fā)揮。

(2) 國外液冷服務(wù)器的現(xiàn)狀

國外液冷服務(wù)器的用戶主要還是大型數(shù)據(jù)中心和超級計算中心,已經(jīng)有一些用戶開始使用液冷服務(wù)器。比如美國國家安全局、美國空軍、CGG、ORANGE、VIENNA科學計算集群、日本東京工業(yè)大學已經(jīng)使用了Green Revolution Cooling的浸沒式液冷技術(shù),美國AFRL、ERDL、法國TUTAL、歐洲AWE等使用了SGI的液冷服務(wù)器,德國LRZ已經(jīng)使用了聯(lián)想(原IBM)的Next Scalen x360 M5冷板式液冷服務(wù)器。

IBM的新SuperMUC超級計算機中心(LRZ)Super MUC與IBM xiData Plex均采用了水冷技術(shù),即采用40℃的溫水作為IT設(shè)備制冷的冷媒工質(zhì)。比起普通的風冷系統(tǒng),這種水冷系統(tǒng)的散熱效率高4000倍,能耗也大幅度降低。除此之外,其產(chǎn)生的熱水可以給萊布尼茲超級計算機中心園區(qū)的其他生活建筑供熱,每年可節(jié)約125萬美元。IBM間接液冷服務(wù)器如圖8所示。

Green Revolution Cooling推出的直接式液冷系統(tǒng)是把服務(wù)器浸沒在一種礦物油中進行降溫,浸沒其中的戴爾R730機架服務(wù)器的CPU溫度為30℃左右。Green Revolution Cooling直接式液冷系統(tǒng)如圖9所示。

Asetek的液冷機柜是在室外側(cè)充分利用室外冷源,實現(xiàn)自然冷卻,節(jié)約數(shù)據(jù)中心的運維成本。模塊化設(shè)計為數(shù)據(jù)中心提供了最大的可擴展性。以1U服務(wù)器(功耗為500W,其中CPU及內(nèi)存功耗為400W)為例,80%(400W)的熱負荷來自于CPU及內(nèi)存,采用液冷散熱,剩余20%(100W)的熱負荷采用風冷散熱。PUE值由1.61下降至1.08,單機柜每年節(jié)省電費7784美元,能使數(shù)據(jù)中心節(jié)能50%,密度增加2.5倍。Asetek的液冷機柜如圖10所示。

　　4 結(jié)束語

按照美國IDC公司的預測,移動產(chǎn)品和數(shù)據(jù)等的總量,今后還會持續(xù)高速增長,數(shù)據(jù)中心必須要高密度配置服務(wù)器。為了應(yīng)對這樣的變化,制冷技術(shù)也需要隨之改變。實際上,IDC于2016年3月,以美國的各類數(shù)據(jù)中心的運營商為對象實施的問卷調(diào)查中,有高達42%的受訪者表示,其公司最大的數(shù)據(jù)中心采用了液冷技術(shù)。

對于單臺服務(wù)器而言,使用液冷服務(wù)器能高效準確制冷,節(jié)能降耗,降低噪音。而且由于液體的比熱容大,能吸收大量的熱量而自身溫度不會明顯變化,使得CPU在突發(fā)操作時不會引起內(nèi)部溫度瞬間大幅度變化,因此允許CPU超頻工作,提高了服務(wù)器的使用效率和性能。

對于機柜而言,由于省掉了機房專用空調(diào),因而節(jié)能、降噪。而且由于液冷服務(wù)器的冷卻能力優(yōu)良,能在單位空間內(nèi)布置更多的刀片服務(wù)器,提高熱流密度,因此節(jié)省占地面積。

對于數(shù)據(jù)中心而言,雖然增加了泵和工作液體循環(huán)系統(tǒng),但是省掉了整個空調(diào)系統(tǒng)以及基礎(chǔ)設(shè)施層,也無須地板下送風和冷熱通道封閉技術(shù),能節(jié)省更多的成本。且能在有限的空間內(nèi)容納更多的服務(wù)器,從而得到更高的效率。此外,由于泵的噪聲很小,整個液冷系統(tǒng)的噪音相比于風冷系統(tǒng)要小得多,可達到“靜音機房”的效果。

此外,液冷服務(wù)器可以不受海拔和地域的限制,在任何地方均能正常工作。而機房專用空調(diào)系統(tǒng)則不同,在不同緯度和海拔的地區(qū),必須考慮當?shù)氐那闆r進行設(shè)計調(diào)整。

因此,液冷服務(wù)器可廣泛應(yīng)用于超級計算機和大型服務(wù)器的散熱,為大規(guī)模計算中心和數(shù)據(jù)中心的散熱問題提供優(yōu)異的解決方案,從而大大降低了PUE值。

目前,冷板式的液冷技術(shù)已經(jīng)比較成熟,具備了產(chǎn)業(yè)化的可行性。但對于更具革命性的浸沒式液冷技術(shù),仍然處于發(fā)展初期。據(jù)了解,液冷服務(wù)器的用戶主要還是大型數(shù)據(jù)中心和超級計算中心,這些用戶對于高密度擴展、綠色節(jié)能、機房靜音的需求比較迫切,已經(jīng)有一些用戶開始使用液冷服務(wù)器,不過對于企業(yè)級應(yīng)用,無論是普通的服務(wù)器,還是大型數(shù)據(jù)中心,液冷技術(shù)的普及之路還剛開始。

編輯：Harris

關(guān)鍵詞：ups電源參數(shù)http://preweds.com/list-3-1.html

• 上一篇：IGBT短路檢測功能在模塊化UPS系統(tǒng)中的應(yīng)用
• 下一篇：數(shù)據(jù)中心UPS的設(shè)計標準與分級配置
  
• 文章標簽： 利器 降低 服務(wù)器
• 注：原創(chuàng)內(nèi)容，禁止轉(zhuǎn)載，如有轉(zhuǎn)載，請標明出處。如有內(nèi)容侵犯您的權(quán)益，請聯(lián)系刪除！QQ:315212307