隨著網(wǎng)絡(luò)安全、金融監(jiān)管、大數(shù)據(jù)、光通信技術(shù)、云服務(wù)、物聯(lián)網(wǎng)的蓬勃發(fā)展，需要大量的數(shù)據(jù)中心作為支撐。截至2017年底，全球IDC行業(yè)市場(chǎng)規(guī)模達(dá)到721億美元，根據(jù)中國(guó)IDC圈有關(guān)預(yù)測(cè)，國(guó)內(nèi)近3年來(lái)IDC市場(chǎng)增速將穩(wěn)定在35%以上，到2018年中國(guó)IDC 市場(chǎng)規(guī)模將達(dá)1 400億元，增速將接近39.6%。數(shù)據(jù)中心是能耗大戶，美國(guó)環(huán)境保護(hù)署的報(bào)告顯示，2011年數(shù)據(jù)中心能源消耗占到了美國(guó)電網(wǎng)總量的2%，并且還將呈現(xiàn)每5年翻一番態(tài)勢(shì)。據(jù)統(tǒng)計(jì)，2012我國(guó)數(shù)據(jù)中心能耗高達(dá)664.5億千萬(wàn)時(shí)，占當(dāng)年全國(guó)工業(yè)用電量的1.8%；而2015年我國(guó)數(shù)據(jù)中心能耗高達(dá)1 000億千萬(wàn)時(shí)，相當(dāng)于整個(gè)三峽水電站一年的發(fā)電量。ICT Research預(yù)計(jì)到2020年，中國(guó)數(shù)據(jù)中心保有量將超過(guò)8萬(wàn)個(gè)，年耗電量將超過(guò)400億千瓦時(shí)。所以，提高數(shù)據(jù)中心的用電效率（PUE）對(duì)于節(jié)能減排將大有裨益。而在數(shù)據(jù)中心的用電中，空調(diào)制冷作為數(shù)據(jù)中心的第二能耗大戶，提高空調(diào)制冷效率降低其能耗無(wú)論是對(duì)新建數(shù)據(jù)中心還是既有數(shù)據(jù)中心都勢(shì)在必行。數(shù)據(jù)中心另一個(gè)發(fā)展趨勢(shì)是服務(wù)器的發(fā)熱密度越來(lái)越高，業(yè)界對(duì)如何有效快速地驅(qū)散高熱密度服務(wù)器熱量的探索也從未止步，高密度服務(wù)器散熱的技術(shù)發(fā)展經(jīng)過(guò)強(qiáng)制定點(diǎn)送風(fēng)、通道封閉、行級(jí)空調(diào)、水冷背板等歷程。隨著芯片冷板及冷卻液強(qiáng)化換熱的技術(shù)發(fā)展完善，芯片液冷成為業(yè)界新一輪的熱點(diǎn)。
1 液冷
傳統(tǒng)的芯片冷卻技術(shù)——風(fēng)扇加熱沉是目前芯片冷卻使用得最普遍的形式。風(fēng)扇散熱器的結(jié)構(gòu)簡(jiǎn)單，使用方便，因而受到了廣大用戶的青睞。隨著電子元器件發(fā)熱功率的迅速增長(zhǎng)，風(fēng)扇散熱器也隨之進(jìn)行了改進(jìn)，常規(guī)的方法是提高風(fēng)扇的轉(zhuǎn)速和增大翅片的尺寸。但是這兩種方法都不能無(wú)限增加風(fēng)扇散熱器的散熱能力，風(fēng)冷技術(shù)已不能滿足芯片日益增長(zhǎng)的散熱要求。液冷技術(shù)應(yīng)運(yùn)而生。液冷是指通過(guò)液體來(lái)替代空氣，把CPU、內(nèi)存條、芯片組、擴(kuò)展卡等器件在運(yùn)行時(shí)所產(chǎn)生的熱量帶走。根據(jù)目前技術(shù)研究的進(jìn)程，將液冷分類為了水冷和其他介質(zhì)冷卻，可用的其他介質(zhì)包括、礦物油、電子氟化液等。按照冷卻原理，又將液冷分為了冷板式液冷（間接式冷卻）和浸沒(méi)式液冷（直接式冷卻）兩種系統(tǒng)模式。
浸泡式液冷系統(tǒng)是由機(jī)柜和液冷機(jī)組成，機(jī)柜里采用特殊的工程液體為熱傳遞介質(zhì)。通常這類工程液體擁有幾大物理特性：沸點(diǎn)低、與水不相容、無(wú)毒、透明、無(wú)味、絕緣、阻燃、表面張力低、粘度低。只有具有這些特性才適合作為浸泡式液冷系統(tǒng)的熱傳遞介質(zhì)。這種系統(tǒng)使用不需要風(fēng)扇和散熱器的新架構(gòu)服務(wù)器，或者把目前風(fēng)冷散熱為主的服務(wù)器里所有風(fēng)扇拆下來(lái)，浸沒(méi)在工程液體里，服務(wù)器里面所有硬件直接跟工程液體接觸，吸熱后達(dá)到液體飽和溫度（40 ℃～60 ℃）自動(dòng)蒸發(fā)，利用液體汽化潛熱將熱量帶出，通過(guò)液冷機(jī)循環(huán)系統(tǒng)將氣體冷凝變回液體，實(shí)現(xiàn)自循環(huán)將熱量散發(fā)。這樣的機(jī)房環(huán)境溫度基本上不需要機(jī)械制冷散熱系統(tǒng)，可大幅度降低機(jī)房耗電量。
冷板式液冷通用的方法是采用泵驅(qū)動(dòng)冷卻液流過(guò)芯片背部的通道，冷卻液在通道內(nèi)通過(guò)板壁與芯片進(jìn)行熱交換，帶走芯片上的熱量。含有熱量的冷卻液通過(guò)散熱器把熱量散失到外界環(huán)境中。冷板式液冷通常分為槽道冷卻、微槽道冷卻、液體噴射冷卻等。目前穩(wěn)定性及可靠性較高的運(yùn)用是槽道冷卻及微槽道冷卻，由于槽道冷卻的冷板面積通常較大，無(wú)法大面積使用在數(shù)據(jù)中心的服務(wù)器中；而微槽道冷卻在分流技術(shù)及換熱效率上取得了長(zhǎng)足的進(jìn)步，在數(shù)據(jù)中心中的運(yùn)用越來(lái)越廣泛。
2 二次側(cè)集中循環(huán)直接接觸冷板式液冷系統(tǒng)簡(jiǎn)述
二次側(cè)集中循環(huán)直接接觸冷板式液冷系統(tǒng)由室內(nèi)側(cè)設(shè)備及室外側(cè)設(shè)備組成。室外側(cè)設(shè)備主要包括室外散熱設(shè)備及一次側(cè)循環(huán)泵，室外散熱設(shè)備通常是干冷器及閉式冷卻塔。而室內(nèi)側(cè)設(shè)備主要由換熱模塊（含二次側(cè)集中循環(huán)泵）、分歧管模塊及芯片散熱冷板。由于二次側(cè)循環(huán)采用安裝在換熱模塊中的冷卻液泵集中驅(qū)動(dòng)，從而取消了安裝在液冷板上的單個(gè)微型泵，故稱二次側(cè)集中循環(huán)直接接觸冷板式液冷系統(tǒng)。其系統(tǒng)架構(gòu)圖及系統(tǒng)原理示意圖分別如圖1及圖2所示。
換熱模塊最基本的功能是實(shí)現(xiàn)一次側(cè)及二次側(cè)的換熱，同時(shí)實(shí)現(xiàn)冷卻液溫度的精準(zhǔn)控制，機(jī)架式換熱模塊的基本結(jié)構(gòu)如圖3所示。主要由板式換熱器、電動(dòng)比例閥、二次側(cè)循環(huán)泵、膨脹罐、安全閥、進(jìn)出水管專用接頭、控制器及其面板等組成。二次側(cè)循環(huán)泵配置雙泵增加系統(tǒng)冗余性，采用一次側(cè)三通流量調(diào)節(jié)閥精確控制板式換熱器的換熱量以適應(yīng)不斷變化的末端服務(wù)器的散熱需求。依據(jù)散熱量的差異，高度上可以有多種規(guī)格。
為了實(shí)現(xiàn)良好的散熱性能，芯片散熱冷板通常采用銅板，采用微通道架構(gòu)實(shí)現(xiàn)獨(dú)特的分流設(shè)計(jì)來(lái)降低壓降，增大冷卻液流量，確保低溫的冷卻液首先冷卻芯片最熱區(qū)域。冷板可以集成到非常緊湊的刀片架構(gòu)，如規(guī)格為15.6 mm高的冷板就非常合適高密度的服務(wù)器，其獨(dú)特的結(jié)構(gòu)設(shè)計(jì)最大可實(shí)現(xiàn)每英寸含130個(gè)散熱翅片。為了滿足不同芯片的散熱要求，也可以依照芯片差異如CPU、專用集成電路、RAM、圖形處理器、芯片組、加速器卡及硬盤(pán)驅(qū)動(dòng)器等定制不同的散熱冷板。作為散熱冷板本身無(wú)任何運(yùn)動(dòng)部件，可靠性極高。
分歧管分配經(jīng)過(guò)熱交換模塊冷卻的冷卻液均勻有序地進(jìn)入芯片散熱冷板，防止不同路徑的芯片散熱冷板出現(xiàn)欠流或者過(guò)流情況。分歧管通常由不銹鋼本體及干斷快速接頭組成，分歧管強(qiáng)度高，可靠性好，做到100%無(wú)滴漏。干斷快速接頭內(nèi)置雙切斷閥，金屬接口確保長(zhǎng)期穩(wěn)定可靠運(yùn)行。而芯片散熱板與分歧管通常通過(guò)內(nèi)徑為6mm的氯化丁基橡膠（CIIR）管或者氟化乙丙烯（FEP）管連接。
3 二次側(cè)集中循環(huán)直接接觸冷板液冷系統(tǒng)的設(shè)計(jì)分析
由于采用直接接觸冷板式液冷服務(wù)器的散熱方式存在差異，而且在負(fù)荷選取的就存在明顯差異，所以系統(tǒng)的設(shè)計(jì)流程也不盡一致。其設(shè)計(jì)流程如圖4所示。
其他電子散熱指的是服務(wù)器中除了芯片集中散熱以外的其他電子元器件的散熱，通常需要考慮服務(wù)器15%~30%左右的整體散熱量。在選擇換熱模塊時(shí)應(yīng)考慮進(jìn)水溫度對(duì)于換熱模塊換熱能力的影響，依據(jù)室外散熱設(shè)備的設(shè)計(jì)出水溫度對(duì)換熱模塊的換熱量進(jìn)行修正，通常換熱模塊的換熱量是一次側(cè)循環(huán)液進(jìn)口溫度在30 ℃，額定流量下的標(biāo)稱能力，應(yīng)依據(jù)不同一次側(cè)進(jìn)口溫度及一次側(cè)流量對(duì)換熱量的進(jìn)行修正。如圖5所示是典型換熱模塊的冷量曲線圖。
另外，冷板在不同的二次側(cè)冷卻液流量下其冷卻能力也會(huì)發(fā)生變化，圖6是典型冷板的熱阻與流量之間性能曲線。在設(shè)計(jì)過(guò)程中需要考慮散熱能力修正。
液冷系統(tǒng)的冷卻介質(zhì)為水溶液，防止水患對(duì)于保證數(shù)據(jù)中心的安全生產(chǎn)十分重要。該系統(tǒng)主要從如下3方面來(lái)防范泄漏帶來(lái)的危害：首先是管路材料的選擇，二次側(cè)部分的中間連接管路應(yīng)采用氯化丁基橡膠（CIIR）管或者氟化乙丙烯（FEP）管連接，而管路之間連接接頭均應(yīng)采用內(nèi)置雙切斷閥的快速干斷接頭防止接頭漏水，一次側(cè)管路宜采用無(wú)縫鋼管保證足夠耐壓強(qiáng)度；其次，選擇合適的管路安裝位置，為了防止一次側(cè)水系統(tǒng)的單點(diǎn)故障，主管路通常是環(huán)狀設(shè)計(jì)，可將主管路沿機(jī)房墻邊布置，且安裝在配有應(yīng)急地漏的專用套槽內(nèi)防止管路泄露水直接噴射至服務(wù)器區(qū)域，每路一次側(cè)支管上均安裝電磁閥可實(shí)現(xiàn)快速手動(dòng)及電動(dòng)切斷；最后，在服務(wù)器機(jī)柜底部及主管管路套槽內(nèi)加裝漏水報(bào)警，漏水報(bào)警除發(fā)出聲光報(bào)警外，服務(wù)器機(jī)柜底部的漏水報(bào)警信號(hào)既用于切斷其對(duì)應(yīng)的換熱模塊中二次側(cè)水泵的運(yùn)行同時(shí)用于關(guān)閉對(duì)應(yīng)一次側(cè)支管的電磁閥，而套槽內(nèi)加裝的漏水報(bào)警則與機(jī)房?jī)?nèi)主管電磁閥聯(lián)動(dòng)。
我國(guó)氣候差異大，若項(xiàng)目所在地冬季最低室外溫度低于0 ℃則應(yīng)在循環(huán)液中添加乙二醇抗凍劑防止室外管路凍裂。乙二醇本身對(duì)普通金屬的腐蝕性比水低，但使用過(guò)程中被氧化成弱酸性，有弱腐蝕性，故管道不能用鍍鋅材料；同時(shí)無(wú)論是閉式冷卻塔還是干冷器都是通過(guò)銅管管壁進(jìn)行換熱，質(zhì)量濃度為20%以下的乙二醇溶液對(duì)銅管具有較強(qiáng)的腐蝕性，所以應(yīng)按照項(xiàng)目當(dāng)?shù)厥彝鉁囟冗x擇對(duì)應(yīng)質(zhì)量濃度的乙二醇溶液，但不宜低于20%。另外在計(jì)算乙二醇溶液循環(huán)泵的流量與揚(yáng)程時(shí)應(yīng)在常規(guī)算法的基礎(chǔ)上依據(jù)濃度的不同乘上對(duì)應(yīng)的修正系數(shù)。
4 二次側(cè)集中循環(huán)直接接觸冷板式液冷系統(tǒng)工程應(yīng)用的節(jié)能分析
由于液冷冷板直接接觸發(fā)熱芯片吸熱，而芯片的耐熱溫度高達(dá)65 ℃，所以液冷系統(tǒng)適用的溫度非常高，按照美國(guó)供熱、制冷及空調(diào)工程師學(xué)會(huì)（ASHARE）2011年發(fā)布的液冷白皮書(shū)的分類推薦，換熱模塊的進(jìn)口溫度甚至可以高達(dá)45 ℃。正因如此，該系統(tǒng)就可以直接使用室外干冷器或閉式冷卻塔散熱，而不需要任何機(jī)械制冷來(lái)散熱。由于不需要任何機(jī)械制冷，可以完全使用自然冷卻，該系統(tǒng)的耗電設(shè)備僅有室外干冷器（或閉式冷卻塔）、一次側(cè)循環(huán)泵及二次側(cè)循環(huán)泵，系統(tǒng)的耗電功率將大大降低。
現(xiàn)以上海某數(shù)據(jù)機(jī)房為例作該液冷系統(tǒng)節(jié)能分析，該機(jī)房為典型的高密度機(jī)房，機(jī)房面積為60 m2左右，配置6個(gè)服務(wù)器機(jī)柜，每個(gè)機(jī)柜服務(wù)的發(fā)熱量為11 kW，采用熱通道封閉方式實(shí)現(xiàn)機(jī)房高效節(jié)能。按照全部服務(wù)器采用傳統(tǒng)風(fēng)冷服務(wù)器，50%機(jī)柜采用冷板液冷服務(wù)器搭配50%機(jī)柜服務(wù)器采用傳統(tǒng)風(fēng)冷服務(wù)器及全部采用冷板液冷服務(wù)器3種不同方案進(jìn)行比較，所有方案的風(fēng)冷散熱均采用變頻渦旋式壓縮機(jī)風(fēng)冷行間空調(diào)來(lái)實(shí)現(xiàn)。
根據(jù)《實(shí)用供熱空調(diào)設(shè)計(jì)手冊(cè)》中的上海氣象參數(shù)作為設(shè)計(jì)依據(jù)，詳見(jiàn)表1所示。
根據(jù)GB 50174—2017《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》對(duì)A級(jí)機(jī)房對(duì)環(huán)境要求：冷通道或機(jī)柜進(jìn)風(fēng)區(qū)域的溫度18 ℃～27 ℃，冷通道或機(jī)柜進(jìn)風(fēng)區(qū)域的相對(duì)濕度和露點(diǎn)溫度要求露點(diǎn)溫度為5.5 ℃～15 ℃，同時(shí)相對(duì)濕度不大于60%。依據(jù)《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》給定的參考值范圍，同時(shí)結(jié)合楊彥霞等的推薦參數(shù)本項(xiàng)目采用23 ℃的出風(fēng)溫度作為空調(diào)設(shè)備的選型設(shè)計(jì)依據(jù)。
設(shè)計(jì)空調(diào)系統(tǒng)夏季冷負(fù)荷包括數(shù)據(jù)中心內(nèi)設(shè)備的散熱、建筑圍護(hù)結(jié)構(gòu)得熱、通過(guò)外窗進(jìn)入的太陽(yáng)輻射熱、人體散熱、照明裝置散熱、新風(fēng)負(fù)荷及伴隨各種散濕過(guò)程產(chǎn)生的潛熱。經(jīng)過(guò)精確計(jì)算，本機(jī)房的總制冷負(fù)荷為75 kW，其中服務(wù)器散熱負(fù)荷為66 kW，其他負(fù)荷為9 kW。由于冷板冷卻主要在芯片部分，但是服務(wù)器尚有其他電子元器件散熱，一般占整個(gè)服務(wù)器散熱的15%～30%，本文按照服務(wù)器30%的散熱仍需常規(guī)風(fēng)冷冷卻處理。
液冷系統(tǒng)中按照上海的室外參數(shù)，采用干冷器作為室外散熱機(jī)組，一次側(cè)設(shè)計(jì)溫度進(jìn)口溫度為39 ℃，換熱量參照換熱模塊的性能曲線進(jìn)行修正。
經(jīng)過(guò)對(duì)比分析發(fā)現(xiàn)：在夏季室外設(shè)計(jì)溫度點(diǎn)，全部采用液冷服務(wù)器方案中液冷系統(tǒng)可全部采用自然冷卻，僅30%的散熱采用風(fēng)冷機(jī)械制冷，整個(gè)制冷系統(tǒng)的總耗電功率僅為全部采用風(fēng)冷服務(wù)器方案的46%，此時(shí)機(jī)房制冷系統(tǒng)的pPUE值僅有1.18，系統(tǒng)能效非常高。具體對(duì)比參數(shù)詳見(jiàn)表2。
以上對(duì)比基于風(fēng)冷機(jī)組部分負(fù)載下EER值不變，風(fēng)冷耗電功率僅作線性變化，而事實(shí)上變頻壓縮機(jī)風(fēng)冷行間空調(diào)機(jī)組在部分負(fù)載下，其機(jī)組EER值也會(huì)提高，耗電功率也會(huì)進(jìn)一步降低。以業(yè)界某款典型EC渦旋式壓縮機(jī)風(fēng)冷行間空調(diào)機(jī)組的性能為例，其試驗(yàn)室實(shí)測(cè)部分負(fù)載功率表如表3所示。機(jī)組制冷總功率就是壓縮機(jī)、室內(nèi)風(fēng)機(jī)及室外風(fēng)機(jī)功率之和，而EER值則是制冷量與機(jī)組制冷總功率的比值。圖7與圖8是匯總計(jì)算后典型EC渦旋式壓縮機(jī)風(fēng)冷行間空調(diào)部分負(fù)載下的整機(jī)耗電功率曲線及整機(jī)EER值曲線。
從上述曲線可以判斷，若是配置了變頻壓縮機(jī)風(fēng)冷空調(diào)機(jī)組的既有項(xiàng)目，保持之前的風(fēng)冷空調(diào)機(jī)組繼續(xù)運(yùn)行，則機(jī)房制冷系統(tǒng)的pPUE值相對(duì)于新建項(xiàng)目將進(jìn)一步降低，以本項(xiàng)目為例，將既有機(jī)房中的服務(wù)器全部更新為液冷服務(wù)器，保持之前變頻壓縮機(jī)風(fēng)冷行間空調(diào)繼續(xù)運(yùn)行，則該機(jī)房制冷系統(tǒng)的pPUE可進(jìn)一步降低至1.13。所以無(wú)論是新建項(xiàng)目還是改造項(xiàng)目采用冷板液冷方式都將大幅降低機(jī)房制冷功耗。
5 二次側(cè)集中循環(huán)直接接觸冷板式液冷系統(tǒng)性能分析
微通道熱沉的概念在20世紀(jì)80年代年提出，經(jīng)過(guò)幾十年的發(fā)展，技術(shù)日趨成熟，擁有許多優(yōu)異的性能：如散熱性能優(yōu)越，體積小重量輕，無(wú)噪聲，性能穩(wěn)定，可靠性高，壽命長(zhǎng)及與芯片的集成性好等。本文介紹的二次側(cè)集中循環(huán)直接接觸冷板式液冷系統(tǒng)除了上述傳統(tǒng)優(yōu)勢(shì)外，即使與其他的液冷技術(shù)相比，也是技術(shù)領(lǐng)先，性能可靠。表4及表5是該系統(tǒng)分別與浸沒(méi)式液冷系統(tǒng)及二次側(cè)分散循環(huán)泵直接接觸冷板式液冷系統(tǒng)的性能對(duì)比，可以看出：該系統(tǒng)無(wú)論是從初投資、可靠性、維護(hù)便利性及使用壽命等方面均具有巨大優(yōu)勢(shì)。
6 結(jié)論與展望
二次側(cè)集中循環(huán)直接接觸冷板式液冷系統(tǒng)同傳統(tǒng)風(fēng)冷服務(wù)器制冷系統(tǒng)相比節(jié)能效果明顯，在系統(tǒng)可靠性、維護(hù)便利性等綜合性能上也優(yōu)于其他液冷系統(tǒng)。無(wú)論是改造既有項(xiàng)目還是新建數(shù)據(jù)中心采用該液冷系統(tǒng)都將有利于打造綠色數(shù)據(jù)中心。在節(jié)能減排的大背景下，該系統(tǒng)的應(yīng)用前景光明，將成為數(shù)據(jù)中心的新選擇。
|
