液冷數(shù)據(jù)中心專題研究:制冷革新減耗“東數(shù)西算”
發(fā)布日期:2022-10-26 瀏覽次數(shù):838
1.1、政策背景:國家政策指導(dǎo)全國新建大型、超大型數(shù)據(jù)中心平均PUE降到1.3以下、樞紐節(jié)點(diǎn)降到1.25以下
全球主要國家承諾最晚于 2050 年完成碳中和計(jì)劃,數(shù)據(jù)中心綠色、低碳政策陸 續(xù)出臺實(shí)施。政府間氣候變化委員會在 2018 年 10 月 8 日發(fā)布特別報(bào)告提出將全球 變暖限制在 1.5°C,需要在土地、能源、工業(yè)等方面加速轉(zhuǎn)型,到 2050 年左右達(dá)到 “凈零”排放。切實(shí)到各國的數(shù)據(jù)中心的低碳政策,美國政府通過 DCOI 數(shù)據(jù)中心 優(yōu)化倡議等舉措,以整合和關(guān)閉數(shù)據(jù)中心、設(shè)定數(shù)據(jù)中心 PUE 及服務(wù)器使用率具體 標(biāo)準(zhǔn)等方式,實(shí)現(xiàn)了數(shù)據(jù)中心 PUE 從平均 2.0 以上下降到近一半大型數(shù)據(jù)中心達(dá)到 1.5 甚至 1.4 以下。
新加坡發(fā)布的《綠色數(shù)據(jù)中心技術(shù)路線圖》提出提高冷卻設(shè)備效 率、IT 設(shè)備溫濕度耐受能力、數(shù)據(jù)中心的資源調(diào)度和負(fù)荷分配集成優(yōu)化能力等建議。 歐盟通過 2020 年歐盟數(shù)據(jù)中心能源效率行為準(zhǔn)則的最佳實(shí)踐指南和和歐洲數(shù)據(jù)中心 能源效率現(xiàn)狀白皮書進(jìn)一步細(xì)化和規(guī)范了數(shù)據(jù)中心 PUE、SUE、DCiE 等綠色指標(biāo)。
為推動行業(yè)規(guī)范和快速發(fā)展,國家工信部等部門相繼發(fā)布數(shù)據(jù)中心指導(dǎo)政策。 2021 年 11 月,國家發(fā)改委聯(lián)合網(wǎng)信辦、工信部、能源局共同發(fā)布《貫徹落實(shí)碳達(dá)峰 碳中和目標(biāo)要求推動數(shù)據(jù)中心和 5G 等新型基礎(chǔ)設(shè)施綠色高質(zhì)量發(fā)展實(shí)施方案》,指 出堅(jiān)持集約化、綠色化、智能化建設(shè),加快節(jié)能低碳技術(shù)的研發(fā)推廣,支持技術(shù)創(chuàng) 新和模式創(chuàng)新。全國新建大型、超大型數(shù)據(jù)中心平均電能利用效率降到 1.3 以下,國 家樞紐節(jié)點(diǎn)進(jìn)一步降到 1.25 以下,綠色低碳等級達(dá)到 4A 級以上。
1.2、概念解析:液冷技術(shù)在散熱效率、適用功率等方面優(yōu)于風(fēng)冷,其中浸沒式液冷可將平均PUE降至1.2以下
數(shù)據(jù)中心基礎(chǔ)設(shè)施是支撐數(shù)據(jù)中心正常運(yùn)行的各類系統(tǒng)的統(tǒng)稱,具體包括制冷、配電、機(jī)柜、布線、監(jiān)控等系統(tǒng),是數(shù)據(jù)中心的組成部分之一。數(shù)據(jù)中心是用于在 網(wǎng)絡(luò)上傳遞、加速、展示、計(jì)算和儲存數(shù)據(jù)信息的物理場所,主要應(yīng)用于對數(shù)據(jù)計(jì) 算和儲存有較大需求的組織。一個(gè)完整的數(shù)據(jù)中心由 IT 設(shè)備和基礎(chǔ)設(shè)施共同構(gòu)成。數(shù)據(jù)中心可根據(jù)基礎(chǔ)設(shè)施的標(biāo)準(zhǔn)機(jī)架數(shù)量進(jìn)行劃分?!豆I(yè)和信息化部、發(fā)展改 革委、國土資源部等關(guān)于數(shù)據(jù)中心建設(shè)布局的指導(dǎo)意見》文件中,將數(shù)據(jù)中心劃分 為超大型、大型、中小型三類。不同類型的數(shù)據(jù)中心機(jī)架規(guī)模不同,對應(yīng)的基礎(chǔ)設(shè) 施解決方案也不相同。
數(shù)據(jù)中心基礎(chǔ)設(shè)施可按照不同制冷方式進(jìn)行劃分風(fēng)冷數(shù)據(jù)中心基礎(chǔ)設(shè)施和液冷 數(shù)據(jù)中心基礎(chǔ)設(shè)施。風(fēng)冷方式發(fā)展起步早,技術(shù)較為成熟,液冷方式是近幾年由于 數(shù)據(jù)中心對散熱需求提升而出現(xiàn)的新方式,技術(shù)尚處于發(fā)展階段。液冷方式又分為 冷板式液冷和浸沒式液冷兩種,其中浸沒式液冷方式可再細(xì)分為相變浸沒式液冷和 非相變浸沒式液冷。
冷板式液冷為間接接觸型,浸沒式液冷為直接接觸型。風(fēng)冷是以空氣作為冷媒, 通過空氣與發(fā)熱部件接觸換熱實(shí)現(xiàn)散熱的冷卻方式。液冷是以液體作為冷媒的冷卻 方式,利用液體將數(shù)據(jù)中心 IT 設(shè)備內(nèi)部元器件產(chǎn)生的熱量傳遞到設(shè)備外,從而冷卻 IT 設(shè)備。其中,冷板式液冷是一種間接接觸型液冷,將冷板固定在散熱對象上,液 體在冷板內(nèi)流動將設(shè)備熱量傳遞帶走,實(shí)現(xiàn)散熱。浸沒式液冷是一種直接接觸型液 冷,將服務(wù)器等有散熱需求的 IT 設(shè)備完全浸沒在冷卻液中,通過液體的循環(huán)流動或 相變進(jìn)行冷卻。
浸沒式液冷可將數(shù)據(jù)中心 PUE 降低至 1.2 以下,優(yōu)于風(fēng)冷和冷板式液冷。對比 不同制冷方式,浸沒式液冷冷卻液和發(fā)熱設(shè)備充分接觸,散熱效率更高,可將數(shù)據(jù) 中心 PUE 降低至 1.2 以下,運(yùn)行更穩(wěn)定,同時(shí)由于沒有風(fēng)扇,噪音更低,符合國家 發(fā)改委對數(shù)據(jù)中心建設(shè)的政策指導(dǎo)目標(biāo),是未來數(shù)據(jù)中心基礎(chǔ)設(shè)施建設(shè)的發(fā)展方向。兩相浸沒液冷的能耗低于單相浸沒液冷。數(shù)據(jù)中心浸沒式液冷技術(shù)的能耗主要 由促使液體循環(huán)的泵和室外冷卻設(shè)備產(chǎn)生,根據(jù)冷卻液換熱過程中是否發(fā)生相變可 分為單相浸沒式液冷與兩相浸沒式液冷。其中,兩相浸沒式的冷卻液循環(huán)是無源的, 因此兩相浸沒液冷的能耗一般要低于單相浸沒液冷。由于浸沒式液冷的室外側(cè)通常 是高溫水,其室外冷卻設(shè)備往往可以利用自然冷源且不受選址區(qū)域的限制,從而起 到節(jié)能減排的目的。
1.3、典型應(yīng)用:液冷技術(shù)商用條件逐漸成熟,國內(nèi)外實(shí)踐案例不斷增多
隨著液冷相關(guān)技術(shù)日益成熟,國內(nèi)外已有多家企業(yè)開始面向客戶提供針對不同 散熱需求下的液冷技術(shù)解決方案,一些科技公司也將基于液冷技術(shù)的散熱系統(tǒng)部署 于公司數(shù)據(jù)中心。 阿里云作為國內(nèi)領(lǐng)先的云服務(wù)提供商,是最早探索和實(shí)踐大規(guī)模液冷方案的科 技公司之一。2020 年 1 月,阿里云宣布向全社會開放“浸沒液冷數(shù)據(jù)中心技術(shù)規(guī)范”, 2020 年 9 月,仁和數(shù)據(jù)中心開服,采用服務(wù)器全浸沒液冷等多項(xiàng)節(jié)能技術(shù)進(jìn)行規(guī)劃 設(shè)計(jì)與建造,PUE 低至 1.09,相比傳統(tǒng)風(fēng)冷數(shù)據(jù)中心每年可節(jié)省 3000 萬度電,該 數(shù)據(jù)中心成為我國首座綠色等級達(dá)到 5A 級的液冷數(shù)據(jù)中心;2021 年 12 月,阿里云 發(fā)布磐久系列液冷一體機(jī) Immersion DC 1000,整體能耗可下降 34.6\%。
中科曙光面向人工智能、大數(shù)據(jù)等多種應(yīng)用場景,推出硅立方液體相變冷卻計(jì) 算機(jī)。硅立方液體相變冷卻計(jì)算機(jī)采用創(chuàng)新的浸沒液冷技術(shù),PUE 低至 1.04,節(jié)能 效果顯著。硅立方將服務(wù)器芯片、主板在內(nèi)的所有計(jì)算部件浸沒于液態(tài)冷媒中,將 部件產(chǎn)生的熱量通過相變換熱的方式轉(zhuǎn)移出設(shè)備,實(shí)現(xiàn)了高效散熱。同時(shí),硅立方 一個(gè)機(jī)柜功率密度可達(dá)到 160kW,是傳統(tǒng)風(fēng)冷數(shù)據(jù)中心的 4-5 倍,能效比提升了 30\%。
馬來西亞氣象局?jǐn)?shù)據(jù)中心為更好地捕捉局部強(qiáng)對流天氣,滿足三維播報(bào)所增加 的 27 倍算力需求,配置了聯(lián)想的冷板式液冷設(shè)備。在該系統(tǒng)中,水被送入服務(wù)器冷 板,在組件周圍循環(huán),然后吸收熱量離開冷板,進(jìn)入冷源實(shí)現(xiàn)冷卻。據(jù)測算,馬來 西亞氣象局應(yīng)用液冷系統(tǒng)后,散熱效果高達(dá) 90\%,有力地支持了氣象預(yù)測的精度提 升。 Facebook 針對新加坡潮濕天氣打造了 Facebook 新加坡亞洲數(shù)據(jù)中心。該數(shù)據(jù)中 心采用 StatePoint Liquid Cooling 液冷系統(tǒng),用水來降低氣溫,可以節(jié)約最高 20\%的 用水量。Facebook 還計(jì)劃全部使用可持續(xù)能源來給整個(gè)數(shù)據(jù)中心供電。
在浸沒式液冷解決方案的供給端,國內(nèi)外均有企業(yè)在積極布局。例如,總部位 于美國的 Green Revolution Cooling 主要提供數(shù)據(jù)中心單相浸沒式液冷解決方案,面 向高性能計(jì)算、邊緣數(shù)據(jù)中心、區(qū)塊鏈和加密貨幣等場景提供具有完整冷卻和電力 基礎(chǔ)設(shè)施的一站式模塊化數(shù)據(jù)中心;總部位于荷蘭的 Asperitas 采用自然對流驅(qū)動的 單相浸沒式液冷技術(shù),其 HP Czone 系列產(chǎn)品可為各種高性能計(jì)算場景提供一站式解 決方案。在國內(nèi),浪潮信息于2018年推出了小型可移動的浸沒式液冷超算TS4220LC; 中科曙光旗下的曙光數(shù)創(chuàng)推出了相變浸沒式液冷配套解決方案 C8000,能夠?qū)?PUE 值降到 1.05 以下。
隨著邊緣算力需求的提升,液冷技術(shù)應(yīng)用場景將從云端擴(kuò)展到邊緣。終端算力 需求的提升使得傳統(tǒng)云算力逐漸下沉到邊緣,邊緣計(jì)算服務(wù)器功率密度及散熱需求 同步提升。為了降低數(shù)據(jù)中心制冷能耗,部分邊緣數(shù)據(jù)中心也開始引入液冷邊緣服 務(wù)器,以提升邊緣數(shù)據(jù)中心的能效水平。
2、思考二:液冷數(shù)據(jù)中心的現(xiàn)狀、規(guī)模和增長邏輯如何?
2.1、產(chǎn)業(yè)現(xiàn)狀:在我國高密度數(shù)據(jù)中心市場擁有更高增速,2021年30kW以上規(guī)模增速達(dá)31\%
數(shù)據(jù)中心基礎(chǔ)設(shè)施的發(fā)展依托于數(shù)據(jù)中心的發(fā)展。數(shù)據(jù)中心發(fā)展經(jīng)歷了三個(gè)發(fā) 展階段。第一階段:第一代數(shù)據(jù)機(jī)房出現(xiàn)并發(fā)展,由于計(jì)算機(jī)以電子管和晶體管為 主,體積大、散熱需求高,催生精密機(jī)房專業(yè)空調(diào)等專業(yè)設(shè)備的出現(xiàn)。第二階段: 集成電路迅速發(fā)展,進(jìn)入微型計(jì)算機(jī)時(shí)代,數(shù)據(jù)機(jī)房形態(tài)向中小型發(fā)展。第三階段: 互聯(lián)網(wǎng)的興起,5G、工業(yè)互聯(lián)網(wǎng)、人工智能、云計(jì)算、大數(shù)據(jù)等技術(shù)和新應(yīng)用的快 速發(fā)展催生數(shù)據(jù)處理和儲存的需求,數(shù)據(jù)機(jī)房逐漸向數(shù)據(jù)中心新形態(tài)演變。
全球視角。2020 年全球功率超過 10kW/柜的機(jī)架占比達(dá)到近 30\%。全球計(jì)算機(jī)算力日益增 長,數(shù)據(jù)中心功率密度相應(yīng)提升、平均機(jī)架功率也隨之不斷提升,根據(jù) Uptime Institute Intelligence 數(shù)據(jù),2020 年全球 5-9kW/柜的機(jī)架占比最多,功率超過 10kW/柜的機(jī)架 占比達(dá)到近 30\%,單機(jī)架功率的提升與高密度服務(wù)器規(guī)模部署和應(yīng)用具備較強(qiáng)相關(guān) 性。當(dāng)前,Intel、IBM、華為、浪潮、曙光等廠商陸續(xù)加速推進(jìn)高密度服務(wù)器的產(chǎn)品 設(shè)計(jì)與市場布局。全球數(shù)據(jù)中心市場以 10\%的 CAGR 穩(wěn)定增長。全球數(shù)據(jù)中心市場規(guī)模由 2017 年的 465.5 億美元逐步增長至 2021 年的 679.3 億美元,市場增速保持在 10\%左右, 據(jù)中國信通院預(yù)測,2022 年全球規(guī)模有望接近 750 億美元。
我國視角 在我國高密度數(shù)據(jù)中心市場規(guī)模擁有更高的增速,特別是 30kW 以上。近年來, 國內(nèi)數(shù)據(jù)中心建設(shè)進(jìn)入高峰期,新建數(shù)據(jù)中心數(shù)量快速增長,功率密度逐年上升。 根據(jù)《2021-2022 年度中國數(shù)據(jù)中心基礎(chǔ)設(shè)施產(chǎn)品市場總報(bào)告》,2021 年單機(jī)柜功率 在 10kW 以上的數(shù)據(jù)中心市場規(guī)??焖僭鲩L,增長率超過 10\%,其中 30kW 以上的 高密度數(shù)據(jù)中心增長速度最快,達(dá)到 31\%。
預(yù)計(jì)到 2023 年底全國數(shù)據(jù)中心機(jī)架規(guī)模 CAGR 約 20\%。從產(chǎn)業(yè)規(guī)模上來看, 數(shù)據(jù)中心的產(chǎn)業(yè)規(guī)??焖僭鲩L。根據(jù)中國信通院的數(shù)據(jù)顯示,2021 年,中國數(shù)據(jù)中 心在用機(jī)架數(shù)量達(dá)到 520 萬架,較 2020 年增加超過 100 萬架。《新型數(shù)據(jù)中心發(fā)展 三年行動計(jì)劃(2021-2023 年)》指出,到 2023 年底,全國數(shù)據(jù)中心機(jī)架規(guī)模年均增 速保持在 20\%左右,預(yù)計(jì)到 2023 年,中國數(shù)據(jù)中心在用數(shù)量超過 800 萬架。數(shù)據(jù)中 心機(jī)架數(shù)量的持續(xù)增長表明數(shù)據(jù)中心產(chǎn)業(yè)的整體規(guī)模不斷擴(kuò)大,同時(shí)反映數(shù)據(jù)中心 基礎(chǔ)設(shè)施產(chǎn)業(yè)不斷發(fā)展。
我國數(shù)據(jù)中心及其基礎(chǔ)設(shè)施市場規(guī)模保持較快增長趨勢。根據(jù)中國信通院數(shù)據(jù) 顯示,2021 年中國數(shù)據(jù)中心市場規(guī)模超過 1500 億元,預(yù)計(jì) 2022 年中國數(shù)據(jù)中心市 場規(guī)模突破 1900 億元人民幣,呈現(xiàn)較快的增長趨勢。數(shù)據(jù)中心的產(chǎn)業(yè)規(guī)模的增長表 明數(shù)據(jù)中心基礎(chǔ)設(shè)施的市場規(guī)模也呈現(xiàn)快速增長的趨勢。根據(jù)賽迪顧問數(shù)據(jù),2019 年我國數(shù)據(jù)中心基礎(chǔ)設(shè)施的市場規(guī)模達(dá) 161.9 億元,預(yù)計(jì)到 2025 年達(dá)到 461.2 億元。
2021 年度全國數(shù)據(jù)中心平均 PUE 為 1.49。近年來,我國數(shù)據(jù)中心綠色發(fā)展進(jìn)程 日益加快,數(shù)據(jù)中心的能效水平不斷提高,電源使用效率持續(xù)降低。2021 年度全國 數(shù)據(jù)中心平均 PUE 為 1.49,并且有相當(dāng)數(shù)量的數(shù)據(jù)中心 PUE 超過 1.8 甚至 2.0(數(shù) 據(jù)來源:CDCC),和國家《國家發(fā)展改革委等部關(guān)于嚴(yán)格能效約束推動重點(diǎn)領(lǐng)域節(jié) 能降碳的若干意見》要求的到 2025 年數(shù)據(jù)中心 PUE<1.5 的總體規(guī)劃已經(jīng)基本相當(dāng)。 但是隨著超高密度數(shù)據(jù)中心的建設(shè)節(jié)奏加快,傳統(tǒng)風(fēng)冷已無法滿足高性價(jià)比、低 PUE 的需求,因此改進(jìn)數(shù)據(jù)中心制冷等基礎(chǔ)設(shè)施技術(shù),提高制冷效率,減少制冷系統(tǒng)的 能耗水平,成為未來發(fā)展方向。
液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施市場接受度不斷提高。伴隨著液冷數(shù)據(jù)中心及其基礎(chǔ)設(shè) 施的逐步大規(guī)模商業(yè)應(yīng)用,以及液冷技術(shù)的優(yōu)勢不斷顯現(xiàn)和傳統(tǒng)觀念的改變,液冷 數(shù)據(jù)中心的市場接受度將不斷提高,技術(shù)設(shè)施普及速度加快。 液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施技術(shù)和性能不斷優(yōu)化。一方面,近幾年國家政策支持液 冷先進(jìn)數(shù)據(jù)中心技術(shù)發(fā)展,各項(xiàng)文件鼓勵企業(yè)開展新興數(shù)據(jù)中心預(yù)制化、液冷等設(shè) 施層技術(shù)開發(fā),另一方面,液冷基礎(chǔ)設(shè)施將不斷向預(yù)制化、智能化、低碳化方向發(fā) 展。
2.2、下游市場:互聯(lián)網(wǎng)、金融和電信行業(yè)液冷應(yīng)用前景較好
由于液冷技術(shù)具有高效制冷的特點(diǎn),液冷數(shù)據(jù)中心及其基礎(chǔ)設(shè)施主要應(yīng)用于高 性能計(jì)算機(jī)的領(lǐng)域,除了未公開披露的部分高性能計(jì)算機(jī)項(xiàng)目,液冷技術(shù)目前應(yīng)用 的行業(yè)主要有互聯(lián)網(wǎng)、金融、電信、能源、生物、醫(yī)療等。2019 年液冷數(shù)據(jù)中心主 要運(yùn)用在以超算為代表的應(yīng)用中。其中,互聯(lián)網(wǎng)、金融電信占比分別為 20\%、17\% 及 15.5\%。隨著互聯(lián)網(wǎng)、金融和電信行業(yè)業(yè)務(wù)量的快速增長,對數(shù)據(jù)中心液冷需求 將會持續(xù)擴(kuò)大。據(jù)賽迪顧問數(shù)據(jù),預(yù)計(jì) 2025 年互聯(lián)網(wǎng)行業(yè)液冷數(shù)據(jù)中心占比達(dá)到 24\%,金融行業(yè)達(dá)到 25\%,電信行業(yè)達(dá)到 23\%。
互聯(lián)網(wǎng)行業(yè)的電商、社交平臺、短視頻等領(lǐng)域龍頭企業(yè)較多,用戶群體大,業(yè) 務(wù)體量大,數(shù)據(jù)中心算力需求大,單機(jī)柜密度可達(dá)到 10kW 甚至更高,是目前液冷 數(shù)據(jù)中心的核心客戶。根據(jù)賽迪顧問數(shù)據(jù),2019 年互聯(lián)網(wǎng)液冷數(shù)據(jù)中心市場規(guī)模為 70.2 億元,預(yù)計(jì) 2025 年市場規(guī)模增長至 319.3 億元,年復(fù)合增長率達(dá) 28.72\%。隨著金融行業(yè)信息系統(tǒng)的云化遷移和互聯(lián)網(wǎng)金融產(chǎn)品的普及,金融行業(yè)敏捷響 應(yīng)、業(yè)務(wù)及時(shí)變更等需求增加,金融行業(yè)液冷數(shù)據(jù)中心算力需求進(jìn)一步提升。根據(jù) 賽迪數(shù)據(jù),2019 年金融液冷數(shù)據(jù)中心市場規(guī)模為 59.6 億元,預(yù)計(jì) 2025 年市場規(guī)模 增長至 332.6 億元,2019-2025 年 CAGR 達(dá) 33.18\%。
電信行業(yè)緊抓綜合信息服務(wù)需求 日益云化的趨勢,全面推進(jìn)“云改”,液冷數(shù) 據(jù)中心需求量快速增長。根據(jù)賽迪數(shù)據(jù),2019 年電信行業(yè)液冷數(shù)據(jù)中心市場規(guī)模為 54.4 億元,預(yù)計(jì) 2025 年市場規(guī)模增長至 306 億元,2019-2025 年 CAGR 達(dá) 33.36\%。
2.3、產(chǎn)業(yè)邏輯:單機(jī)柜功率快速增加背景下,液冷是風(fēng)冷替代技術(shù)的代表,數(shù)據(jù)中心散熱“革命”勢在必行
預(yù)計(jì)到 2025 年全球數(shù)據(jù)中心平均功率達(dá)到 25kW。數(shù)據(jù)量的大規(guī)模增長需要海 量服務(wù)器以支撐大量的計(jì)算能力,受限于數(shù)據(jù)中心建設(shè)面積和環(huán)保規(guī)定,增加單機(jī) 柜功率成為調(diào)和不斷增長的算力需求和有限的數(shù)據(jù)中心承載能力的關(guān)鍵解決方案。 據(jù)賽迪顧問預(yù)測,快速增長的數(shù)據(jù)中心算力將推動高功率單機(jī)柜快速普及,預(yù)計(jì)到 2025 年全球數(shù)據(jù)中心平均功率達(dá)到 25kW。 PUE=1.5 的數(shù)據(jù)中心,27\%來自制冷系統(tǒng)功耗。大量數(shù)據(jù)吞吐和運(yùn)算使得作為 新興技術(shù)“大腦”的數(shù)據(jù)中心面臨巨大的能耗和散熱挑戰(zhàn)。一方面,服務(wù)器等 IT 設(shè) 備的計(jì)算、存儲功耗龐大;另一方面,冷卻數(shù)據(jù)中心 IT 設(shè)備的功耗也在快速增長。 以一個(gè) PUE=1.5 的數(shù)據(jù)中心為例,其中 67\%的電力消耗來自 ICT 設(shè)備功耗,27\%來 自制冷系統(tǒng)功耗,5\%功耗由供配電損耗和 1\%由其他設(shè)備產(chǎn)生。
液冷技術(shù)是風(fēng)冷替代技術(shù)的代表。隨著數(shù)據(jù)中心業(yè)務(wù)量不斷增加,導(dǎo)致冷負(fù)荷 密度提升,傳統(tǒng)空調(diào)系統(tǒng)面臨散熱不足、能耗嚴(yán)重的問題。針對傳統(tǒng)空調(diào)系統(tǒng)的不 足,業(yè)內(nèi)對空調(diào)技術(shù)模式進(jìn)行探索創(chuàng)新,通過一系列冷風(fēng)替代技術(shù)解決高能耗問題, 液冷技術(shù)則是其中代表。
液冷方式可滿足 2.7-30kW /機(jī)柜的數(shù)據(jù)中心散熱需求。在數(shù)據(jù)中心制冷領(lǐng)域存 在多種技術(shù)路徑的實(shí)現(xiàn)制冷目的,根據(jù)《綠色數(shù)據(jù)中心白皮書》指出的不同密度數(shù) 據(jù)中心對應(yīng)的制冷方式,傳統(tǒng)的風(fēng)冷方式只能滿足 2.7kW/機(jī)柜的數(shù)據(jù)中心散熱需求, 已經(jīng)無法完全滿足數(shù)據(jù)中心日益增長的散熱需求,數(shù)據(jù)中心制冷領(lǐng)域的技術(shù)出現(xiàn)了 革新。目前,液冷技術(shù)憑借著高穩(wěn)定性和高散熱效能逐漸體現(xiàn)出優(yōu)勢,水冷/液冷方 式可滿足 2.7-30kW /機(jī)柜的數(shù)據(jù)中心散熱需求,能夠解決超高熱流密度的散熱問題。
15kW/柜以上時(shí),液冷技術(shù)更具經(jīng)濟(jì)性優(yōu)勢。除風(fēng)冷技術(shù)和液冷技術(shù)之外,制 冷設(shè)備節(jié)能技術(shù)還包括間接蒸發(fā)冷卻等。綜合應(yīng)用端而言,15kW/柜以上時(shí)風(fēng)冷技術(shù) 成本上升,液冷技術(shù)顯露其經(jīng)濟(jì)性優(yōu)勢。作為液冷目前主流的冷板式液冷和浸沒式 液冷,當(dāng)前主要用于高功率密度型業(yè)務(wù)如 HPC(High Performance Computing,高性能 計(jì)算)和人工智能計(jì)算,通常單機(jī)柜功率超過 20kW。當(dāng)前冷板式液冷主要應(yīng)用于一 般高密度的數(shù)據(jù)中心領(lǐng)域,而浸沒式液冷目前主要集中應(yīng)用于超高密度數(shù)據(jù)中心領(lǐng)域。
相比傳統(tǒng)風(fēng)冷技術(shù),液冷技術(shù)的技術(shù)優(yōu)勢主要體現(xiàn)在一下幾個(gè)方面:
(1)更高的能源利用率。由于液體具有較高的導(dǎo)熱率和比熱容,更夠更快地傳 導(dǎo)以及更有效地吸收熱量,能夠保障 CPU 在一定范圍內(nèi)進(jìn)行超頻工作不會出現(xiàn)過熱 故障,有效提升服務(wù)器的適用效率和穩(wěn)定性。
(2)更高的空間利用率。液冷數(shù)據(jù)中心省卻空調(diào)系統(tǒng)和相應(yīng)基礎(chǔ)設(shè)施的建設(shè), 無需安裝冷熱通道封閉設(shè)施,更不需要架空地板,節(jié)省了大量的空間,從而能夠在 單位空間布置更多的服務(wù)器,提高數(shù)據(jù)中心運(yùn)算效率。因此液冷技術(shù)比傳統(tǒng)冷卻方 式具有更高的空間利用率。
(3)能夠?qū)崿F(xiàn)節(jié)能降噪。液冷技術(shù)去掉了風(fēng)冷基礎(chǔ)設(shè)施,只增加了循環(huán)泵,節(jié) 省建設(shè)成本,液冷系統(tǒng)所使用的泵和冷卻液系統(tǒng)與傳統(tǒng)的空調(diào)系統(tǒng)相比噪聲更小。 因此采用液冷技術(shù)更夠?yàn)閿?shù)據(jù)中心實(shí)現(xiàn)節(jié)能、降噪。
(4)無視海拔、地域的差異,同時(shí)余熱可以創(chuàng)造經(jīng)濟(jì)價(jià)值。由于液體比熱容不 受海拔和氣壓影響,可以保持較高的散熱效率,從而保證數(shù)據(jù)中心在高海拔的運(yùn)行 效率和性能。余熱能夠以液體為載體,通過熱交換接入樓宇采暖系統(tǒng)和供水系統(tǒng)中, 滿足附近居民的供暖、溫水供應(yīng)等需求,為數(shù)據(jù)中心創(chuàng)造附加價(jià)值。
隨著芯片技術(shù)與工藝的進(jìn)步,服務(wù)器計(jì)算能力增長快速,但總體功耗也隨之提 升。預(yù)計(jì)到 2025 年,數(shù)據(jù)中心的 x86 CPU 芯片 TDP 提升至 350W 左右,ARM CPU 芯片的 TDP 提升至 600W 左右,而用于人工智能計(jì)算的 NPU/GPU 芯片會提升到 750W 左右。同時(shí)期對應(yīng)的典型服務(wù)器 (2U 高度 2 路處理器 )功率也持續(xù)演進(jìn),x86 CPU 服務(wù)器會提升到 725W 左右,ARM CPU 服務(wù)器提升至 1000W 左右,用于人工 智能計(jì)算的 NPU/GPU 服務(wù)器會提升到 1500W 左右?;谶@些預(yù)測,2025 年主流機(jī) 柜功率預(yù)計(jì)會達(dá)到 12~15kW/柜,未來會繼續(xù)增加到 25kW-50kW/柜,甚至更高(數(shù) 據(jù)來源:國家信息中心等《“碳達(dá)峰、碳中和”背景下數(shù)據(jù)中心綠色高質(zhì)量發(fā)展研究 報(bào)告(2022)》)。在此背景下,我們認(rèn)為數(shù)據(jù)中心散熱“革命”勢在必行。
2.4、市場空間:預(yù)計(jì)2025年我國液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施市場規(guī)模達(dá)245億元
預(yù)計(jì) 2025 年中國液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施市場規(guī)??蛇_(dá) 245.3 億元。近年來,隨 著液冷數(shù)據(jù)中心技術(shù)設(shè)施商業(yè)化進(jìn)程加快,以及市場需求高漲,液冷數(shù)據(jù)中心及基 礎(chǔ)設(shè)施市場規(guī)模將保持持續(xù)增長。據(jù)賽迪顧問預(yù)測,中國液冷數(shù)據(jù)中心市場規(guī)模預(yù) 計(jì)由 2019 年的 260.9 億元增長至 2025 年的 1283.2 億元,中國液冷數(shù)據(jù)中心基礎(chǔ)設(shè) 施市場規(guī)模預(yù)計(jì)由 2019 年的 64.7 億元增長至 2025 年的 245.3 億元。
細(xì)分市場來看,預(yù)計(jì)浸沒式液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施占比會持續(xù)擴(kuò)大。2019 年, 冷板式液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施和浸沒式液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施占比分別為82\%、18\%。 冷板式液冷技術(shù)發(fā)展較早,目前冷板式液冷數(shù)據(jù)中心產(chǎn)品在市場上占比較高,但浸 沒式液冷是直接接觸的制冷方式,相較于冷板式液冷,更大程度上利用液體的比熱 容特點(diǎn),制冷效率更高,可以更有效降低數(shù)據(jù)中心 PUE,未來浸沒式液冷數(shù)據(jù)中心 基礎(chǔ)設(shè)施將會占據(jù)更多市場。據(jù)賽迪顧問預(yù)測,2025 年,浸沒式液冷數(shù)據(jù)中心基礎(chǔ) 設(shè)施占比預(yù)期提升至 41\%。
3、思考三:液冷數(shù)據(jù)中心的競爭格局以及各個(gè)公司的業(yè)務(wù)情況如何?
3.1、競爭格局:國外尚未形成龍頭,國內(nèi)液冷廠商領(lǐng)跑技術(shù)前沿
國外尚未形成龍頭廠商,國內(nèi)企業(yè)具有先發(fā)優(yōu)勢。液冷技術(shù)作為高新技術(shù),覆 蓋多學(xué)科、多領(lǐng)域,技術(shù)壁壘高,目前國內(nèi)外數(shù)據(jù)中心基礎(chǔ)設(shè)施廠商液冷技術(shù)普及 率尚較低,掌握該技術(shù)的企業(yè)較少。國際市場中,主要廠商在液冷技術(shù)和產(chǎn)品方面 還處于實(shí)驗(yàn)或初步應(yīng)用階段,市場中尚未形成較強(qiáng)龍頭,市場競爭格局未定,且由 于中國數(shù)據(jù)安全保護(hù)政策,國外廠商產(chǎn)品進(jìn)入中國較為困難。國內(nèi)市場中,部分企 業(yè)經(jīng)過多年的技術(shù)積累和沉淀,已經(jīng)展現(xiàn)出較為明顯的技術(shù)優(yōu)勢和市場先發(fā)優(yōu)勢, 未來行業(yè)內(nèi)將會形成龍頭廠商占據(jù)主要市場份額的競爭格局。
在高密度數(shù)據(jù)中心領(lǐng)域,曙光數(shù)創(chuàng)是國內(nèi)最早實(shí)現(xiàn)冷板式液冷和浸沒相變液冷 技術(shù)大規(guī)模商用化部署的公司之一,阿里巴巴目前也已實(shí)現(xiàn)浸沒單相液冷產(chǎn)品的部 署;華為、浪潮目前實(shí)現(xiàn)商用的主要以冷板產(chǎn)品為主;廣東合一、中國長城當(dāng)前以 噴淋式液冷產(chǎn)品為主。
3.2、曙光數(shù)創(chuàng):浸沒相變液冷領(lǐng)軍企業(yè),背靠國產(chǎn)算力龍頭中科曙光
在數(shù)據(jù)中心基礎(chǔ)設(shè)施產(chǎn)品方面,曙光數(shù)創(chuàng)自 2011 年即確立了冷板和浸沒兩個(gè)液 冷技術(shù)路線,并相繼研發(fā)形成了冷板液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施產(chǎn)品-C7000 系列和浸沒 相變液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施產(chǎn)品-C8000 系列。截至 2022 年 7 月 31 日,公司已取得 91 項(xiàng)專利和 27 項(xiàng)軟件著作權(quán),其中發(fā)明專利 31 項(xiàng)。 冷板液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施產(chǎn)品-C7000 系列:國內(nèi)首款量產(chǎn)的冷板液冷數(shù)據(jù)中 心基礎(chǔ)設(shè)施產(chǎn)品及服務(wù)器冷板散熱套件,采用風(fēng)冷和液冷混合散熱模式-服務(wù)器主要 熱源 CPU 利用液冷冷板進(jìn)行冷卻,其他熱源仍采用風(fēng)冷方式進(jìn)行冷卻,可使得數(shù)據(jù) 中心 PUE 降至 1.2 以下,可以使得服務(wù)器滿載運(yùn)行 CPU 溫度不高于 60℃,比風(fēng)冷 降低約 30℃。截止 2022 年,冷板產(chǎn)品已經(jīng)迭代至第四代產(chǎn)品。
浸沒相變液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施產(chǎn)品-C8000 系列:公司于 2019 年首次實(shí)現(xiàn) C8000 產(chǎn)品在國家級重大科研裝置大規(guī)模部署,意味著數(shù)據(jù)中心行業(yè)全浸式液體相 變冷卻技術(shù)在全球范圍內(nèi)首次實(shí)現(xiàn)了大規(guī)模產(chǎn)品轉(zhuǎn)化和部署。該系列產(chǎn)品具有高密 度換熱能力,最高可達(dá)到 420kW;機(jī)柜最大設(shè)計(jì)功耗大于 200kW,遠(yuǎn)超傳統(tǒng)數(shù)據(jù)中 心單機(jī)柜設(shè)計(jì)功耗;采用強(qiáng)化沸騰封裝的方式,換熱區(qū)域采用高密翅片來強(qiáng)化沸騰 界面的沸騰換熱,最高可實(shí)現(xiàn) 100W/ c ㎡以上的散熱密度。目前 C8000 系列產(chǎn)品應(yīng) 用于多個(gè)國家重大科研裝置,累計(jì)建設(shè)規(guī)模超過 200MW。
浸沒式液冷產(chǎn)品業(yè)務(wù)規(guī)模逐年增長,毛利率維持高位。從收入結(jié)構(gòu)來看, 2019-2021 年,公司 C8000 系列產(chǎn)品銷售規(guī)模呈上升趨勢,至 2021 年浸沒式液冷產(chǎn) 品創(chuàng)收 3.33 億元,占總營收的 82\%。自 2020 年以后,公司 C8000 全浸式液冷系統(tǒng) 的毛利率始終維持在 40\%以上的較高水平。公司下游客戶主要為數(shù)據(jù)中心整體集成 商和數(shù)據(jù)中心最終使用方,前兩大客戶信息并未披露。
3.3、浪潮信息:發(fā)布全棧液冷產(chǎn)品,天池投產(chǎn)實(shí)現(xiàn)了業(yè)界首次冷板式液
冷整機(jī)柜大批量交付 2022 年,浪潮將“All In 液冷”納入公司發(fā)展戰(zhàn)略中,全棧布局液冷,實(shí)現(xiàn)服 務(wù)器全產(chǎn)品線支撐液冷,并進(jìn)一步升級液冷智算中心解決方案,實(shí)現(xiàn)數(shù)據(jù)中心 PUE<1.1。目前,浪潮信息已擁有 100 多項(xiàng)液冷技術(shù)領(lǐng)域核心專利,并已參與制定 數(shù)據(jù)中心液冷相關(guān)設(shè)計(jì)的技術(shù)標(biāo)準(zhǔn)和測試規(guī)范。 2022 年,浪潮信息發(fā)布全棧液冷產(chǎn)品,通用服務(wù)器、高密度服務(wù)器、整機(jī)柜服 務(wù)器、AI 服務(wù)器等四大系列均支持冷板式液冷,同時(shí)浪潮信息亞洲最大液冷數(shù)據(jù)中 心研發(fā)生產(chǎn)基地-天池正式投產(chǎn),年產(chǎn)能達(dá)到 10 萬臺,實(shí)現(xiàn)了業(yè)界首次冷板式液冷 整機(jī)柜的大批量交付,整體交付周期在 5-7 天之內(nèi),助力數(shù)據(jù)中心綠色低碳發(fā)展。
浪潮信息液冷產(chǎn)品和解決方案已經(jīng)在互聯(lián)網(wǎng)、金融、教科研等領(lǐng)域得到廣泛應(yīng) 用。如,浪潮信息與京東云聯(lián)合推出天樞(ORS3000S)液冷整機(jī)柜服務(wù)器,已經(jīng)在 京東云數(shù)據(jù)中心實(shí)現(xiàn)規(guī)?;渴?,為京東 618、雙十一、虎年央視春晚紅包互動等提 供了基礎(chǔ)算力保障,性能提升 34\%-56\%,助力京東云數(shù)據(jù)中心降低 PUE,實(shí)現(xiàn)低碳節(jié)能。
3.4、華為:FusionServer Pro布局冷板全液冷系統(tǒng),應(yīng)用于數(shù)據(jù)中心高功耗密度服務(wù)器機(jī)柜部署場景
2019 年,華為發(fā)布 FusionServer Pro 全液冷系統(tǒng)解決方案,該智能服務(wù)器使用 冷板式液冷,是面向 IT 設(shè)備高密部署,減少 TCO 投入,綠色節(jié)能,并有效提升運(yùn) 算效率的制冷解決方案,可以廣泛應(yīng)用于大學(xué)、公有云、企業(yè)等的計(jì)算業(yè)務(wù)。該方 案采用密閉式全液冷機(jī)柜設(shè)計(jì),全部的熱量均由液冷帶走,機(jī)房無需部署 IT 設(shè)備制 冷空調(diào)。
應(yīng)用在數(shù)據(jù)中心高功耗密度服務(wù)器機(jī)柜部署場景時(shí),全液冷系統(tǒng)可以獨(dú)立提供 服務(wù)器在機(jī)房的散熱,單個(gè)機(jī)柜可以集成 3 個(gè) E9000,單個(gè) E9000 最多支持 16 個(gè) 2P 液冷計(jì)算節(jié)點(diǎn)。單個(gè)機(jī)柜最大支持 65KW 散熱能力,解決采用傳統(tǒng)風(fēng)冷空調(diào)制冷部 署困難的問題。且全液冷系統(tǒng)最高支持 32℃供水溫度,支持自然冷卻,冷卻 PUE 可 最低至 1.05,高能效屬性明顯。當(dāng)前,華為全液冷系統(tǒng)的應(yīng)用產(chǎn)品包括 FusionServer Pro E9000 融合架構(gòu)刀片服務(wù)器、華為 FusionServer Pro X6000 高密度服務(wù)器等。
3.5、阿里云:推出業(yè)內(nèi)首款單相浸沒液冷解決方案,實(shí)現(xiàn)創(chuàng)新散熱技術(shù)與IT系統(tǒng)的完美融合
2021 年 12 月 22 日,阿里云在“第十六屆中國 IDC 產(chǎn)業(yè)年度大典”上正式向業(yè) 界發(fā)布行業(yè)首款單相浸沒液冷解決方案—磐久 Immersion DC 1000,將綠色液冷技 術(shù)與極致算力平臺結(jié)合,實(shí)現(xiàn)基礎(chǔ)設(shè)施散熱能力和服務(wù)器、網(wǎng)絡(luò)設(shè)備高效融合并整 體交付,整體能耗可下降 34.6\%,助力低碳綠色數(shù)據(jù)中心構(gòu)建。
區(qū)別于業(yè)界其他液冷解決方案,磐久 Immersion DC 1000 可同時(shí)實(shí)現(xiàn)高能效與高 可靠性,數(shù)據(jù)中心整體可靠性等級接近 T4(相當(dāng)于國標(biāo) A 級)。液冷 AI 一體機(jī)可支 持最大 40P Flops 算力并提供機(jī)柜間高達(dá) 25.6T 的 AI 互聯(lián)網(wǎng)絡(luò)帶寬能力;液冷存儲 一體機(jī)可支持 3.4P 的超大存儲能力。與傳統(tǒng)數(shù)據(jù)中心散熱產(chǎn)品多聚焦在基礎(chǔ)設(shè)施風(fēng) 火水電不同,磐久液冷 Immersion DC 1000 系列最核心的是將基礎(chǔ)設(shè)施散熱能力和服 務(wù)器設(shè)備、網(wǎng)絡(luò)設(shè)備進(jìn)行高效整合并融合在一起進(jìn)行整體交付,且不受地域影響可 在全球任何氣象區(qū)域部署并可輕松實(shí)現(xiàn)極致 PUE1.09。
3.6、英維克:Coolinside全鏈條液冷解決方案在超高算力場景完成商用
英維克的 Coolinside 全鏈條液冷解決方案,采用端到端全鏈條自主技術(shù),不但 高效節(jié)能,能夠充分滿足服務(wù)器高熱密度散熱需求,而且全面系統(tǒng)地實(shí)現(xiàn)一站式服 務(wù),打破國外技術(shù)壁壘,使大規(guī)模應(yīng)用成為現(xiàn)實(shí)。目前,英維克全鏈條液冷解決方 案已實(shí)現(xiàn)單機(jī)柜 200kW 批量應(yīng)用,完全液冷的冷板方案刷新最高熱密度,并在超高 算力場景完成商用。此外,英維克還有 Coolinside 浸沒式液冷解決方案,主要針對 高熱密度、高功耗、安全兼容性等深入設(shè)計(jì),以絕緣冷卻液(可選:氟化液、礦物 油、硅油)作為載冷劑對服務(wù)器進(jìn)行直接冷卻。
3.7、寧暢:中國區(qū)GPU以及加速服務(wù)器市場前二,攜手NVIDIA推出業(yè)內(nèi)首個(gè)全系統(tǒng)定制液冷方案
2022 年年初,寧暢通過采用 NVIDIA 液冷 HGX A100 NVLink 平臺,推出 X660 G45 LP 新系列液冷服務(wù)器,是業(yè)內(nèi)首個(gè)全系統(tǒng)定制液冷方案。根據(jù) IDC 發(fā)布的《2021 下半年度(H2)中國加速計(jì)算服務(wù)器市場分析報(bào)告》,寧暢位列中國區(qū) GPU 以及加 速服務(wù)器市場第二名,核心團(tuán)隊(duì)在服務(wù)器領(lǐng)域有 15 年的相關(guān)經(jīng)驗(yàn),目前已取得了 30 余項(xiàng)液冷技術(shù)專利。寧暢的液冷服務(wù)器目前已經(jīng)在北京、南京、哈爾濱、成都等城 市部署了數(shù)萬臺。寧暢全系統(tǒng)定制液冷方案,可使 PUE 值降低至 1.2 以下,在散熱 方面,寧暢液冷服務(wù)器單芯片散熱最高可達(dá) 500W,同時(shí)單機(jī)柜功率密度得到極大提 升,節(jié)省空間達(dá) 80\%,噪音低于 50 分貝。
在國際權(quán)威 AI 性能測試 ML Perf 中,寧暢的服務(wù)器在 MASK R-CNN 和 U-Net3D 兩項(xiàng) AI 場景測試中,連續(xù)兩年獲得世界第一。除了 ML Perf 測試,寧暢的 R620 G40 服務(wù)器通過了 TPCx-AI 基準(zhǔn)測試驗(yàn)證,這是國內(nèi)首例。此前,R620 G40 服務(wù)器也在 SPEC(國際標(biāo)準(zhǔn)性能評測組織)的多個(gè)基準(zhǔn)測試中獲得 9 項(xiàng)世界第一。
免責(zé)聲明:文章來源網(wǎng)絡(luò);本站致力于好文推送,基于分享目的轉(zhuǎn)載,尊重原創(chuàng),版權(quán)歸原作者所有,如有侵權(quán),請聯(lián)系我們予以刪除,資料僅供私下交流學(xué)習(xí)使用。