日本大乳奶做爰_污网站免费在线观看_在线免费观看成人_国产人妻人伦精品1国产_欧美午夜视频_成人在线一区二区_涩里番在线观看_色综合综合色_99精品电影_男人亚洲天堂_日韩a级片_免费黄色在线看_成年人久久_国产成人综合在线_久色国产

歡迎來訪江蘇帕卓管路系統(tǒng)股份有限公司 官方網(wǎng)站!

新聞中心

AI的盡頭是光伏、儲(chǔ)能、數(shù)據(jù)中心?液冷是必然趨勢?

帕卓管路 2024-03-12 08:56:05 798次 返回

剛剛過去的周末,光伏、儲(chǔ)能行業(yè)迎來重磅利好消息:摩根士丹利調(diào)高寧德時(shí)代目標(biāo)價(jià),在黃仁勛、奧特曼兩位大佬加持下“儲(chǔ)能與AI”的故事發(fā)酵。

640.jpg

圖片來源網(wǎng)絡(luò)

摩根士丹利調(diào)高寧德時(shí)代目標(biāo)價(jià)

3月10日,摩根士丹利發(fā)布報(bào)告,將中國電池巨頭寧德時(shí)代(CATL)的評級上調(diào)至“超配”,并設(shè)定目標(biāo)價(jià)為210元人民幣。在報(bào)告中,摩根士丹利分析師指出,寧德時(shí)代作為全球領(lǐng)先的電池制造商,受益于電動(dòng)汽車市場的快速增長和電池需求的攀升。

摩根士丹利發(fā)布報(bào)告指出,隨著價(jià)格戰(zhàn)接近尾聲,寧德時(shí)代準(zhǔn)備通過新一代大規(guī)模生產(chǎn)線提高成本效率,并擴(kuò)大在凈資產(chǎn)收益率方面的優(yōu)勢,看到寧德時(shí)代在基本面上的多個(gè)拐點(diǎn),上調(diào)公司評級至超配,并選為行業(yè)首選。

另外,據(jù)央視網(wǎng)10日報(bào)道,寧德時(shí)代董事長曾毓群在采訪時(shí)談到了近期多家歐美車企削減或推遲電動(dòng)化的話題,“歐美車企沒有回歸燃油車,也沒有停止(電動(dòng)汽車),可能是因?yàn)椴毁嶅X,所以往后延遲一陣。”

從儲(chǔ)能業(yè)務(wù)來看,寧德時(shí)代是當(dāng)之無愧的王者。國海證券預(yù)計(jì),該公司2023年動(dòng)力和儲(chǔ)能電池的出貨量達(dá)380GWh以上,同比增長31%以上。單2023年四季度看,公司的出貨量達(dá)110GWh以上,同比增長14%以上,環(huán)比增長10%以上。按四季度中值計(jì)算,假設(shè)公司的電池業(yè)務(wù)利潤貢獻(xiàn)在90%,則測算公司單Wh盈利在1毛左右,與公司2023年前三季度的單位盈利基本保持相當(dāng)。

黃仁勛、奧特曼:AI的盡頭是光伏和儲(chǔ)能

消息面上,在算力爆炒之后,“儲(chǔ)能+AI”的故事在剛剛過去的這個(gè)周末發(fā)酵了。據(jù)報(bào)道,英偉達(dá)CEO黃仁勛在一次公開演講中指出,AI未來發(fā)展與狀和儲(chǔ)能緊密相連。黃仁勛在演講中明確表示:“AI的盡頭是光伏和儲(chǔ)能!我們不能只想著算力,如果只考慮計(jì)算機(jī),我們需要燒掉14個(gè)地球的能源。”

早在2月27日,就有人在社交視頻上講“儲(chǔ)能與AI”的故事,引用的也是所謂“黃仁勛的演講”。與此同時(shí),OpenAI的創(chuàng)始人山姆·奧特曼也提出了類似的看法。奧特曼表示,“未來AI的技術(shù)取決于能源,我們需要更多的光伏和儲(chǔ)能。”

ChatGPT日耗電超50萬度

人工智能技術(shù)的快速發(fā)展,帶來了巨大的算力和能源消耗。據(jù)《紐約客》雜志報(bào)道,ChatGPT日耗電超50萬度,相當(dāng)于1.7萬個(gè)美國家庭,以響應(yīng)用戶的約2億個(gè)請求。

*近,在博世互聯(lián)2024大會(huì)上,馬斯克遠(yuǎn)程連線接受了博世CEO和董事長的采訪。馬斯克提到人工智能的發(fā)展速度前所未見,似乎每過6個(gè)月的時(shí)間,算力就會(huì)增加10倍,遠(yuǎn)遠(yuǎn)超出了摩爾定律每18個(gè)月翻番的速度。他預(yù)計(jì),兩年內(nèi)年將由“缺硅”變?yōu)椤叭彪姟保@可能阻礙AI的發(fā)展。

“目前算力增長已經(jīng)面臨瓶頸,很明顯,接下來變壓器會(huì)陷入短缺,緊接著就是電力,等到2025年,我們將沒有足夠的電力來運(yùn)行所有的芯片。”馬斯克稱。

事實(shí)上,馬斯克對電力短缺的擔(dān)憂也不是一天兩天了,此前曾多次公開強(qiáng)調(diào)解決日益增長的電力需求的緊迫性。他認(rèn)為,需要加快項(xiàng)目進(jìn)度,以跟上不斷增長的電力需求。

我國臺(tái)灣地區(qū)4月電價(jià)調(diào)漲箭在弦上,“電價(jià)工作小組”3月12日起將連開4場討論會(huì)。其中民生用電擬分三級距調(diào)漲,*小漲幅700度(或500度)以下約漲5%,701~1000度約漲7%,1001度以上漲約10%;產(chǎn)業(yè)用電依產(chǎn)業(yè)別分三級距調(diào)漲,但連二年用電成長、用電50億度以上“超級大戶”以公司別來看,調(diào)幅*高上看近3成,臺(tái)積電首當(dāng)其沖;但用電衰退面板、石化、鋼鐵,漲幅較小。4月電價(jià)方案平均漲幅在10~15%。

波士頓咨詢公司就曾分析稱,預(yù)計(jì)2030年左右,美國數(shù)據(jù)中心的電力消耗將較2022年增長三倍,相當(dāng)于電力總需求的7.5%,會(huì)大幅提升社會(huì)用電量。

咨詢公司Grid Strategies也曾發(fā)布過一項(xiàng)研究,認(rèn)為美國未來五年的年度電力需求增長大約在1.5%左右。而根據(jù)EIA的數(shù)據(jù),美國發(fā)電量近15年來才增加了不到3%。過慣了供需相對穩(wěn)定日子的美國供電體系,和面臨不少問題的電網(wǎng),能否應(yīng)對驟然增長的需求,尚有待觀察。

從儲(chǔ)能業(yè)務(wù)來看,寧德時(shí)代是當(dāng)之無愧的王者。國海證券預(yù)計(jì),該公司2023年動(dòng)力和儲(chǔ)能電池的出貨量達(dá)380GWh以上,同比增長31%以上。單2023年四季度看,公司的出貨量達(dá)110GWh以上,同比增長14%以上,環(huán)比增長10%以上。按四季度中值計(jì)算,假設(shè)公司的電池業(yè)務(wù)利潤貢獻(xiàn)在90%,則測算公司單Wh盈利在1毛左右,與公司2023年前三季度的單位盈利基本保持相當(dāng)。

AI大模型下的液冷發(fā)展趨勢

摘要

液冷是一種用液體來冷卻電子設(shè)備的散熱技術(shù),能夠顯著提高數(shù)據(jù)中心散熱效率。液冷技術(shù)根據(jù)冷卻液與發(fā)熱器件的接觸方式不同,可以分為間接液冷和直接液冷,其中間接液冷主要包括冷板式液冷,直接液冷包括浸沒式液冷和噴淋式液冷。冷板式液冷和浸沒式液冷是目前主流的液冷形式,冷板式液冷應(yīng)用*為廣泛,在改造成本、可維護(hù)性、兼容性方面具備優(yōu)勢;浸沒式液冷冷卻效果*好,節(jié)能性上優(yōu)勢明顯,但可維護(hù)性和兼容性一般,多用于高功率密度機(jī)柜。

控制當(dāng)前數(shù)據(jù)中心溫控方式仍以風(fēng)冷為主,液冷方案中冷板式技術(shù)更為普及。2022年數(shù)據(jù)中心液冷技術(shù)的滲透率大概在5%~8%左右,風(fēng)冷仍然占據(jù)90%以上的市場份額。按照服務(wù)器出貨量口徑統(tǒng)計(jì),2023H1我國冷板式液冷服務(wù)器比例為90%左右,浸沒式液冷滲透率為10%。

數(shù)據(jù)中心算力與能耗水漲船高,逐漸超出風(fēng)冷散熱閾值,液冷散熱已是趨勢所向。Chatgpt為代表的生成式人工智能模型拉升算力需求,百億參數(shù)成為模型涌現(xiàn)門檻,算力成為大模型性能提升的關(guān)鍵。大模型帶來大算力,大算力帶來高功耗,Intel的多款CPU芯片的TDP已突破350W,NVIDIA 的H100系列GPU芯片TDP更是達(dá)到700W。這也導(dǎo)致單服務(wù)器和單機(jī)柜功率均顯著上升,已經(jīng)逐漸超出風(fēng)冷散熱的覆蓋范圍,液冷散熱已成為必然趨勢。

PUE限制是現(xiàn)階段液冷技術(shù)發(fā)展的核心驅(qū)動(dòng)力。PUE代表數(shù)據(jù)中心能源使用效率,等于數(shù)據(jù)中心總耗電/IT設(shè)備耗電,比值越接近于1,說明能源越接近全部都用于IT設(shè)備負(fù)載上。我國數(shù)據(jù)中心平均PUE為1.49,仍有半數(shù)區(qū)域的數(shù)據(jù)中心PUE位于1.5以上。近幾年,國家與地方出臺(tái)了一系列針對新建與老舊數(shù)據(jù)中心PUE的管控計(jì)劃,明確要求東、西部樞紐節(jié)點(diǎn)數(shù)據(jù)中心PUE分別控制在1.25、1.2以下。而傳統(tǒng)風(fēng)冷方案的數(shù)據(jù)中心PUE一般在1.5左右,高于政策要求的范圍;液冷方案能夠有效降低冷卻系統(tǒng)的能耗水平,從而將數(shù)據(jù)中心整體PUE降低到1.05-1.2左右,滿足相關(guān)的政策要求。

數(shù)據(jù)中心TCO是液冷技術(shù)規(guī)模應(yīng)用的關(guān)鍵因素。數(shù)據(jù)中心總成本(TCO)包括建設(shè)成本(Capex)和運(yùn)營成本(Opex)。根據(jù)奕信通科技在2022年數(shù)據(jù)中心標(biāo)準(zhǔn)峰會(huì)發(fā)布的報(bào)告進(jìn)行測算,以華東地區(qū)數(shù)據(jù)中心建設(shè)情況為例,現(xiàn)階段冷板式液冷方案的TCO甚至Capex已經(jīng)低于風(fēng)冷,浸沒式液冷方案的TCO也將在運(yùn)行五年左右之后出現(xiàn)低于風(fēng)冷方案的拐點(diǎn)。但是該測算結(jié)果依賴于一定的前提條件:如機(jī)柜功率達(dá)到30KW、不計(jì)算服務(wù)器折舊和服務(wù)器運(yùn)營支出、水電費(fèi)與房租等運(yùn)營成本按華東地區(qū)情況計(jì)價(jià)、采用集中式大型IDC機(jī)房且IT設(shè)備在12個(gè)月線性上架后實(shí)現(xiàn)80%負(fù)載率、外界氣溫對制冷系統(tǒng)的能耗需求較高等。因此在西北部地區(qū)、較小型數(shù)據(jù)中心等場景下液冷技術(shù)的經(jīng)濟(jì)性尚沒有完全體現(xiàn)。但在數(shù)據(jù)中心發(fā)展的大型化、集約化的趨勢下,且液冷方案仍存在每年降本5-10%的空間,再考慮到液冷方案能夠有效延長服務(wù)器使用壽命,未來液冷數(shù)據(jù)中心TCO的優(yōu)勢將更加明顯。

控制數(shù)據(jù)中心液冷未來市場規(guī)模估算:到2025年,中國數(shù)據(jù)中心液冷市場規(guī)模將達(dá)到359億元左右,CAGR達(dá)到72.4%;AI數(shù)據(jù)中心液冷市場規(guī)模將達(dá)到280億元左右,CAGR達(dá)到71.4%;通用數(shù)據(jù)中心液冷市場規(guī)模將達(dá)到79億元,CAGR達(dá)到76.2%。

1液冷技術(shù)詳解

液冷是一種用液體來冷卻電子設(shè)備的散熱技術(shù)。液冷的工作原理是以液體作為冷媒,利用液體的高熱容和高熱傳導(dǎo)性能,通過液體流動(dòng)將IT設(shè)備的內(nèi)部元器件產(chǎn)生的熱量傳遞到設(shè)備外,使IT設(shè)備的發(fā)熱器件得到冷卻,以保證IT設(shè)備在安全溫度范圍內(nèi)運(yùn)行(本文主要討論數(shù)據(jù)中心應(yīng)用場景下的液冷技術(shù))。根據(jù)冷卻液與發(fā)熱器件的接觸方式不同,可以分為間接液冷和直接液冷。間接液冷是指服務(wù)器熱源與冷卻液之間沒有直接接觸的換熱過程,以冷板式液冷技術(shù)為主。直接液冷是指將發(fā)熱部件與冷卻液直接接觸的冷卻方式,包括浸沒式和噴淋式液冷技術(shù)。其中又可以根據(jù)冷卻液是否會(huì)發(fā)生液態(tài)到氣態(tài)的轉(zhuǎn)變,將浸沒式液冷分為單相浸沒式液冷和雙相浸沒式液冷。當(dāng)前,冷板式液冷和浸沒式液冷為液冷的主要形式。

6402.png

液冷系統(tǒng)通用架構(gòu)包括室外側(cè)和室內(nèi)側(cè)兩部分:室外側(cè)包含冷卻塔、一次側(cè)管網(wǎng)、一次側(cè)冷卻液;室內(nèi)側(cè)包含 CDU、液冷機(jī)柜、ICT 設(shè)備、二次側(cè)管網(wǎng)和二次側(cè)冷卻液。室外側(cè)為外部冷源,通常為室外的冷水機(jī)組、冷卻塔或干冷器,熱量轉(zhuǎn)移主要通過水溫的升降實(shí)現(xiàn);室內(nèi)側(cè)包括供液環(huán)路和服務(wù)器內(nèi)部流道,主要通過冷卻液溫度的升降實(shí)現(xiàn)熱量轉(zhuǎn)移;兩個(gè)部分通過CDU中的板式換熱器發(fā)生間壁式換熱。

6403.png

1.1 冷板式液冷

冷板式液冷屬于間接液冷,冷卻液不與服務(wù)器芯片直接接觸。冷板式液冷也被稱作芯片級液冷,技術(shù)原理是通過在服務(wù)器組件(如 CPU、GPU等高發(fā)熱部件)上安裝液冷板(通常為銅鋁等導(dǎo)熱金屬構(gòu)成的封閉腔體),服務(wù)器組件通過導(dǎo)熱部件將熱量傳導(dǎo)到液冷板上,然后利用液冷板內(nèi)部的液體循環(huán)將熱量傳遞到遠(yuǎn)離服務(wù)器的散熱單元;同時(shí)一般會(huì)增設(shè)風(fēng)冷單元為低發(fā)熱元件進(jìn)行散熱。

冷板式液冷系統(tǒng)主要由冷卻塔、CDU、一次側(cè) & 二次側(cè)液冷管路、冷卻介質(zhì)、液冷機(jī)柜組成;其中液冷機(jī)柜內(nèi)包含液冷板、設(shè)備內(nèi)液冷管路、流體連接器、分液器等。

6404.png

1.2 浸沒式液冷

浸沒式液冷屬于直接液冷,將發(fā)熱器件浸沒在冷卻液中進(jìn)行熱交換,依靠冷卻液流動(dòng)循環(huán)帶走熱量。

浸沒式液冷系統(tǒng)室外側(cè)包含冷卻塔、一次側(cè)管網(wǎng)、一次側(cè)冷卻液;室內(nèi)側(cè)包含 CDU、浸沒腔體、IT 設(shè)備、二次側(cè)管網(wǎng)和二次側(cè)冷卻液。使用過程中 IT設(shè)備完全浸沒在二次側(cè)冷卻液中,因此二次側(cè)循環(huán)冷卻液需要采用不導(dǎo)電液體,如礦物油、硅油、氟化液等。

浸沒式液冷根據(jù)冷卻液換熱過程中是否發(fā)生相變,可以進(jìn)一步分為單相浸沒式液冷和雙相浸沒式液冷技術(shù)。

1.2.1 單相浸沒式液冷

在單相浸沒式液冷中,冷卻液在熱量傳遞過程中僅發(fā)生溫度變化,而不存在相態(tài)轉(zhuǎn)變。單相浸沒式液冷的技術(shù)原理為:CDU循環(huán)泵驅(qū)動(dòng)二次側(cè)低溫冷卻液由浸沒腔體底部進(jìn)入,流經(jīng)豎插在浸沒腔體中的IT設(shè)備時(shí)帶走發(fā)熱器件熱量;吸收熱量升溫后的二次側(cè)冷卻液由浸沒腔體頂部出口流回CDU;通過CDU內(nèi)部的板式換熱器將吸收的熱量傳遞給一次側(cè)冷卻液;吸熱升溫后的一次側(cè)冷卻液通過外部冷卻裝置(如冷卻塔)將熱量排放到大氣環(huán)境中,完成整個(gè)冷卻過程。

6405.png

1.2.2 雙相浸沒式液冷

雙相浸沒式液冷的不同之處在于冷卻液會(huì)發(fā)生相態(tài)轉(zhuǎn)變。雙相浸沒式液冷的傳熱路徑與單相浸沒液冷基本一致,主要差異在于二次側(cè)冷卻液僅在浸沒腔體內(nèi)部循環(huán)區(qū)域,浸沒腔體內(nèi)頂部為氣態(tài)區(qū)、底部為液態(tài)區(qū);IT設(shè)備完全浸沒在低沸點(diǎn)的液態(tài)冷卻液中,液態(tài)冷卻液吸收設(shè)備熱量后發(fā)生沸騰,汽化產(chǎn)生的高溫氣態(tài)冷卻液因密度較小,會(huì)逐漸匯聚到浸沒腔體頂部,與安裝在頂部的冷凝器發(fā)生換熱后冷凝為低溫液態(tài)冷卻液,隨后在重力作用下回流至腔體底部,實(shí)現(xiàn)對IT設(shè)備的散熱。

6406.png

1.3  淋式液冷

噴淋式液冷屬于直接液冷,將冷卻液精準(zhǔn)噴灑于電子設(shè)備器件進(jìn)行散熱。冷卻液借助特制的噴淋板精準(zhǔn)噴灑至發(fā)熱器件或與之相連接的固體導(dǎo)熱材料上,并與之進(jìn)行熱交換,吸熱后的冷卻液換熱后將通過回液管、回液箱等集液裝置進(jìn)行收集并通過循環(huán)泵輸送至CDU進(jìn)行下一次制冷循環(huán)。

噴淋式液冷系統(tǒng)主要由冷卻塔、CDU、一次側(cè) & 二次側(cè)液冷管路、冷卻介質(zhì)和噴淋式液冷機(jī)柜組成;其中噴淋式液冷機(jī)柜通常包含管路系統(tǒng)、布液系統(tǒng)、噴淋模塊、回液系統(tǒng)等。

6407.png

1.4 不同液冷方案的比較

6408.png

1.4.1 冷板式液冷目前應(yīng)用*為廣泛,在改造成本、可維護(hù)性、兼容性方面具備優(yōu)勢

冷板式液冷的優(yōu)勢主要在于:

1)兼容性:冷板式液冷的改造成本相對較低,不需要對數(shù)據(jù)中心現(xiàn)有的機(jī)房及機(jī)柜進(jìn)行大規(guī)模改造,其適用的硬盤、光模塊等服務(wù)器部件與風(fēng)冷方案一致,運(yùn)維模式、機(jī)房承重與風(fēng)冷場景也基本一致;

2)散熱效果與節(jié)能性:冷卻效果和節(jié)能性要遠(yuǎn)好于風(fēng)冷,PUE可以達(dá)到1.2左右;(據(jù)《綠色高能效數(shù)據(jù)中心散熱冷卻技術(shù)研究現(xiàn)狀及發(fā)展趨勢》數(shù)據(jù)顯示,風(fēng)冷散熱下數(shù)據(jù)中心的 PUE 值通常在1.5左右)

3)可靠性:液體與設(shè)備不直接接觸,可靠性更高;

4)維護(hù)性:易開展維護(hù)性設(shè)計(jì),可實(shí)現(xiàn)在線維護(hù)方案;

5)噪聲:風(fēng)機(jī)轉(zhuǎn)速大幅降低,噪聲值可至 70dB 左右。

冷板式液冷的局限性主要在于:

1)液體沒有與電子器件直接接觸,而是通過金屬管壁進(jìn)行熱交換,與直接接觸的浸沒式液冷相比冷卻與節(jié)能效果欠佳;

2)IT設(shè)備、冷卻液、管路、供配電等不統(tǒng)一,服務(wù)器多與機(jī)柜深耦合;

3)管路接頭、密封件較多,漏液維護(hù)復(fù)雜。

1.4.2  浸沒式液冷的散熱效果和節(jié)能性優(yōu)勢明顯,但兼容性和維護(hù)性一般,多用于高功率密度機(jī)柜

浸沒式液冷的優(yōu)勢主要在于:

1)散熱效果與節(jié)能性:與冷板式液冷相比,浸沒式液冷中采用了直接接觸式的熱交換,傳熱系數(shù)高,冷卻效果更好,節(jié)能性更強(qiáng)(雙相浸沒式液冷方案的PUE在1.04-1.07左右,單相浸沒式為1.09左右)

2)緊湊:支持高密機(jī)柜,單柜散熱量高達(dá)160kW;同時(shí),機(jī)柜間無需隔開距離,機(jī)房不需要空調(diào)和冷凍機(jī)組、無需架空地板、無需安裝冷熱通道封閉設(shè)施;

3)可靠性:設(shè)備完全浸沒在液體中,排除了溫度、風(fēng)機(jī)振動(dòng)、灰塵等帶來的可靠性問題;

4)噪聲:100%液體冷卻,無需配置風(fēng)扇,實(shí)現(xiàn)**“靜音”機(jī)房。

浸沒式液冷的局限性主要在于:

1)兼容性較差:IT設(shè)備需要定制,光模塊、硬盤等部件兼容性仍待驗(yàn)證;此外,雙相浸沒式液冷方案適配的服務(wù)器需改為刀片式,其專用機(jī)柜對于管路要求高,控制復(fù)雜;

2)維護(hù)復(fù)雜:浸沒式液冷設(shè)備維護(hù)時(shí)需要打開Tank上蓋,并配備可移動(dòng)機(jī)械吊臂或?qū)I(yè)維護(hù)車實(shí)現(xiàn)設(shè)備的豎直插拔,維護(hù)復(fù)雜度高,耗時(shí)長;且開蓋維護(hù)過程有一定的冷卻液揮發(fā)問題,增加運(yùn)行成本;

3)承重要求高:因浸沒式液冷系統(tǒng)Tank內(nèi)充滿冷卻液,整柜重量大幅增加,對機(jī)房有特殊承重要求,普遍要求浸沒式液冷機(jī)房地板承重應(yīng)大于1500kg/m2;

4)國產(chǎn)冷媒待驗(yàn)證:單相浸沒式液冷方案所使用的國產(chǎn)冷媒仍待驗(yàn)證。

浸沒式液冷比較適用于對功率密度、節(jié)能性要求較高的大型數(shù)據(jù)中心,特別是地理位置較為特殊、空間有限的數(shù)據(jù)中心。

1.4.3 噴淋式液冷在安裝便利性、空間利用等方面有優(yōu)勢,但是現(xiàn)階段落地應(yīng)用相對較少

噴淋式液冷不需要對數(shù)據(jù)中心基礎(chǔ)設(shè)施進(jìn)行大幅改動(dòng),安裝便捷,空間利用率高,且噴淋方式能夠節(jié)省冷卻液,其不足在于服務(wù)器整體密封于氣相柜中,排液、補(bǔ)液,維護(hù)時(shí)會(huì)破壞服務(wù)器原有密封結(jié)構(gòu)。目前噴淋式液冷技術(shù)的應(yīng)用場景有限,只有少量數(shù)據(jù)中心采用了噴淋式液冷技術(shù)。

2 數(shù)據(jù)中心液冷行業(yè)基本情況與競爭格局

2.1 基本情況:數(shù)據(jù)中心液冷行業(yè)如日方升,液冷技術(shù)有望加速導(dǎo)入

數(shù)據(jù)中心溫控方式仍以風(fēng)冷為主,液冷技術(shù)有望加速導(dǎo)入。目前數(shù)據(jù)中心的散熱方式仍然以風(fēng)冷為主,在算力設(shè)備以及數(shù)據(jù)中心機(jī)房的高熱密度趨勢和高能效散熱要求的雙重推動(dòng)下,預(yù)計(jì)未來液冷將成為主流的數(shù)據(jù)中心溫控方式。根據(jù)產(chǎn)業(yè)調(diào)研與曙光數(shù)創(chuàng)的信息,2022年數(shù)據(jù)中心液冷技術(shù)的滲透率大概在5%~8%左右,風(fēng)冷仍然占據(jù)90%以上的市場份額;預(yù)計(jì)2025-2028年時(shí)液冷技術(shù)的滲透率有望達(dá)到30%。

液冷方式以冷板式為主,浸沒式技術(shù)有望加速推廣。當(dāng)前主流的液冷技術(shù)包括冷板式液冷和浸沒式液冷,由于冷板式液冷對于數(shù)據(jù)中心的改造難度較低,改造所需成本也較為可控,所以目前冷板式液冷的市場應(yīng)用相對更加普及。根據(jù)IDC《中國半年度液冷服務(wù)器市場(2023上半年)跟蹤》報(bào)告,按照服務(wù)器出貨量口徑統(tǒng)計(jì),2023H1我國冷板式液冷服務(wù)器比例達(dá)到90%左右,浸沒式液冷滲透率僅為10%。但隨著國家對于數(shù)據(jù)中心PUE的政策要求的愈發(fā)嚴(yán)格,機(jī)柜功率密度的持續(xù)抬升以及浸沒式液冷技術(shù)的逐漸成熟,浸沒式液冷方案有望進(jìn)入加速推廣期。

2.2 產(chǎn)業(yè)鏈:涉及環(huán)節(jié)眾多,存在較高進(jìn)入壁壘

液冷產(chǎn)業(yè)鏈涉及環(huán)節(jié)眾多,包括上游的液冷設(shè)備及產(chǎn)品零部件提供商、中游的液冷服務(wù)器及液冷基礎(chǔ)設(shè)施提供商與下游的數(shù)據(jù)中心使用者。上游主要為產(chǎn)品零部件及液冷設(shè)備,包括快速接頭、CDU、電磁閥、浸沒液冷TANK、manifold、冷卻液等產(chǎn)品,代表性廠商有英維克、3M、高瀾股份、云酷、奕信通、廣東合一、綠色云圖、巨化股份等。中游主要為液冷服務(wù)器、芯片廠商以及液冷集成設(shè)施、模塊與機(jī)柜等,代表性廠商有華為、中興、浪潮、曙光、新華三、聯(lián)想、超聚變、英特爾等。下游主要為數(shù)據(jù)中心的使用者,包括三家電信運(yùn)營商,百度、阿里巴巴、騰訊、京東等互聯(lián)網(wǎng)企業(yè),數(shù)據(jù)港、光環(huán)新網(wǎng)等第三方IDC服務(wù)商以及政府、科研機(jī)構(gòu)、金融、能源、交通等其他信息化需求客戶。

6409.png

產(chǎn)業(yè)鏈存在較高的技術(shù)、人才、客戶認(rèn)證壁壘。

1)技術(shù)壁壘:液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施產(chǎn)品的研發(fā)和制造涉及冷卻技術(shù)、制冷系統(tǒng)設(shè)計(jì)及仿真技術(shù)、溫濕度解耦控制算法等多項(xiàng)技術(shù)領(lǐng)域,要求企業(yè)在液冷核心技術(shù)進(jìn)行多年研究積累,深入掌握液冷技術(shù)的相關(guān)原理和應(yīng)用。此外,液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施產(chǎn)品工藝流程復(fù)雜,需要掌握生產(chǎn)制造流程中的核心工藝,同時(shí)需具備成熟的控制體系,對產(chǎn)品質(zhì)量進(jìn)行把控,保證產(chǎn)品的合格率,因此數(shù)據(jù)中心液冷行業(yè)具有較高的技術(shù)壁壘。

2)人才壁壘:液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施領(lǐng)域?qū)儆谛屡d技術(shù)密集型產(chǎn)業(yè),產(chǎn)品性能涉及材料化學(xué)、熱力學(xué)、電子學(xué)、計(jì)算機(jī)科學(xué)等多學(xué)科,并且數(shù)據(jù)中心的制冷系統(tǒng)存在定制化特征,因此對研發(fā)技術(shù)人員的技術(shù)研發(fā)能力和行業(yè)經(jīng)驗(yàn)要求較高。目前行業(yè)發(fā)展歷程較短,技術(shù)與產(chǎn)品仍處于驗(yàn)證階段,高端技術(shù)人才相對稀缺,且高端人才主要集中規(guī)模較大的企業(yè)以及***研究機(jī)構(gòu)中,因此新進(jìn)企業(yè)難以在短期內(nèi)培養(yǎng)出一批具備技術(shù)開發(fā)實(shí)力并擁有豐富實(shí)踐項(xiàng)目經(jīng)驗(yàn)的專業(yè)技術(shù)隊(duì)伍,由此數(shù)據(jù)中心液冷行業(yè)存在較高的專業(yè)人才壁壘。

3)客戶認(rèn)證壁壘:出于安全性、穩(wěn)定性等考慮,企業(yè)客戶在選擇液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施供應(yīng)商時(shí)通常需要進(jìn)行嚴(yán)格的資質(zhì)驗(yàn)證。尤其是金融、醫(yī)藥等機(jī)構(gòu)出于數(shù)據(jù)安全、保密等要求,對液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施解決方案供應(yīng)商挑選非常嚴(yán)格,需要對企業(yè)產(chǎn)品質(zhì)量水平、項(xiàng)目經(jīng)驗(yàn)、技術(shù)研發(fā)能力進(jìn)行綜合考察,因此認(rèn)證過程復(fù)雜且耗時(shí)較長。液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施廠商應(yīng)具備較強(qiáng)的產(chǎn)品研發(fā)能力、穩(wěn)定的產(chǎn)品供應(yīng)以及售后服務(wù)經(jīng)驗(yàn),同時(shí)具備豐富的技術(shù)儲(chǔ)備,才能滿足不同客戶的需求。另一方面,由于更換液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施供應(yīng)商會(huì)對產(chǎn)品的穩(wěn)定性形成風(fēng)險(xiǎn),客戶在與液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施供應(yīng)商建立生產(chǎn)配套關(guān)系后,傾向于維持與現(xiàn)有技術(shù)供應(yīng)商的合作,不會(huì)輕易更換主要供應(yīng)商,因此先進(jìn)入者一旦建立起自身客戶資源、形成先發(fā)優(yōu)勢,新進(jìn)入企業(yè)將很難在短期內(nèi)爭奪市場份額、改變行業(yè)現(xiàn)有格局,因此數(shù)據(jù)中心液冷行業(yè)具有較高的客戶認(rèn)證門檻。

2.3 競爭格局:行業(yè)仍處于技術(shù)驗(yàn)證階段,市場格局尚不明確

目前液冷行業(yè)仍處于技術(shù)驗(yàn)證階段,技術(shù)路線、產(chǎn)品結(jié)構(gòu)、行業(yè)標(biāo)準(zhǔn)等還無定數(shù),國外廠商難以進(jìn)入中國市場,市場競爭格局尚不明確。目前市場中主要廠商在液冷技術(shù)和產(chǎn)品方面還處于實(shí)驗(yàn)研究或初步應(yīng)用階段,產(chǎn)品結(jié)構(gòu)與行業(yè)標(biāo)準(zhǔn)尚在演進(jìn),市場內(nèi)還未形成具備較強(qiáng)核心競爭力的龍頭廠商,市場競爭格局尚未穩(wěn)定。此外,由于中國對數(shù)據(jù)安全的保護(hù),在數(shù)據(jù)中心基礎(chǔ)設(shè)施的供應(yīng)方面存在一定的地域壁壘,因此,目前國外廠商的產(chǎn)品的應(yīng)用主要以其本國市場為主,進(jìn)入中國市場較為困難。

3 數(shù)據(jù)中心液冷行業(yè)未來看點(diǎn)

3.1 推理/訓(xùn)練服務(wù)器功耗有望達(dá)到10/2kW,液冷方案成為首選

生成式人工智能橫空出世,助推AI算力景氣度。受ChatGPT為代表的生成式人工智能大模型等新業(yè)態(tài)帶動(dòng),全新的AI應(yīng)用場景有望在未來3-5年爆發(fā),百億參數(shù)是大模型具備涌現(xiàn)能力的門檻,千億參數(shù)的大模型將具備較好的涌現(xiàn)能力,AI算力成為大模型能力提升的核心驅(qū)動(dòng)力。現(xiàn)階段ChatGPT的總算力消耗達(dá)到了3640PF-day(每秒計(jì)算一千萬億次,需要計(jì)算3640天),需要7-8個(gè)投資規(guī)模30億元,算力500P的超大數(shù)據(jù)中心才能支撐其訓(xùn)練過程,AI算力的重要性不言而喻。據(jù)IDC預(yù)測,全球AI算力市場規(guī)模將從2022年的195.0億美元增長到2026年的346.6億美元,其中生成式AI算力市場規(guī)模將從2022年的8.2億美元增長到2026年的109.9億美元,生成式AI算力占整體AI算力市場規(guī)模的比例將從4.2%增長到31.7%。

64010.png

大模型帶來高算力,高算力帶來高功耗。隨著AI計(jì)算、HPC計(jì)算等高性能計(jì)算需求不斷提升,CPU、GPU等計(jì)算芯片朝高算力、高集成方向演進(jìn),同時(shí)也導(dǎo)致單顆計(jì)算芯片功耗的大幅提升。對于CPU、GPU、ASIC等計(jì)算芯片而言,一方面可以通過增加計(jì)算核心數(shù)或提高單核心的主頻等方式來提高算力,此舉會(huì)顯著增加芯片的TDP(熱設(shè)計(jì)功耗);另一方面可以依靠先進(jìn)制程技術(shù)來縮減單位算力對應(yīng)的TDP(TDP/算力)。但是由于先進(jìn)制程技術(shù)推進(jìn)較慢等因素,單位算力對應(yīng)TDP的下降幅度逐年減少,且遠(yuǎn)不及算力的增長速度,這也導(dǎo)致了AI芯片功耗的大幅攀升。當(dāng)前,Intel的多款CPU芯片的TDP已突破350W,NVIDIA 的H100系列GPU芯片的TDP更高達(dá)700W。

64011.png

計(jì)算芯片高功耗造成單服務(wù)器功耗顯著提高。單服務(wù)器功耗大部分源于計(jì)算芯片,服務(wù)器的核心組件包括CPU(中央處理器)、GPU(圖形處理器)、內(nèi)存芯片、SSD(固態(tài)硬盤)、網(wǎng)卡、PCB主板、RAID卡、HBA卡和電源等。CPU/GPU等計(jì)算芯片在通用服務(wù)器功耗中占比約為50%左右,而在AI服務(wù)器中,計(jì)算芯片的功耗占比高達(dá)80%以上。我們參考2022-2023年中國電信集采AI服務(wù)器配置與阿里云通用服務(wù)器配置進(jìn)行功耗計(jì)算,服務(wù)器的功耗可以粗略估計(jì)為所有組件的功耗總和;選取超聚變FusionServer 2288 V7作為通用服務(wù)器的代表型號,超聚變FusionServer G5500 V6作為AI訓(xùn)練服務(wù)器的代表型號,超聚變FusionServer G8600 V7作為AI推理服務(wù)器的代表型號。

通過我們的測算,通用服務(wù)器的總功耗為595W,AI訓(xùn)練服務(wù)器的總功耗為7015W,AI推理服務(wù)器的總功耗為1615W。但是由于芯片超頻,額外的NVLINK模組等因素的存在,計(jì)算芯片的實(shí)際滿載功耗往往會(huì)高于官方標(biāo)定的功耗。以上因素導(dǎo)致服務(wù)器的實(shí)際功耗可能會(huì)高于各組件的總功耗,具體的功耗還要以實(shí)際測試為準(zhǔn)。根據(jù)超聚變服務(wù)器功耗計(jì)算器的測算,當(dāng)前配置下的通用服務(wù)器的實(shí)際滿載功耗為700W左右,AI訓(xùn)練服務(wù)器的實(shí)際滿載功耗為9800W左右,AI推理服務(wù)器的實(shí)際滿載功耗為2000W左右。(該過程僅為根據(jù)公開資料的估算,請以實(shí)際環(huán)境和負(fù)載下的測算為準(zhǔn))

64012.png

隨著服務(wù)器功耗提高,單機(jī)柜功率上升趨勢明顯。根據(jù)Uptime Institute相關(guān)報(bào)告數(shù)據(jù)顯示,2020年全球數(shù)據(jù)中心單機(jī)柜功率密度達(dá)到8.4kW/機(jī)柜,相比于2017年的5.6 kW/機(jī)柜有明顯提升;其中71%的數(shù)據(jù)中心平均功率密度低于10 kW/機(jī)柜,17%的數(shù)據(jù)中心平均功率密度高于20kW/機(jī)柜,預(yù)計(jì)未來數(shù)據(jù)中心功率密度將繼續(xù)上升,高密度數(shù)據(jù)中心占比將持續(xù)提高。

單機(jī)柜功率逐漸超出風(fēng)冷散熱閾值,液冷散熱已是趨勢所向。風(fēng)冷散熱一般適用于20Kw/機(jī)柜左右的功率密度以下,20Kw/機(jī)柜以上時(shí)液冷散熱優(yōu)勢明顯。通用服務(wù)器通常為2U,AI訓(xùn)練服務(wù)器通常為6U,AI推理服務(wù)器通常為4U,標(biāo)準(zhǔn)機(jī)柜為42U;考慮到電源模塊、網(wǎng)絡(luò)模塊等因素,假設(shè)單機(jī)柜內(nèi)可以放置18個(gè)通用服務(wù)器或6個(gè)AI訓(xùn)練服務(wù)器或9個(gè)AI推理服務(wù)器,根據(jù)之前對于服務(wù)器功耗的測算,則單機(jī)柜功率可以分別達(dá)到12.6kW(通用),58.8kW(AI訓(xùn)練)和18kW(AI推理);考慮到機(jī)柜中其他模塊的散熱情況,實(shí)際單機(jī)柜功率會(huì)更高。對于通用服務(wù)器機(jī)柜,其單機(jī)柜功率已經(jīng)開始逐步靠近風(fēng)冷散熱閾值,隨著通用服務(wù)器功耗的持續(xù)上升,液冷散熱的優(yōu)勢有望逐步顯現(xiàn);對于AI訓(xùn)練與推理服務(wù)器機(jī)柜,其單機(jī)柜功率已經(jīng)逼近或者超出了風(fēng)冷散熱所能覆蓋的功率密度范圍,液冷散熱已成大勢所趨。

3.2 PUE限制是現(xiàn)階段液冷技術(shù)發(fā)展的核心驅(qū)動(dòng)力

數(shù)據(jù)中心耗電量不斷提升,綠色低碳成為必然趨勢。數(shù)據(jù)中心是能耗大戶,其包含大量的 IT 設(shè)備、供電與制冷設(shè)備。隨著數(shù)據(jù)中心算力與功耗的不斷增長,數(shù)據(jù)中心耗電量必將呈快速增長趨勢,綠色低碳必將并且已經(jīng)成為新型數(shù)據(jù)中心發(fā)展的重要基本原則之一。

我國數(shù)據(jù)中心平均PUE為1.49,仍有半數(shù)區(qū)域的數(shù)據(jù)中心PUE位于1.5以上。PUE 全稱 “Power Usage Effectiveness(能源使用效率)”,是數(shù)據(jù)中心消耗的一切能源與 IT 負(fù)載運(yùn)用的能源之比,比值越接近于1,說明能源越接近全部都用于 IT 負(fù)載上。目前我國一半以上區(qū)域的數(shù)據(jù)中心 PUE 值都在 1.5 以上,即消耗在冷卻等非 IT 負(fù)載上的能源,占到了 IT 負(fù)載的一半以上。截至2021年全國數(shù)據(jù)中心平均PUE為1.49,還有華南、華東、西北和西南區(qū)域的數(shù)據(jù)中心PUE超過1.50,僅有東北、華北和華東區(qū)域的數(shù)據(jù)中心PUE在1.50以下。

64013.png

數(shù)據(jù)中心PUE管控日趨嚴(yán)格,針對老舊與新建數(shù)據(jù)中心均出臺(tái)強(qiáng)力約束措施。國家與地方出臺(tái)了一系列政策對數(shù)據(jù)中心能耗管理進(jìn)行規(guī)范,不斷強(qiáng)調(diào)數(shù)據(jù)中心綠色高質(zhì)量發(fā)展的重要性。2021年7月,工信部印發(fā)《新型數(shù)據(jù)中心發(fā)展三年行動(dòng)計(jì)劃(2021-2023年)》,要求到2021年底,新建大型及以上數(shù)據(jù)中心PUE降低到1.35以下;到2023年底,新建大型及以上數(shù)據(jù)中心PUE降低到1.3以下,嚴(yán)寒和寒冷地區(qū)降低到1.25以下。2022年8月,工信部等七部門印發(fā)《信息通信行業(yè)綠色低碳發(fā)展行動(dòng)計(jì)劃(2022-2025年)》,要求到2025年,全國新建大型、超大型數(shù)據(jù)中心電能利用效率(PUE)降到1.3以下,改建核心機(jī)房PUE降到1.5以下。除此之外,地方也出臺(tái)了一系列數(shù)據(jù)中心PUE要求相關(guān)的政策文件,其中北京針對數(shù)據(jù)中心的年能源消耗量設(shè)立了多層次PUE要求,年能源消耗量越高的數(shù)據(jù)中心PUE要求越高,此外還針對PUE超過1.4的數(shù)據(jù)中心實(shí)行電價(jià)加價(jià)措施。

640.png

64014.png


冷卻系統(tǒng)占據(jù)數(shù)據(jù)中心除IT設(shè)備負(fù)載外的能耗中的絕大部分,液冷技術(shù)能夠有效降低冷卻系統(tǒng)能耗,進(jìn)而降低數(shù)據(jù)中心PUE,滿足監(jiān)管政策要求。PUE為1.92的數(shù)據(jù)中心下冷卻系統(tǒng)能耗占總能耗的比例為38%左右,而PUE為1.3的數(shù)據(jù)中心下冷卻系統(tǒng)能耗占比下降至18%,這意味著降低數(shù)據(jù)中心PUE的關(guān)鍵就在于降低冷卻系統(tǒng)的能耗表現(xiàn)。在同等的散熱水平下,傳統(tǒng)風(fēng)冷方案的數(shù)據(jù)中心PUE一般為1.5左右,液冷方案的PUE值可降至1.05-1.2左右,能夠滿足當(dāng)前政策對于數(shù)據(jù)中心PUE的要求。

3.3 數(shù)據(jù)中心TCO是液冷技術(shù)規(guī)模應(yīng)用的關(guān)鍵因素

數(shù)據(jù)中心總成本(TCO)包括建設(shè)成本(Capex)和運(yùn)營成本(Opex)。Capex一般指建設(shè)成本,包括土地獲取、勘察、規(guī)劃設(shè)計(jì)、設(shè)備購置、建設(shè)、安裝以及系統(tǒng)調(diào)測等費(fèi)用;Opex一般指運(yùn)營成本,主要包含電力、冷卻散熱等基礎(chǔ)設(shè)施成本、維護(hù)成本及管理成本。低成本是數(shù)據(jù)中心建立競爭優(yōu)勢的關(guān)鍵,也是降低投資回收期和持續(xù)發(fā)展的關(guān)鍵。

我們基于華東地區(qū)、2N UPS、30kW每機(jī)柜等常見數(shù)據(jù)中心配置進(jìn)行風(fēng)冷、冷板式液冷和浸沒式液冷等不同冷卻方式下的TCO測算(本文關(guān)于TCO的討論均不考慮服務(wù)器等IT設(shè)備成本)。市場普遍認(rèn)為,風(fēng)冷方案在Capex上更具經(jīng)濟(jì)性,液冷方案只在后續(xù)的Opex中有一定的優(yōu)勢。但是根據(jù)奕信通科技在2022年數(shù)據(jù)中心標(biāo)準(zhǔn)峰會(huì)(CDCC)發(fā)布的報(bào)告進(jìn)行測算,現(xiàn)階段選擇冷板式液冷方案的Capex已經(jīng)低于風(fēng)冷方案,即便是浸沒式液冷方案,也將在運(yùn)行5年左右之后出現(xiàn)TCO低于風(fēng)冷方案的拐點(diǎn)。(該過程僅為根據(jù)公開資料的估算,請以實(shí)際環(huán)境和負(fù)載下的測算為準(zhǔn))

但是該測算結(jié)果依賴于一定的前提條件:如機(jī)柜功率達(dá)到30KW、不計(jì)算服務(wù)器折舊和服務(wù)器運(yùn)營支出、水電費(fèi)與房租等運(yùn)營成本按華東地區(qū)情況計(jì)價(jià)、采用集中式大型IDC機(jī)房且IT設(shè)備在12個(gè)月線性上架后實(shí)現(xiàn)80%負(fù)載率、外界氣溫對制冷系統(tǒng)的能耗需求較高等。因此在西北部地區(qū)、較小型數(shù)據(jù)中心等場景下液冷技術(shù)的經(jīng)濟(jì)性尚沒有完全體現(xiàn)。但在數(shù)據(jù)中心發(fā)展的大型化、集約化的趨勢下,且液冷方案仍存在每年降本5-10%的空間,再考慮到液冷方案能夠有效延長服務(wù)器使用壽命,未來液冷數(shù)據(jù)中心TCO的優(yōu)勢將更加明顯。

64015.png

機(jī)電部分包括制冷系統(tǒng)、配電系統(tǒng)、機(jī)柜系統(tǒng)、布線系統(tǒng)和監(jiān)控管理系統(tǒng)的購置和安裝成本,不考慮IT設(shè)備成本。

64016.png

液冷方案與風(fēng)冷方案相比:1)其機(jī)電部分的Capex可以節(jié)省掉冷凍水機(jī)組/冷凍水精密空調(diào),減少UPS和開關(guān)設(shè)備的容量等;2)需要增加密封機(jī)箱、冷卻液、冷板、熱交換器、防滴漏連接器和機(jī)架式分液器等液冷設(shè)備方面的成本;3)液冷方案下同樣外電體量的數(shù)據(jù)中心內(nèi)空間利用率更高,能承載更多IT設(shè)備,每ITkW(IT設(shè)備功率)下的分?jǐn)偝杀靖汀8鶕?jù)假設(shè)條件測算,風(fēng)冷、冷板式液冷、浸沒式液冷方案的機(jī)電部分Capex分別為16000-18000元/ITkW、15000-17000元/ITkW和23000-28000元/ITkW左右。冷板式液冷方案下分?jǐn)偟矫縄TkW下的機(jī)電部分Capex與風(fēng)冷方案基本持平甚至更低;浸沒式液冷方案所需增加的機(jī)電設(shè)備較多,分?jǐn)傁聛砻縄TkW的Capex相比于風(fēng)冷仍有7000-10000元/ITkW左右的上升。

64017.png

土建部分主要包括建筑物成本。風(fēng)冷和液冷方案的土建成本差異主要在于同樣體量的數(shù)據(jù)中心內(nèi),液冷方案下建筑所需的建筑面積更小。根據(jù)奕信通科技測算,風(fēng)冷、冷板式液冷、浸沒式液冷的土建部分Capex分別為5000元/ITkW,3000元/ITkW和3500元/ITkW左右。

外電和能評部分主要包括獲取外電資源,通過能評驗(yàn)收所需付出的成本。與風(fēng)冷相比,液冷方案的PUE更低更節(jié)能,獲取外電資源,通過能評驗(yàn)收的難度相對會(huì)小很多。根據(jù)奕信通科技測算,風(fēng)冷、冷板式液冷、浸沒式液冷的外電和能評部分Capex分別為4000元/ITkW,2000元/ITkW和2000元/ITkW左右。

64018.png

Opex中占比*高的是電力成本,液冷技術(shù)可以有效降低電力成本。數(shù)據(jù)中心的Opex主要包括電力成本、固定資產(chǎn)折舊、房租、人工費(fèi)等等,其中電力成本占比*高,達(dá)到56.7%(風(fēng)冷情況下)。

64019.png

浸沒式液冷方案的Opex*具優(yōu)勢。根據(jù)奕信通科技測算,風(fēng)冷方案的Opex為9360-9720元/ITkw/年左右,冷板式液冷方案的Opex為8040-8400元/ITkw/年左右,浸沒式液冷方案的Opex是7800-8160元/ITkw/年左右。

64020.png

現(xiàn)階段選擇冷板式液冷的初始TCO已經(jīng)低于風(fēng)冷,浸沒式液冷的TCO將在5-6年之后低于風(fēng)冷。我們根據(jù)以上測算結(jié)果進(jìn)行10年期的TCO測算,那么風(fēng)冷的Capex和Opex分別為26000元/ITkW和9540元/ITkW/年,冷板式液冷的Capex和Opex分別為21000元/ITkW和8220元/ITkW/年,浸沒式液冷的Capex和Opex分別為31000元/ITkW和7980元/ITkW/年。根據(jù)TCO測算,現(xiàn)階段冷板式液冷方案的TCO從開始就已經(jīng)低于風(fēng)冷方案,浸沒式液冷方案也將在5年左右之后出現(xiàn)TCO低于風(fēng)冷方案的拐點(diǎn)。

64021.png

3.4 液冷技術(shù)能夠有效延長服務(wù)器使用壽命,實(shí)現(xiàn)降本增效

傳統(tǒng)電子設(shè)備普遍采用空氣冷卻方式,溫度是電子設(shè)備產(chǎn)生故障的主要原因之一。環(huán)境的多樣性包括溫度、濕度、振動(dòng)、灰塵等多個(gè)方面,在導(dǎo)致電子設(shè)備失效的因素中溫度占了55%,過熱是電子設(shè)備產(chǎn)生故障的主要誘因。隨著溫度的增加,電子、原子、分子的運(yùn)動(dòng)速度加快,使得電子設(shè)備的性能發(fā)生變化,當(dāng)達(dá)到一定階段時(shí),就會(huì)引起嚴(yán)重的故障。在高于一般室內(nèi)環(huán)境溫度(約20°C~25°C)范圍內(nèi)條件下,故障率大致按指數(shù)規(guī)律隨溫度的升高而增加。同時(shí),濕度、振動(dòng)、灰塵等因素同樣會(huì)對電子設(shè)備的工作性能和使用壽命產(chǎn)生負(fù)面影響。

64022.png

液冷能夠有效降低服務(wù)器部件故障率,延長使用壽命。液體具有比空氣更大的比熱容,散熱能力更強(qiáng),使得服務(wù)器溫度更加穩(wěn)定,CPU和GPU計(jì)算部件可以長時(shí)間穩(wěn)定工作在高性能頻率狀態(tài)。此外,浸沒式液冷將IT設(shè)備浸入封閉的液體環(huán)境中,與空氣完全隔離,并且不再需要高速風(fēng)扇進(jìn)行散熱,消除了空氣濕度、風(fēng)扇振動(dòng)以及灰塵帶來的可靠性影響,從而優(yōu)化了服務(wù)器的運(yùn)行環(huán)境,延長了設(shè)備的使用壽命。根據(jù)阿里云的實(shí)驗(yàn)數(shù)據(jù),與風(fēng)冷服務(wù)器相比,液冷服務(wù)器整體部件故障率下降約53%,其中電源、網(wǎng)卡、風(fēng)扇、網(wǎng)線等部件的故障率下降超過80%。隨著單服務(wù)器價(jià)值量以及數(shù)據(jù)中心運(yùn)營成本的與日俱增,服務(wù)器的可靠性與使用壽命顯得尤為重要,液冷帶來的附加經(jīng)濟(jì)價(jià)值有望逐步顯現(xiàn)。

64023.png

3.5 解耦交付模式成為未來發(fā)展趨勢,助力液冷產(chǎn)業(yè)規(guī)范化發(fā)展

目前冷板式液冷方案的交付模式可以分為兩類,包括一體化交付與解耦交付兩種。一體化交付是指液冷機(jī)柜的所有部分,包括機(jī)柜和服務(wù)器等,都按照廠商自行設(shè)定的標(biāo)準(zhǔn)進(jìn)行集成設(shè)計(jì)開發(fā),然后再作為一個(gè)整體進(jìn)行交付。而解耦交付則要求液冷機(jī)柜與液冷服務(wù)器之間遵循用戶預(yù)先制定的通用接口設(shè)計(jì)規(guī)范,機(jī)柜與服務(wù)器可以分別由不同廠商負(fù)責(zé)生產(chǎn)和交付。

64024.png

6401.png

解耦交付模式為大勢所趨,助推冷板式液冷產(chǎn)業(yè)規(guī)范化發(fā)展。服務(wù)器與機(jī)柜解耦更有利于形成統(tǒng)一的技術(shù)標(biāo)準(zhǔn)及規(guī)范,能夠促進(jìn)行業(yè)競爭與技術(shù)推廣,讓更多廠商能夠參與液冷行業(yè),實(shí)現(xiàn)多廠家適配,也便于后續(xù)靈活部署,使得客戶可以根據(jù)實(shí)際需求選擇不同的服務(wù)器和機(jī)柜組合,不會(huì)受限于某一個(gè)供應(yīng)商。目前華為、超聚變等液冷廠商已經(jīng)實(shí)現(xiàn)了盲插快接,中國移動(dòng)也已經(jīng)著手研發(fā)新型機(jī)柜,并計(jì)劃在完成測試后開源,推動(dòng)更多的服務(wù)器和機(jī)柜廠商參與到盲插解耦液冷技術(shù)的研發(fā)與驗(yàn)證中,推動(dòng)技術(shù)成熟與規(guī)范化。

64025.png

4 數(shù)據(jù)中心液冷未來市場規(guī)模估算

根據(jù)估算,到2025年,中國數(shù)據(jù)中心液冷市場規(guī)模將達(dá)到359億元左右,CAGR達(dá)到72.4%;AI數(shù)據(jù)中心液冷市場規(guī)模將達(dá)到280億元左右,CAGR達(dá)到71.4%;通用數(shù)據(jù)中心液冷市場規(guī)模將達(dá)到79億元,CAGR達(dá)到76.2%。核心假設(shè)如下:

1)假設(shè)通用服務(wù)器的平均功率為0.7kW。以超聚變FusionServer 2288 V7(2U)作為通用服務(wù)器的代表型號,在超聚變服務(wù)器功耗計(jì)算器中測算得出其滿載功率約為0.7kW。

2)假設(shè)AI服務(wù)器的平均功率為3.8kW,其中AI訓(xùn)練服務(wù)器平均功率為8kW,AI推理服務(wù)器為2kW。根據(jù)產(chǎn)業(yè)調(diào)研數(shù)據(jù),假設(shè)AI服務(wù)器中訓(xùn)練與推理的數(shù)量關(guān)系約為3:7,訓(xùn)練服務(wù)器中H系列和A系列所占比例約為4:6,推理服務(wù)器均為T4系列。以超聚變FusionServer G5500 V6作為AI訓(xùn)練服務(wù)器的代表型號,超聚變FusionServer G8600 V7作為AI推理服務(wù)器的代表型號,根據(jù)超聚變服務(wù)器功耗計(jì)算器,H系列訓(xùn)練服務(wù)器滿載功率約為10kW,A系列訓(xùn)練服務(wù)器滿載功率約為6.8kW,T4系列推理服務(wù)器的功率約為2KW。結(jié)合以上數(shù)量比例關(guān)系,可以估算出AI服務(wù)器平均功率約為3.8kW。

3)假設(shè)通用服務(wù)器平均功率每年提升10%,AI訓(xùn)練與推理服務(wù)器平均功率未來三年提升30%/20%/15%。根據(jù)近幾年CPU/GPU TDP的變化趨勢,CPU TDP每年提升10%左右,GPU TDP每年提升20%左右,我們假設(shè)通用服務(wù)器平均功率未來三年保持10%左右的增速,AI訓(xùn)練與推理服務(wù)器平均功率未來三年的增速為30%/20%/15%。

4)至2025年,假設(shè)通用服務(wù)器液冷滲透率由5%提升到20%,AI訓(xùn)練服務(wù)器液冷滲透率由70%提升到100%,AI推理服務(wù)器液冷滲透率由40%提升至70%。根據(jù)產(chǎn)業(yè)調(diào)研與曙光數(shù)創(chuàng)的信息,2022年我國液冷滲透率為5%-8%左右,預(yù)計(jì)2025-2028年時(shí)液冷滲透率能達(dá)到30%左右。我們假設(shè)通用服務(wù)器2022年液冷滲透率為5%,至2025年液冷滲透率上升至20%;AI訓(xùn)練服務(wù)器2022年液冷滲透率為70%,至2025年液冷滲透率上升至100%;AI推理服務(wù)器2022年液冷滲透率為40%,至2025年液冷滲透率上升至70%;整體液冷滲透率由2022年的8%上升至2025年的25.7%。

5)至2025年,假設(shè)浸沒式液冷滲透率由10%提升至30%,冷板式液冷滲透率由90%降低至70%。根據(jù)IDC《中國半年度液冷服務(wù)器市場(2023上半年)跟蹤》報(bào)告,按照服務(wù)器出貨量口徑統(tǒng)計(jì),2023H1我國冷板式液冷服務(wù)器比例為90%左右,浸沒式液冷滲透率僅為10%。隨著未來浸沒式液冷技術(shù)逐漸成熟進(jìn)入加速推廣期,我們預(yù)計(jì)浸沒式液冷的滲透率由2022年的10%上升至2025年的30%,冷板式液冷的滲透率由2022年的90%下降至70%。

6)考慮到大部分?jǐn)?shù)據(jù)中心液冷廠商的產(chǎn)品只覆蓋數(shù)據(jù)中心液冷基礎(chǔ)設(shè)施中的制冷系統(tǒng)、機(jī)柜系統(tǒng)等核心部分,故估算數(shù)據(jù)中心液冷市場規(guī)模時(shí)只考慮數(shù)據(jù)中心液冷基礎(chǔ)設(shè)施中制冷系統(tǒng)、機(jī)柜系統(tǒng)等核心部分的市場規(guī)模,不考慮布線系統(tǒng)、土建、外電、能評等其他配套部分。結(jié)合產(chǎn)業(yè)調(diào)研數(shù)據(jù),假設(shè)冷板式液冷基礎(chǔ)設(shè)施的價(jià)值量約為10000元/ITkW,浸沒式液冷基礎(chǔ)設(shè)施的價(jià)值量約為15000元/ITkW。

7)考慮到未來數(shù)據(jù)中心液冷市場競爭逐步加劇以及技術(shù)逐漸成熟,液冷方案價(jià)格將呈逐年下降的趨勢;冷板式液冷技術(shù)目前更為成熟,未來價(jià)格的下降空間相對較小。我們假設(shè)冷板式液冷價(jià)值量逐年下降5%,浸沒式液冷價(jià)值量逐年下降10%。

64026.png



[聲明]文章系本網(wǎng)編輯轉(zhuǎn)載,轉(zhuǎn)載目的在于傳遞更多行業(yè)新聞信息,文章僅作交流學(xué)習(xí)使用,也并不代表本網(wǎng)贊同其觀點(diǎn)和對其真實(shí)性負(fù)責(zé)。如涉及作品內(nèi)容、版權(quán)和其它問題,請?jiān)?0日內(nèi)與本網(wǎng)聯(lián)系,我們將在**時(shí)間刪除內(nèi)容!

本站文章版權(quán)歸原作者所有 內(nèi)容為作者個(gè)人觀點(diǎn) 本站只提供參考并不構(gòu)成任何投資及應(yīng)用建議。本站擁有對此聲明的*終解釋權(quán)。



91色国产| 伊人国产在线 | 五月天久久久久久 | 国产精品欧美在线 | 成人av电影免费观看 | 天天摸夜夜添狠狠添婷婷 | 快播黄色电影 | 99久久99久久精品国产片果冻 | 欧美日韩中文字幕一区二区 | 3p在线观看 | 日韩精品久 | 色妞综合 | 久久国产精品久久久 | 韩国一区二区三区在线观看 | 女女百合国产免费网站 | 国产7777| 狠狠网站 | 强行糟蹋人妻hd中文 | 色视屏 | 午夜久久久久久久久久 | 调教在线观看 | 日韩人妻无码一区二区三区99 | 亚洲综合色视频 | mm131美女视频 | 久草青青草 | 欧美一级网| 久久99久久99精品免观看软件 | 北京富婆泄欲对白 | 日韩欧美大片在线观看 | 欧洲激情网| 免费爱爱视频网站 | 国产中文字幕一区 | 亚洲麻豆精品 | 3p在线观看 | 国内外成人在线视频 | 沟厕沟厕近拍高清视频 | 农村妇女毛片 | 4hu最新网址 | 性爱一级视频 | 五月婷婷,六月丁香 | 亚洲精品一区二三区 | 就去吻亚洲 | 成人免费毛片果冻 | 精品人妻午夜一区二区三区四区 | 少妇av一区| 女女les互磨高潮国产精品 | 337p亚洲精品色噜噜狠狠 | 四虎网址在线观看 | 青青操原| 国产亚洲精品女人久久久久久 | xxx在线视频 | 少妇扒开粉嫩小泬视频 | 日本特黄一级 | v天堂在线观看 | 依人在线 | 日韩有色 | 两女双腿交缠激烈磨豆腐 | 人妻精品久久久久中文字幕 | 97超碰精品 | 成人教育av | 绿帽视频 | 国产黄色小说 | 亚洲最新中文字幕 | 久色网站| 污网站视频 | 爱吃波客今天最新视频 | 欧洲成人免费视频 | 欧美日韩中文字幕一区二区 | 成年人视频免费在线观看 | 精品日韩一区 | 午夜精品电影 | a一级黄色| 国产精品天天狠天天看 | 亚洲精品白浆高清久久久久久 | 9.1人网站| 色视屏 | 国产伦精品一区 | 亚洲青青草 | 99激情网 | 蜜桃av噜噜一区二区三区麻豆 | 久草色在线 | 美女扒开双腿 | 日韩一区二区三区四区五区六区 | 中文字幕女同女同女同 | 香蕉视频免费看 | 泰剧19禁啪啪无遮挡 | aaaaa黄色片 日韩电影院 | 一区二区三区欧美视频 | 欧美成人激情视频 | 爱情岛亚洲论坛入口福利 | 99热免费在线观看 | 国产精品天天狠天天看 | 成人免费毛片男人用品 | 久草99| 男女福利视频 | 欧美又粗又深又猛又爽啪啪九色 | 日批网址| 一区二区三区毛片 | 五月婷婷久久久 | 午夜欧美激情 | www.午夜视频 | 97在线看 | 国产麻豆精品久久一二三 | 四虎成人精品永久免费av九九 | 爆操白丝美女 | 婷婷久久久久久 | 波多野吉衣一二三区乱码 | 天天躁日日躁aaaaxxxx | 亚洲av无码乱码国产精品久久 | 欧美日韩三级在线 | 天天躁日日躁aaaaxxxx | 国产在线无码精品 | 在线观看国产黄色 | 日韩精品无码一区二区三区久久久 | 一级黄色免费 | av在线电影网| 欧美交换国产一区内射 | 97人妻精品一区二区三区免 | 国产高清免费在线播放 | 日韩高清不卡 | 午夜免费在线 | 欧美激情性做爰免费视频 | 欧美婷婷 | 精品人妻无码中文字幕18禁 | 污污内射久久一区二区欧美日韩 | 9999热| 欧美黄色片免费看 | 精品无码人妻一区二区三区品 | 天天草夜夜操 | 国产97在线观看 | 国产在线97 | 蜜桃视频在线观看www | 婷婷av一区二区三区 | 在线播放精品 | 国产麻豆传媒 | 国产精品乱码 | 久久ww| 日本中文字幕免费 | 午夜在线网站 | 阿娇全套94张未删图久久 | 黄色小说免费在线观看 | 在线h网站 | 午夜美女福利 | 亚洲草逼视频 | 蜜臀尤物一区二区三区直播 | 97播播 | 四虎网址在线观看 | 精久久久久 | 亚洲一区二区精品在线 | 深夜视频18 | 成人在线一区二区三区 | 中国一级黄色 | 色av影院 | 我我色综合| 青青操原 | 久久久久久999| 97自拍偷拍| 在线不卡一区 | 亚洲精品97久久 | 天天摸夜夜添狠狠添婷婷 | 五月婷婷开心中文字幕 | 天天摸夜夜添狠狠添婷婷 | 大地二资源在线观看高清国语版 | 婷婷五月综合久久中文字幕 | 欧美国产日韩一区二区 | 在线97| 爆操巨乳 | 国产又粗又猛又爽又黄的 | 国产一区二区中文字幕 | 日韩中文字幕不卡 | 小宝贝真紧h军人h | 国产亚洲色婷婷久久99精品91 | 99久久久无码国产精品免费蜜柚 | 亚洲一区二区三区免费视频 | 在线观看国产精品入口男同 | 国内精品一区二区 | 成人黄色免费电影 | 国偷自产视频一区二区久 | 欧美九九 | 污污内射久久一区二区欧美日韩 | 插插插91 | 日韩精品免费一区二区夜夜嗨 | 亚洲图片欧美 | 樱桃香蕉视频 | 特大黑人巨交吊性xxxx视频 | 在线h网站 | 久久九九99 | 99资源在线| 亚洲欧洲视频 | 篠田优在线 | 韩国一区二区在线观看 | 亚洲一区二区三区免费视频 | 女人免费视频 | 奶妈的诱惑 | 午夜在线观看影院 | 久草99| 91亚洲国产成人精品一区 | 午夜精品久久久久久久久久 | 国产精品99视频 | 大陆熟妇丰满多毛xxxⅹ | 午夜寂寞院 | 最新国产露脸在线观看 | 91热热| 亚洲第一免费 | 97超碰精品 | 久青草视频在线观看 | 国产福利在线观看 | 国产片在线 | 色婷婷综合久久久中文字幕 | 国产在线97| 另类日韩| 日本妈妈9| 暖暖日本在线视频 | 亚洲国产精品无码久久久久高潮 | 华丽的外出在线 | 怡红院最新网址 | 亚洲少妇一区二区 | 国产中文字幕在线播放 | 97精品在线观看 | 久久99视频 | 国产美女网站 | 美女靠逼app | 欧美成人激情在线 | 亚洲激情成人 | 尤物视频免费观看 | 黄av资源 | av正在播放| 美女xx网站 | 中文字幕一区二区三区精华液 | 伊人久久大香线蕉av一区 | 国产做爰免费视频观看 | 国产熟女高潮一区二区三区 | 日日夜夜爽爽 | 亚洲视频综合 | 一本不卡 | 人妻熟女一区 | 日韩精品无码一区二区三区久久久 | 日韩五码 | 亚洲欧美另类图片 | 又粗又大又深又硬又爽 | 久久久888 | 97播播| 亚洲图片欧美 | 青娱乐青青草 | 风流少妇一区二区三区91 | 国产日批视频 | 性高潮久久久久久久 | 国产又粗又大又硬 | 欧美色图在线播放 | 怡红院av | 久久久精品免费观看 | 蕾丝视频污 | 国产日韩欧美中文字幕 | 三级黄在线观看 | 成人精品影院 | 国内精品一区二区 | 看特级毛片 | 色午夜av | 亚洲综合小说 | 六月综合 | 日韩一区二区三区四区在线 | 91狠狠 | 日韩美女网 | 日韩三级黄色 | 日韩黄色免费观看 | 午夜精品久久久久久久久久 | 日本黄色网址大全 | 成人教育av| 成人国产网站 | 牛牛电影国产一区二区 | 久久不卡影院 | 深夜成人福利视频 | 中文字幕第18页 | 韩国无码一区二区三区精品 | 蕾丝视频污 | 前所未有的深入 | 亚洲免费观看高清 | 日日碰 | 黄漫app | 99综合 | 天天天干| 国产中文字幕在线播放 | 免费一级毛片麻豆精品 | 日韩五月天 | 波多野结衣av无码 | 不良视频在线观看 | 久久久久久av无码免费网站 | 深夜福利免费观看 | 成人污视频在线观看 | 在线色av| 色天堂视频 | 色婷婷综合久久久中文字幕 | 婷婷五月综合久久中文字幕 | 性高潮久久久久久久 | 精品无码国产一区二区三区51安 | 久青草视频在线观看 | 黑人爱爱视频 | 少妇被躁爽到高潮无码人狍大战 | 乳女教师の诱惑julia | 爱综合网| 自拍偷拍国产精品 | 尤物av在线| 欧美日韩亚洲二区 | 五月婷婷六月色 | 综合网天天 | 奇米影视av | 精品九九九九 | 亚洲av无码国产综合专区 | 4438成人网| 天天干天天草天天射 | 秋霞av鲁丝片一区二区 | 男人操女人的视频 | 91短视全免费 | 日韩av第一页 | 看免费毛片 | 美女爱爱视频 | 亚洲黄色在线观看 | 日日夜夜影院 | 日韩久久一区二区 | 自拍偷拍第五页 | 成人影片在线播放 | 免费日b视频 | 中文在线免费视频 | 波多在线观看 | 欧美交换国产一区内射 | 午夜免费播放观看在线视频 | 国产在线无码精品 | 久久噜 | 欧美性猛交xxxx乱大交退制版 | 女女les互磨高潮国产精品 | 男人天堂中文字幕 | 老鸭资源| 日韩精品免费一区二区夜夜嗨 | 精品午夜久久 | 最好看的2019免费观看 | 久久在线看 | 国产精品久久久久久亚洲色 | 好吊一区二区三区 | 一起操在线观看 | 久久极品视频 | 亚洲熟妇色自偷自拍另类 | 中文字幕视频在线观看 | 国产在线看片 | 国产人成视频在线观看 | 国产首页 | 在线视频 日韩 | 国产91小视频 | 久久极品视频 | 国产中文字字幕乱码无限 | 色人阁视频| 精品人妻午夜一区二区三区四区 | 人妻少妇精品视频一区二区三区 | 国产精品探花一区二区在线观看 | 久久不卡影院 | 国产在线无码精品 | 午夜激情视频在线观看 | 狠狠狠操| 国产91小视频| 亚洲综合久久久 | 色婷婷av一区二区三区之红樱桃 | 人人爱操 | 国产在线精品一区二区 | 欧美日韩一区二区三 | 亚洲h视频在线观看 | 亚洲免费观看高清 | 口舌奴vk| 三浦理惠子av在线播放 | 亚洲乱码一区二区 | 神马影院午夜伦理 | 麻豆视频在线观看 | 小早川怜子一区二区三区 | 中文字字幕在线中文乱码电影 | 亚洲三级免费 | 男女床上拍拍拍 | 日本高清视频在线 | 精品欧美在线 | 伊人久久大香线蕉av一区 | 伊人国产在线 | 人妻熟女一区 | 欧美日韩麻豆 | 都市激情 亚洲 | 波多野结衣av无码 | 337p日本欧洲亚洲大胆张筱雨 | 一级黄色短视频 | 免费a级大片 | 女人做爰全过程免费观看美女 | 天天视频入口 | 97自拍偷拍 | 久久精品9 | 自拍第一页 | 日日操夜夜爱 | 欧美性视屏 | 韩国一区二区在线观看 | 国产一区免费 | 涩涩五月天 | 久久99久久99精品免观看软件 | 中文字幕丰满乱子伦无码专区 | 91成人免费视频 | 五月婷婷开心中文字幕 | 91快射| 少妇高潮惨叫久久久久久 | 9999热| 两女双腿交缠激烈磨豆腐 | 1024国产精品 | 三级av电影| 日韩欧美大片在线观看 | 天天草夜夜 | 亚洲精品白浆高清久久久久久 | 精品一二三区 | 中文字幕首页 | 日本中文字幕一区 | 欧美成人激情视频 | 综合色视频 | 午夜看毛片 | 中文字幕丰满乱子伦无码专区 | 牛牛电影国产一区二区 | 久久一 | 中文字幕三区 | 日本性视频网站 | 在线看一区 | 亚洲视频在线观看一区二区 | 婷婷亚洲天堂 | 欧美zzoo| 综合导航| 国产在线看片 | 国产日批视频 | 亚洲熟妇无码久久精品 | 久草高清视频 | 欧美片网站免费 | 在线观看免费黄色 | 成人午夜视频在线 | 一区二区免费在线观看 | 一本不卡 | 五月天狠狠干 | 美女一区二区三区四区 | 人人草在线 | 国产视频一区在线 | 日韩精品福利 | 精品国产欧美一区二区三区成人 | 蜜桃视频在线观看www | www.色多多 | 野花视频免费在线观看 | 在线观看黄色片 | 老年人毛片 | 亚洲精品国产精品乱码不99按摩 | 超碰97人人爱 | 午夜肉体高潮免费毛片 | 欧美区一区二 | 欧美又粗又深又猛又爽啪啪九色 | 91快射| 在线无限看免费粉色视频 | a天堂在线视频 | 污污内射久久一区二区欧美日韩 | 农村妇女毛片 | 96视频在线| 五月婷婷久久久 | 中文字幕观看视频 | 成年网站在线视频网站 | 久久精品爱 | 欧美黑人一级片 | 91麻豆精品国产91久久久久久 | 久久tv| 午夜激情视频在线观看 | 日本人体视频 | 国产亚洲色婷婷久久99精品91 | 成年人视频免费在线观看 | 美女又爽又黄网站泳装 | 国产精品探花一区二区在线观看 | 欧美色图狠狠干 | 色午夜av| 国产在线高清 | 99热日韩| 国产中文字字幕乱码无限 | 丁香婷婷久久久综合精品国产 | 国产乱子伦精品视频 | 国产一区精品在线观看 | 国产成人中文字幕 | 四虎成人精品永久免费av九九 | 五月精品| 青青青草视频在线观看 | 日韩精品免费一区二区夜夜嗨 | 国产人妻精品一区二区三区不卡 | 久久久久久av无码免费网站 | 国产午夜在线视频 | 香港a毛片 | 久久看看 | 免费看欧美大片 | 想要视频在线观看 | 国产一区二区毛片 | 免费黄色网址大全 | 久久亚洲精品小早川怜子 | 国产精品999 | 久久与婷婷 | 丰满熟妇乱又伦 | 日韩国产免费 | 成年人视频免费在线观看 | 国产精品天天干 | 国内91视频 | 牛牛电影国产一区二区 | 草莓视频免费在线观看 | www男人天堂 | 免费网站观看www在线观 | 91人人爽| 日本福利在线观看 | 天天毛片 | 日本精品视频在线播放 | 91免费视频| 97精品在线观看 | 在线免费看污视频 | 日本精品一区二区三区视频 | 欧美四区 | 打屁股调教视频 | 91香蕉国产 | 久久影院在线观看 | 国产三级在线观看视频 | 爱操视频| 欧美在线免费观看视频 | 中文字幕亚洲乱码熟女1区2区 | 亚洲综合色视频 | 欧美成人激情视频 | 最好看的2019免费观看 | 西西人体大胆4444www | 国产精品v欧美精品v日韩 | 91大神久久 | 女人做爰全过程免费观看美女 | 在线播放第一页 | 修仙淫交(高h)h文 | 成年人免费视频观看 | 色视屏| 91免费视频 | 亚洲爽爽 | 色久视频| 亚洲色图自拍 | 黄色片网站在线观看 | 久久久国产一区二区三区 | 黄视频在线播放 | 国产三级在线观看视频 | 青青草视频免费 | 欧美高清一区 | 啪啪网站免费看 | 成人在线视频观看 | 涩涩网站在线观看 | 色哟哟精品 | 国产在线精品一区二区 | 黄色网入口 | 开心激情播播 | 老鸭资源 | 欧美色激情 | 黄色av中文字幕 | 爆操白丝美女 | 野花视频免费在线观看 | 欧美成人高清视频 | 前所未有的深入 | 国产酒店自拍 | 免费精品久久 | 高h喷水荡肉少妇爽多p视频 | av每日更新 | 欧美日韩在线观看一区二区 | 日韩久久一区二区 | 日韩国产欧美一区二区 | 青春草视频 | 欧美9999| 俄罗斯厕所偷拍 | 五月开心网 | 国产97在线观看 | 中文久久精品 | 欧美成在线视频 | 午夜欧美激情 | 9.1人网站 | 午夜精品久久久久久久爽 | 国产激情网址 | 亚洲作爱视频 | 美国免费高清电影在线观看 | 野花视频免费在线观看 | 7799精品视频 | 复古经典毛茸茸xxxxxxxx | 樱桃av| 成人综合色站 | 欧美日韩性视频 | 一级免费黄色片 | 狠狠操在线观看 | 日本中文字幕免费 | 欧美在线免费观看视频 | 国产在线精品视频 | 国产日比视频 | av一区在线观看 | 91色国产| 午夜精品亚洲 | 奇米色777| 国产乱子伦精品视频 | 亚洲一区二区精品在线 | 亚洲免费三级 | 一级黄色短视频 | 午夜激情网站 | 美女扒开尿口给男人桶 | 国产又粗又猛视频免费 | 91热热| 亚洲高潮av | 性一交一乱一区二区洋洋av | 动漫美女无遮挡免费 | 欧美激情性做爰免费视频 | 少妇视频在线观看 | 久久国产精品偷 | 91超碰免费在线 | 特大黑人巨交吊性xxxx视频 | 美女扒开尿口给男人桶 | 欧美成人高清视频 | heyzo在线播放 | 成年人精品 | 国产精品免费久久 | 女同vk| 国产精品白虎 | 天天狠狠操 | 亚洲国产精品无码久久久久高潮 | 亚洲欧洲日本在线 | 美女爱爱视频 | 日韩精品久久久久久久 | 中文字幕一区二 | 一级黄色大片 | 可以免费看的av网站 | 麻豆影音先锋 | 性一交一乱一区二区洋洋av | 亚洲国产精品无码久久久久高潮 | 狠狠香蕉| 操到喷水| 精品国产欧美一区二区三区成人 | 在线精品观看 | 亚洲综合色在线 | 懂色av蜜臀av粉嫩av分享 | 能免费看av的网站 | 欧美午夜在线 | 国产精品天天狠天天看 | 日韩影音 | 日本精品在线播放 | 人妻少妇精品视频一区二区三区 | 亚洲一区二区观看 | 国产成人在线观看免费网站 | 安装下载app | 中文字幕第九页 | 日本黄色大片免费 | 日韩黄色在线 | 91免费影片 | 国产又粗又猛又爽又黄的 | 久久影院在线观看 | 国产一区免费 | 欧美一级网 | 爱草在线视频 | 天天干视频在线观看 | 在线看片你懂得 | 国产成人a v | 91精品人妻一区二区三区 | 自拍亚洲欧美 | 日韩高清一区 | 在线观看国产精品入口男同 | 懂色av蜜臀av粉嫩av分享 | 2019中文字幕在线观看 | 欧美jizz欧美性大全 | 亚洲视频二 | 婷婷开心激情网 | 欧美zzoo| 中文字幕第18页 | 爱操视频 | 欧美国产精品 | 国产精品探花视频 | 午夜不卡av免费 | 成人欧美日韩 | 999国产精品视频 | 午夜免费播放观看在线视频 | 麻豆视频免费版 | 美国毛片网站 | 丁香六月激情 | 大陆熟妇丰满多毛xxxⅹ | 国产精品呻吟 | 美女xx网站 | 欧美日韩在线观看一区二区 | 亚洲视频大全 | 午夜a级片 | 超碰97人人爱 | 欧美放荡性医生videos | 久久极品视频 | 99在线视频精品 | 免费观看av的网站 | 日本在线视频免费观看 | 成人av网站在线 | 丰满熟妇被猛烈进入高清片 | 国产片在线 | 四虎在线免费观看 | 少妇视频在线观看 | 成年人一级片 | 日韩欧美国产高清 | 亚洲九九 | 91嫩草视频在线观看 | 成年人视频网 | 国产精品av一区 | 中文字幕mv | 淫视频在线观看 | 冲田杏梨 在线 | 日韩精品在线一区 | 一区二区三区毛片 | 午夜免费播放观看在线视频 | 欧美一级生活片 | 特黄色一级片 | 欧美在线亚洲 | 日本精品视频在线播放 | 国精品一区 | 久久极品视频 | 成人国产网站 | 香港a毛片| 丁香网站 | 青青草激情视频 | 色婷婷av一区二区三区之红樱桃 | 九九九九精品九九九九 | 日本黄色网址大全 | 韩国黄色大片 | 蜜臀尤物一区二区三区直播 | 久久男人天堂 | 复古经典毛茸茸xxxxxxxx | 污污网站在线 | 国产尻逼视频 | 最近中文字幕av | 久久ww| 婷婷综合五月 | 青青草成人在线观看 | 欧美大片免费 | 777奇米四色 | 7799精品视频| 伊人色网| 日韩国产欧美一区二区 | 人妻少妇精品视频一区二区三区 | 尤物视频免费观看 | 国产在线高清 | 欧美第二页 | 亚洲手机在线观看 | 操干视频 | 女m被s玩胸虐乳哭着求饶 | 北条麻妃av在线 | 日日夜夜精| 日本一区精品 | 涩涩网站在线观看 | 激情视频一区 | 午夜国产精品视频 | 国偷自产视频一区二区久 | ass大乳尤物肉体pics | 91久久久久久久久久久 | 国产精品1024 | 亚洲黄色在线观看 | 91免费视频 | 火影忍者羞羞漫画 | 一级免费观看 | 精品无码久久久久久久久 | 日韩精品在线一区 | 日本美女一区二区 | 婷婷五月综合久久中文字幕 | 中日一级片 | 成人天堂噜噜噜 | 欧美成人不卡 | 米奇影视777 | 日本一级淫片色费放 | 天堂在线一区 | 欧美做受xxxxxⅹ性视频 | 伊人久久国产 | 9色在线 | 青青草成人在线观看 | 人妻熟女一区 | 亚洲综合久久久 | 亚洲成年网站 | 久久亚洲电影 | www日本高清视频 | 高潮呻吟videoshd | 午夜aaa片一区二区专区 | 国产白丝在线观看 | 永久免费视频网站直接看 | 91好色先生| 在线精品观看 | 精品人妻无码中文字幕18禁 | 尤物av在线 | 国产成人a人亚洲精品无码 最近中文字幕av | 日韩美女网 | 7799精品视频| 亚洲色图另类 | 爆操巨乳 | 欧美片网站免费 | 欧美zzoo | 国产福利在线观看 | 中文字幕丰满乱子伦无码专区 | 久久免费看少妇高潮 | 中文字幕 自拍偷拍 | 欧美春色| 亚洲一区二区精品在线 | 精品午夜久久 | 国产精成人 | 美女又爽又黄网站泳装 | 国产精品自拍一区 | 黄视频在线播放 | 337p日本欧洲亚洲大胆张筱雨 | 泰剧19禁啪啪无遮挡 | 97精产国品一二三产区 | 嘛豆视频 | 国产h视频在线观看 | 欧美成人三区 | 亚洲在线电影 | 黑夜传说1 | 黄色av网站免费 | 日本一级一片免费视频 | 在线色av | 日日夜夜精 | 国产无遮挡裸体免费视频 | 亚洲综合一区二区三区 | 韩国一区二区三区在线观看 | 91亚洲欧美 | 69精品无码成人久久久久久 | 色小说在线| 神马午夜国产 | 欧美一级网 | 久久精品国产亚洲AV无码男同 | 国产又粗又猛又爽又黄的 | 欧美va视频 | 天天操天天操天天操 | 白又丰满大屁股bbbbb | 伊人国产在线 | 精品国产乱码久久久久久郑州公司 | 国产精品探花一区二区在线观看 | 久草视频免费在线 | 国产91小视频| 日本黄色精品 | 波多野结衣人妻 | 色婷婷国产精品 | 深夜成人福利视频 | 黄色网址免费 | av免费一区 | 日本激情小视频 | 91大尺度 | 日韩精品免费一区二区夜夜嗨 | www日日日 | 国产美女自慰在线观看 | www.伊人网| 日日干日日插 | 欧美成人激情视频 | 天天干夜夜欢 | 黄色免费网站在线观看 | 成人xx视频| 日韩久久一区二区 | 中文字幕一区二区三区5566 | 亚洲成成品网站 | 一区二区av在线 | 久久成人一区 | 野花视频免费在线观看 | 国产精品久久久一区 | 久久影视精品 | 日本中文字幕一区 | 在线精品观看 | 国内外成人在线视频 | 天天天干| 欧美日韩精品久久久 | 91久久久久久 | 久操视频免费观看 | 91资源总站| 成人免费黄 | 国产精品一区三区 | 少妇高潮惨叫久久久久久 | 欧美激情一区二区三区 | 久久久久影视 | 91嫩草视频在线观看 | 久草色在线 | 人妖一区| 国产97视频 | 黄色免费看片网站 | 亚洲欧洲日本在线 | 色婷婷激情av | 黑夜传说1 | 欧美成人免费在线视频 | 精品久久一| 欧美在线免费观看视频 | www.色婷婷 | 成人在线一区二区三区 | 污污内射久久一区二区欧美日韩 | 中文字幕亚洲欧美日韩高清 | 美女一区二区三区四区 | 日韩在线免费av | 亚洲视频二 | 青青操原 | 人妻少妇精品视频一区二区三区 | 91久久久久国产一区二区 | 天天插天天狠 | 91久久久久国产一区二区 | 国产成人在线观看免费网站 | 免费看日韩毛片 | 总裁憋尿呻吟双腿大开憋尿 | 国产做爰免费视频观看 | 中文字幕一区二区三区精华液 | 动漫3d精品一区二区三区乱码 | 91嫩草视频在线观看 | 久久久久性 | 黄漫在线免费观看 | 欧美日韩一区二区三 | 色妞综合 | 中文字幕av久久爽一区 | 亚洲青青草 | 中文字幕亚洲欧美日韩高清 | 精品国产123 | 国产一区免费 | 日韩爱爱网 | 国产美女视频免费观看下载软件 | 欧美放荡性医生videos | 欧美婷婷 | 色小说在线 | 欧美亚洲国产日韩 | 亚洲天堂日本 | 国产中文字幕在线播放 | 久久精品噜噜噜成人 | 禁断介护老人中文字幕 | 久久精品一 | 久草99 | 青青草激情视频 | 欧美成人小视频 | 看特级毛片 | 国产精品1024 | 在线黄色av网站 | 丰满熟妇乱又伦 | 日韩精品视频在线免费观看 | sm捆绑调教视频 | 亚洲乱码视频 | 亚洲色图自拍 | 不卡久久| 美女爱爱视频 | 日日夜操 | 国产三级不卡 | 草莓视频免费在线观看 | 麻豆成人在线 | 久久综合社区 | 免费在线国产视频 | 妻子的性幻想 | 超碰麻豆 | 大香焦久久 | 看特级毛片 | 污污视频免费观看 | 精产国产伦理一二三区 | 好看的h文 | 成人xx视频 | 樱桃香蕉视频 | 久色网站 | 五月婷婷小说 | 青青青草视频在线观看 | 国产做爰免费视频观看 | 柠檬福利第一导航在线 | 久久99久久99精品免观看软件 | 在线观看黄色网页 | 黄桃av| 另类日韩 | 亚洲黄色小说网 | 国产精选在线观看 | 美女爱爱视频 | 国产乱码精品一区二区三区中文 | 日本成人网址 | 一起操在线观看 | 97看片吧 | 人妻一区二区在线 | 在线观看三级电影 | 白又丰满大屁股bbbbb | 4438x在线观看 | 国产亚洲色婷婷久久99精品91 | www.日本高清 | 免费看毛片的网站 | 天堂在线1 | 国产又爽又黄视频 | 国产青青草视频 | 国产成人a v| 日韩av无码一区二区三区 | 免费a视频在线观看 | 在线色av| 国内外成人在线视频 | 欧美va视频 | 欧美性猛交xxxx乱大交俱乐部 | 欧日韩一区二区三区 | 91黄色大片 | 久久不卡影院 | 精品少妇theporn| 日本妈妈9| 欧美成人小视频 | 好吊操视频这里只有精品 | 日韩经典一区二区 | 麻豆国产精品一区 | 午夜精品一区二区三区在线视频 | 女人做爰全过程免费观看美女 | 欧美精品一线 | av老女人 | 国产亚洲精品成人a | 免费在线一区二区三区 | 久久国产精品久久久 | 亚洲日本中文 | 精品无码国产一区二区三区51安 | www日日日 | 亚洲视频综合 | 性欧美sm调教 | 亚洲精品一二三 | 欧美9999| 丁香婷婷久久久综合精品国产 | 成人黄色免费电影 | 大学生三级中国dvd 亚洲成人精品久久 | 二十四小时在线更新观看 | 黄色片网站在线观看 | 欧美精品中文 | 99爱在线| 乌克兰黄色片 | 成人欧美日韩 | 成人xx视频 | 精品午夜久久 | 国产一区二区在线免费 | 快播黄色电影 | 绿帽视频| 国产美女视频免费观看下载软件 | 亚洲欧美精品一区二区三区 | 篠田优在线 | 又粗又大又深又硬又爽 | av在线电影网 | 亚洲国产精品无码久久久久高潮 | 国产精品久久久久久亚洲色 | 青青草国产成人99久久 | 色噜噜在线观看 | 成人在线一区二区三区 | 男人天堂一区 | 精品无码人妻一区二区三区品 | 9色在线| 三上悠亚 在线观看 | 欧洲激情网 | 操干视频 | 日本中文字幕一区 | 日韩精品免费一区二区夜夜嗨 | 欧美私人影院 | 在线高清观看免费观看 | 97看片吧| 色婷婷av一区二区三区之红樱桃 | 亚洲精品白浆高清久久久久久 | 午夜免费观看视频 | 成人影片在线播放 | 自拍偷拍国产精品 | 成人欧美日韩 | 色妞综合 | 国产成人高清在线 | 久久精品一区 | 久久大陆 | 亚洲成年人av | 总裁憋尿呻吟双腿大开憋尿 | 国产精品91久久 | 香蕉福利 | 国产黄色片在线播放 | 黄色免费看片网站 | 99er这里只有精品 | 秋霞av鲁丝片一区二区 | 91精品国产综合久久久蜜臀粉嫩 | 91精品国产综合久久久蜜臀粉嫩 | 日日干日日插 | 黄色片www | 91精品国产成人观看 | 午夜色福利| 啪啪网站免费看 | 冲田杏梨 在线 | 亚洲综合色视频 | 在线色av | 蜜乳av红桃嫩久久 | 欧洲成人av | 欧美成人高清视频 | 五月天av在线 | 国产麻豆精品久久一二三 | 国产精品高清无码在线观看 | 四虎成人在线观看 | 动漫美女被到爽 | 日本高清二区 | 91麻豆精品国产91久久久久久 | 大地二资源在线观看高清国语版 | 日本黄色网址大全 | 亚洲综合久久久 | 午夜免费在线 | 337p亚洲精品色噜噜狠狠 | 中文字幕一二三 | 免费在线观看黄色av | 草比网站 | 国产97视频 | 四虎影库在线播放 | 久久久久久精 | 99精品视频在线 | 丁香六月综合激情 | 国产日比视频 | 熟妇熟女乱妇乱女网站 | 婷婷欧美| 激情开心网站 | 精品国产欧美一区二区三区成人 | 不卡在线播放 | 色欲av无码一区二区三区 | 国产成人在线观看免费网站 | 草莓视频污视频 | 精品午夜福利视频 | 在线不卡| 特大黑人巨交吊性xxxx视频 | 韩国一区二区三区在线观看 | 男人插入女人阴道视频 | 精品无码国产一区二区三区51安 | 碧蓝之海动漫在线观看免费高清 | 中文字幕亚洲精品 | 国产精品2 | 精品国产不卡 | 麻豆视频在线观看 | 草久影院| 欧美一级网 | www.亚洲国产 | 国产h视频在线观看 | 欧美性猛交xxxx黑人猛交 | 最新国产露脸在线观看 | 香港黄色网 | 亚洲欧美精品一区二区三区 | 波多野吉衣一二三区乱码 | 色鬼艳魔大战1春荡女淫 | 91精品人妻一区二区三区 | 中国精品毛片 | 你懂得在线观看 | 亚洲区一区二区三区 | 丁香六月综合 | 国产又爽又黄视频 | 国产亚洲色婷婷久久99精品91 | 精品不卡视频 | 亚洲黄色三级 | 91久久精品一区二区 | 91精品国产91久久久久久黑人 | 在线高清观看免费观看 | 想要视频在线观看 | 神马影院午夜伦理 | 人人草人人爽 | 波多野结衣中文字幕在线 | 中文字幕在线免费看 | 天天狠狠操 | 国产日比视频 | 欧美精品久久99 | 欧美一区免费观看 | 成人精品三级av在线看 | 97在线播放 | 女~淫辱の触手3d动漫 | 91免费影片 | 免费看毛片的网站 | av综合在线观看 | 日韩在线观看一区 | 国产h视频在线观看 | 777奇米四色 | 免费av播放| 精品国内自产拍在线观看视频 | 丰满熟妇被猛烈进入高清片 | 午夜精品亚洲 | 欧美脚交 | 在线看片你懂得 | 打屁股调教视频 | 欧洲精品一区二区三区 | 337p亚洲精品色噜噜狠狠 | 草莓视频免费在线观看 | 蜜桃视频在线观看www | 国产精品探花在线观看 | 日韩在线观看视频网站 | videosex抽搐痉挛高潮 | 淫欲的美女理论电影完整版 | 久久av一区 | 麻豆视频免费版 | 中文字幕首页 | 黄色网址免费 | 草莓视频免费在线观看 | 张柏芝亚洲一区二区三区 | 欧美亚洲在线视频 | 第一福利丝瓜av导航 | 国产日韩欧美中文字幕 | 免费在线国产视频 | 国产精品久久影视 | 中文av在线播放 | 亚洲h视频在线观看 | 一区二区免费在线观看 | 午夜视频在线播放 | 奇米影视77777| 你懂得在线观看 | 成人精品在线视频 | 草莓视频污视频 | 美女扒开尿口给男人桶 | 日韩精品视频在线免费观看 | 亚洲一区二区精品在线 | 三级av在线| 亚洲熟妇无码久久精品 | 麻豆精品一区二区 | 人人妻人人澡人人爽精品日本 | 中文字幕丰满乱子伦无码专区 | 好大好舒服视频 | 亚洲免费中文字幕 | 国产乱子伦精品视频 | 伊人久久大香线蕉av一区 | 中国挤奶哺乳午夜片 | 高潮呻吟videoshd| www.午夜视频| 91成人在线免费视频 | 中文字幕丰满乱子伦无码专区 | 超碰人人干 | 星铁乱淫h侵犯h文 | gogogo日本免费观看电视 | 看片网站在线观看 | 91精品国产免费 | 91久久久久久 | 日日夜夜爽爽 | 西西人体大胆4444www | 欧美黄在线 | 青青草成人av | 日本极品丰满ⅹxxxhd | 视频一区在线播放 | 日本国产一区 | 91片看| 青青青国产在线 | 久章草影院 | 婷婷香蕉 | 潘金莲一级淫片免费放动漫 | 国产a级黄色片 | 久久成人免费视频 | 99激情网| 1024手机在线看片 | 两女双腿交缠激烈磨豆腐 | 99re国产| 国产中文字字幕乱码无限 | 亚洲成年人av | heyzo在线播放| 看全色黄大色黄女片18 | 成人羞羞国产免费 | 欧美激情性做爰免费视频 | 久久国产精品偷 | 国产精品免费久久 | 色婷婷综合久久久中文字幕 | 天天视频入口 | 成年人免费网站在线观看 | 蜜桃91视频| 久久国产免费视频 | 精品午夜福利视频 | 性高潮久久久久久久 | 成人在线视频观看 | 一区二区免费在线观看 | 欧美在线免费观看视频 | 超碰伊人 | 北条麻妃av在线 | 国产18在线 | 伊人国产在线 | 国产又粗又猛视频免费 | 天天狠狠操 | 久久极品视频 | 婷婷精品在线 | 亚洲精品乱码久久久久 | 久久亚洲一区二区 | 后宫秀女调教(高h,np) | 草比网站 | 免费麻豆视频 | 国产视频黄| 巨粗高h双龙筋肉体育生 | 五月婷婷,六月丁香 | 污污内射久久一区二区欧美日韩 | 成人性生交大片免费 | 婷婷午夜激情 | 午夜国产片 | 亚洲三级图片 | 久久久久久国产精品 | 视频在线观看免费大片 | 操到喷水 | 亚洲第一男人天堂 | 三级av电影| 性爱一级视频 | 超污视频网站 | 9999在线视频| www.五月激情 | 尤物av在线 | 中文字幕不卡在线观看 | 日韩av一区二区三区在线观看 | 中文字幕电影 | 日本中文字幕免费 | 图片区偷拍区小说区 | av一区在线观看 | 天天干天天干天天干 | 99资源在线| 日韩午夜精品 | 男人的天堂一区二区 | 完美搭档在线观看 | 92国产精品 | 国产尻逼视频 | www.五月激情 | 国产日韩欧美中文字幕 | 欧美大片高清免费观看 | 色综合中文字幕 | 国产97视频 | 国产精品自拍一区 | www.午夜视频 | 五月婷婷开心中文字幕 | 国产精品天天干 | 一级免费黄色片 | 91精品国产综合久久久蜜臀粉嫩 | 国产成人精品无码片区在线 | 中文字幕一区二区三区精华液 | 欧美熟妇精品一区二区蜜桃视频 | 成人av图片 | 蜜臀尤物一区二区三区直播 | 中文天堂网 | 大陆熟妇丰满多毛xxxⅹ | av影院在线观看 | 91精品人妻一区二区三区蜜桃欧美 | 日韩免费 | 久久涩视频 | 女m被s玩胸虐乳哭着求饶 | 男人操女人网站 | 欧美大片高清免费观看 | 美国免费高清电影在线观看 | 中文字幕首页 | 国产免费成人 | 国模在线观看 | 亚洲综合区| 欧美20p| 国产午夜电影 | 狠狠干2023| 黄色网址免费 | 午夜视频在线免费 | 五月婷婷激情四射 | 狠狠操在线观看 | 黄漫在线免费观看 | 午夜视频免费看 | 欧美成人激情在线 | 美国av导航 | www.黄色在线观看 | 国产精品v欧美精品v日韩 | 久久av一区 | 丁香花电影免费播放电影 | 男人天堂中文字幕 | 婷婷超碰| 亚洲国产无码精品 | 中文字幕av久久爽一区 | 在线免费看污视频 | 一道本av | 国产日韩在线视频 | 中文字幕视频在线观看 | 日韩欧美国产高清 | 国产精品一区三区 | a级片久久 | 亚洲国产成人精品女人久久久 | 欧美成人精品激情在线视频 | 欧美日韩亚洲二区 | 玩弄人妻少妇500系列 | 欧美在线免费观看视频 | 看黄色一级视频 | 日韩精品在线视频观看 | 综合导航 | 成人教育av | 国产精品sm| 日本国产一区 | 人人妻人人澡人人爽精品日本 | 黄色1级视频 | 日本在线视频免费观看 | 91麻豆精品国产91久久久久久 | 日韩精品视频在线免费观看 | www夜片内射视频日韩精品成人 | 男男黄网站 | 激情视频一区 | 国产精品久久一区二区三区 | 成人精品三级av在线看 | 奇米影视在线播放 | 性综艺节目av在线播放 | 欧美骚少妇| 亚洲爽爽| 美女扒开双腿 | 91成人免费视频 | 婷婷亚洲天堂 | 成人黄色免费电影 | www.在线播放 | 色婷婷综合久久久中文字幕 | 久久免费在线视频 | 午夜不卡av免费 | 国产伦精品一区 | 久久久久久亚洲av无码专区 | 国产精品久久国产精麻豆96堂 | 激情视频一区 | 日本五十肥熟交尾 | 久久久久影视 | 四虎影视免费永久大全 | 少妇被躁爽到高潮无码人狍大战 | 熟女人妻aⅴ一区二区三区60路 | 五月婷婷小说 | 欧美一区二区三区成人精品 | 欧美成人精品激情在线视频 | 无码人妻精品一区二区三区蜜桃91 | 久久三级视频 | 殴美一级黄色片 | 欧美日韩三级在线 | 成人国产网站 | 大香焦久久 | 午夜a级片 | 欧美va视频 | 午夜在线观看视频 | 安装下载app | 狠狠干狠狠插 | 久久涩视频 | 青青青草视频在线观看 | 亚洲涩综合 | 天天操天天插天天射 | 色婷婷在线影院 | 91短视全免费 | www.伊人网 | 91免费影片 | 美国免费高清电影在线观看 | 亚洲青青草 | 91精品国产免费 | 艳母动漫在线播放 | 91丝袜在线 | 成年人免费网站在线观看 | 丁香六月综合 | 亚洲日本中文 | 明日叶三叶| 国产精品99视频 | 懂色av一区二区三区免费观看 | 狠狠狠操 | 97精品| 精品无码免费视频 | 6699嫩草久久久精品影院 | 天天干夜夜欢 | 欧美在线免费观看视频 | 日韩一区二区三区四区五区六区 | 波多野结衣一区二区三区在线观看 | 国产人妻精品一区二区三区不卡 | 国产一级二级 | 国产h视频在线观看 | 91亚洲国产成人精品一区 | 国产呦小j女精品视频 | 91精品国产成人观看 | 日韩国产欧美一区二区 | 成人动漫网站在线观看 | 欧洲成人免费视频 | 欧美婷婷 | 欧美一卡二卡三卡 | 在线97| 成人污视频在线观看 | 99精品视频在线 | 传媒av在线 | 中国a级黄色片 | 中文字字幕在线中文乱码电影 | 国产又粗又猛又爽又黄的 | 中文字幕8 | 羞羞网站在线观看 | 欧美一级生活片 | 久久久久久少妇 | 一级全黄裸体片 | 男人天堂中文字幕 | 午夜视频免费看 | 久草五月 | av免费一区 | 亚洲国产精品无码久久久久高潮 | 国产又爽又黄视频 | 96视频在线 | 美女三级视频 | 2019毛片 | 久久久久久av无码免费网站 | 欧美日韩中文字幕一区二区 | 国产无套精品一区二区三区 | 女m被s玩胸虐乳哭着求饶 | 樱桃香蕉视频 | 午夜免费小视频 | 永久免费在线 | 国产视频一区二区在线观看 | 中文字幕丰满乱子伦无码专区 | 女人做爰全过程免费观看美女 | 丰满熟妇乱又伦 | 亚洲黄色在线观看 | 丰满熟妇被猛烈进入高清片 | 亚洲色图19p | 国产黄色小说 | 日韩精品在线一区 | 青青青草视频在线 | 2019毛片| 日韩一级黄色大片 | 日韩午夜一区 | 97在线公开视频 | 色哟哟精品一区 | 激情视频一区 | 国产黄色小说 | 成人性生交大片免费 | 亚洲成成品网站 | 福利视频免费 | 国产亚洲精品成人a | 一区二区av在线 | 精品1区2区3区 | 丝袜 亚洲 另类 欧美 重口 | 91香蕉视频黄色 | 夜夜操狠狠操 | 偷拍亚洲视频 | 日韩精品一区二区三区免费视频 | 91免费视频| 岛国av大片 | 黄网在线免费观看 | 午夜国产精品视频 | 亚洲h视频在线观看 | 在线观看国产欧美 | 成人hd| 成人在线一区二区三区 | 久热只有精品 | 午夜美女福利 | 欧美一区二区三区不卡 | 爱吃波客今天最新视频 | 色人阁视频 | 年代下乡啪啪h文 | 在线观看国产黄色 | 午夜免费在线 | 激情宗合网 | 亚洲欧美精品一区二区三区 | 国产1区2区在线观看 | 91热热| 欧美国产日韩一区二区 | 九九视频在线免费观看 | 午夜免费观看视频 | 99re国产| 成人性生交大片免费 | 夜夜视频| 久久久久影视 | www午夜| 国产精品高清无码在线观看 | 日本美女交配 | 久久免费看少妇高潮 | 色七七视频 | www日本高清视频 | 欧美福利一区 | 午夜精品亚洲 | 动漫美女无遮挡免费 | www日本高清视频 | 精品无码久久久久 | 黄污视频在线观看 | 三级黄色免费 | 国产第8页| 中文字幕一区二 | 亚洲日本va在线观看 | 青青草国产成人99久久 | 特色黄色片 | 午夜av网站 | 欧美综合激情网 | 国产精品xxx在线观看 | 色噜噜综合 | 亚洲国产精品免费 | 国产精品探花一区二区在线观看 | 亚洲精品第一页 | 波多野结衣一区二区三区在线观看 | 狠狠干.com| 日本亚洲色大成网站www久久 | 成人影片在线播放 | 狠狠干干 | 日本大乳奶做爰 | 中文av在线播放 | 爱情岛亚洲论坛入口福利 | 色婷婷社区 | 精品国产欧美一区二区三区成人 | 性生活免费网站 | 国产黄色录像 | 亚洲一级影院 | 久久久观看 | 无码人妻aⅴ一区二区三区玉蒲团 | 欧美毛片基地 | 蜜桃av噜噜一区二区三区麻豆 | 少妇69xx| 亚洲av毛片 | 特色黄色片| 精品伦精品一区二区三区视频密桃 | 高h言情 | 51国产偷自视频区视频 | 青青导航 | 中文字幕电影 | 日韩视频一区 | 午夜免费小视频 | 中文字幕一级 | 男女涩涩 | 岛国av大片 | 精品国产123 | 40到50岁中老年妇女毛片 | 91精品国产91久久久久久黑人 | 熟睡侵犯の奶水授乳在线 | 久青草视频在线观看 | 国产精品电影网站 | 亚洲精品白浆高清久久久久久 | 欧美一级网 | 超碰狠狠操 | 日韩中文欧美 | 久久不卡影院 | 黄色三级生活片 | 欧美在线亚洲 | 小早川怜子一区二区三区 | 96视频在线| 久久99视频| 九九九热视频 | 四虎影库在线播放 | 中文字幕视频在线观看 | 999国产精品视频 | 色鬼艳魔大战1春荡女淫 | 天堂av在线资源 | 日本美女交配 | 一区二区免费在线观看 | 国产日韩在线视频 | 我我色综合| 亚洲三级图片 | 丁香婷婷久久久综合精品国产 | 91精品国产91久久久久久黑人 | 北京富婆泄欲对白 | 91精品国产综合久久香蕉922 | 欧美一级爱爱 | 今天高清视频在线观看播放 | 能免费看av的网站 | 超碰狠狠操 | 中文字幕mv | 总裁憋尿呻吟双腿大开憋尿 | 91人妻一区二区 | 秋霞午夜 | av片在线观看免费 | 91老肥熟 | 国产成人av一区 | 国产美女自慰在线观看 | 国产精品v欧美精品v日韩 | 欧美综合一区二区三区 | 成人av专区| 亚洲欧美另类图片 | 成人av电影免费观看 | 巨粗高h双龙筋肉体育生 | 日本久久久久久久久久 | 69精品无码成人久久久久久 | 奇米影视在线播放 | 国产精品av一区 | 色中文字幕 | 欧美精品亚洲精品 | 国产h视频在线观看 | 亚洲综合一区二区三区 | 欧美激情第五页 | 精品久久网 | 麻豆av一区二区 | 日韩五月天 | 熟女一区二区三区四区 | 91精品国产综合久久久蜜臀粉嫩 | 国产18在线 | 一本不卡 | 97人妻精品一区二区三区免 | 黄页网站在线播放 | 永久91嫩草亚洲精品人人 | 不卡在线播放 | 玉女心经在线看 | 亚洲国产成人精品女人久久久 | 日本天堂网在线观看 | 在线高清观看免费观看 | 亚洲成年人 | 综合网天天 | 丁香六月综合 | 亚洲日本va在线观看 | 久久手机视频 | 亚洲国产无码精品 | 亚洲一区二区欧美 | 久久久在线| 色鬼艳魔大战1春荡女淫 | 日本大乳奶做爰 | 九九视频在线播放 | 天天操天天插天天射 | 亚洲精品乱码久久久久 | 日本国产一区二区三区 | 欧美日韩性视频 | 黄色精品在线观看 | 日本五十路女优 | 欧美亚洲中文精品字幕 | 久久这里有 | 女~淫辱の触手3d动漫 | 复古经典毛茸茸xxxxxxxx | 日日操夜夜爱 | 天天视频入口 | 天天干天天干天天干 | 人妖一区 | 午夜免费观看视频 | 男18无遮挡脱了内裤 | 国产黄色一级大片 | 操大爷影院 | 西西44rtwww国产精品 | 国内精品久久久久久 | 亚洲图片欧美 | 日本妈妈9 | 国产视频一区在线 | 久久综合社区 | 国产一区二区欧美 | 色视频网 | 久久精选 | 天天操天| 综合久久久久 | 超碰人人超碰 | 精久久久久 | 女女les互磨高潮国产精品 | 国产午夜精品理论片 | 日韩免费网站 | 欧美熟妇精品一区二区蜜桃视频 | 五月天久久久久久 | 俄罗斯特级毛片 | 亚洲国产成人精品女人久久久 | 天天插天天狠 | 操大爷影院 | 在线高清观看免费 | 欧美丝袜丝交足nylons | 第一福利丝瓜av导航 | 欧美一区二区三区成人精品 | 口舌奴vk | 影音先锋久久 | 九九热视频在线播放 | 精品欧美在线 | 欧美日韩中文字幕一区二区 | 就去吻亚洲 | 欧美丝袜丝交足nylons | 青青免费在线视频 | 懂色av蜜臀av粉嫩av分享 | 欧美日韩亚洲二区 | 欧美夜夜 | 国产a国产 | 国产精品电影网站 | 草莓视频app18在线视频 | 色婷婷在线影院 | 亚洲天堂一区二区三区 | av中文网| 动漫美女无遮挡免费 | 打屁股调教视频 | 中文字幕自拍偷拍 | 一区二区免费 | 日本人体视频 | 99久久99久久精品国产片果冻 | 国产精品久久影视 | 午夜精品久久久久久久久久 | 免费在线一区二区三区 | 神马久久精品 | 神马久久精品 | 涩涩五月天 | 国产午夜精品理论片 | 中文有码在线 | 亚洲综合一区二区三区 | 成人片免费视频 | 久操视频免费观看 | 91人妻一区二区 | 色情毛片 | 快播黄色电影 | 97精产国品一二三产区 | 韩国无码一区二区三区精品 | 波多在线观看 | 和黑帮大佬的365 | 亚洲精品一区二三区 | 国产性色av| 中文字幕第12页 | 91麻豆精品国产91久久久久久 | 色视频网| 国产91小视频 | 亚洲欧美精品一区二区三区 | 久久精品波多野结衣 | 久久久精品免费观看 | 篠田优在线 | 中文在线www | 肉丝av| 女~淫辱の触手3d动漫 | 女~淫辱の触手3d动漫 | 欧美精品 在线观看 | 秘密基地动漫在线观看免费 | 碧蓝之海动漫在线观看免费高清 | 日韩精品免费一区二区夜夜嗨 | 午夜激情视频在线观看 | 91欧美精品 | 丰满的女邻居 | 成人做爰视频www | 久久影院在线观看 | 日韩精品一区二区三区免费视频 | 色屋在线 | 免费看欧美大片 | 成人av电影免费观看 | 中日韩中文字幕 | 日日骚影院| 福利视频一区 | 日本成人网址 | 天天躁日日躁aaaaxxxx | 精品午夜福利视频 | 国产一区二区在线免费 | 秋霞av鲁丝片一区二区 | 综合网天天 | 亚洲免费资源 | 国产精品嫩草69影院 | 女人洗澡一级特黄毛片 | 中文字幕观看视频 | 天天干视频在线观看 | 欧美片网站免费 | 国产又粗又猛视频免费 | 成人羞羞国产免费 | 日本中文字幕一区 | www日本高清视频 | 亚洲精品国产精品乱码不99按摩 | 国语对白永久免费 | 视频网站在线观看18 | 日韩中文一区 | 看免费毛片 | 久久久久久av无码免费网站 | 97播播| 瑟瑟在线观看 | 亚洲黄色三级 | 欧洲激情网 | 五月婷婷开心中文字幕 | 日韩一区二区三区四区五区六区 | 亚洲欧洲视频 | 在线97| 在线观看国产欧美 | a级片久久 | 久草高清视频 | 久久99久久99精品免观看软件 | 婷婷中文| 国产精品一区三区 | 91精品视频在线播放 | 老师让我她我爽了好久视频 | 99在线视频播放 | 日韩久久一区二区 | 少妇无码一区二区三区 | 秋霞一区 | 午夜在线观看影院 | 一区二区免费在线观看 | 毛茸茸的中国女bbw 国产午夜精品久久久 | 日本性视频网站 | 久久久久久国产精品 | 沟厕沟厕近拍高清视频 | 精品国产乱码久久久久久郑州公司 | xxx在线视频 | 成人片免费视频 | 天天操天| 久久国产精品免费视频 | 污污视频免费观看 | 成人啪啪漫画羞羞漫画 | 成人性生交大片免费 | 日本一区精品 | 黄色片在线观看视频 | av一区在线观看 | 不卡在线播放 | videosex抽搐痉挛高潮 | 超碰97人人草| 自拍偷拍国产精品 | 7799精品视频| 91老肥熟 | 久草五月| 青青草成人在线观看 | 男女网站免费 | 黄色av中文字幕 | 久久久久噜噜噜亚洲熟女综合 | 超碰97人人草 | 麻豆做爰免费观看 | 欧美色妞网 | 色婷婷社区 | 六月综合 | 免费成人av在线 | 淫欲的美女理论电影完整版 | 人妻丰满熟妇av无码区hd | 夜夜摸夜夜操 | 日本精品视频在线播放 | 欧美交换国产一区内射 | 欧美激情自拍偷拍 | 国产精品久久久久久吹潮 | 中文字幕 自拍偷拍 | 二区三区视频 | 国产无遮挡裸体免费视频 | 久草视频免费在线 | 伊人99热| 成年人一级片 | 国产麻豆传媒 | www.午夜视频 | 亚洲综合色在线 | 黄色av中文字幕 | 超碰97人人草| 欧美私人影院 | 日韩在线观看视频网站 | 性视频免费 | 淫欲的美女理论电影完整版 | 在线免费看污视频 | 欧美国产片 | 无码人妻aⅴ一区二区三区玉蒲团 | 91香蕉国产 | av在线播放网站 | 精品国产一 | 澳门黄色一级片 | 9999在线视频| 久久精品波多野结衣 | 神马影院午夜伦理 | 动漫3d精品一区二区三区乱码 | 成人综合色站 | 国内外成人在线视频 | 久久免费看少妇高潮 | 国产精品久久久久av | 四虎精品一区二区三区 | 欧美精品成人在线 | 香港黄色网 | 午夜视频在线免费 | 成人天堂噜噜噜 | 欧美成人黄色片 | 年代下乡啪啪h文 | 久草99 | av视屏| 老年人毛片 | 一级黄色免费 | 欧美色激情 | 青青草日本 | 成年人精品 | 特黄aaaaaaaaa毛片免费视频 | 今天高清视频在线观看播放 | 蜜乳av红桃嫩久久 | 波多野吉衣一二三区乱码 | 成人黄色录像 | 国产在线97 | 成年女人免费视频 | 韩国无码一区二区三区精品 | 国产日批视频 | 天天天天天操 | 婷婷av一区二区三区 | 精品美女一区二区三区 | 午夜寂寞院 | 亚洲青青草原 | 性爱一级视频 | a一级黄色| 成人在线综合 | 欧美日韩影院 | 国产在线高清 | 欧美专区第一页 | 大地二资源在线观看高清国语版 | 久久大香| 黄色h视频 | 欧美大片高清免费观看 | 在线欧美| 夜色资源网 | 插插影视 | 日本高清视频在线 | av无限看| 久久久久久中文字幕 | 俄罗斯特级毛片 | 国产精品白丝喷水在线观看 | 成人在线激情视频 | 中文字幕一区二区人妻电影 | 国产伦精品一区 | 青青导航| 欧美毛片基地 | 久久久久影视 | 日日操夜夜爱 | 中文字幕第一页在线 | 中文字幕亚洲精品 | 碧蓝之海动漫在线观看免费高清 | 黄色三级生活片 | 夜夜操夜夜爱 | 欧美a∨| 国产精品久久国产精麻豆96堂 | 中文字幕 自拍偷拍 | 丰满大爆乳波霸奶 | 精品九九九九 | 在线不卡| 成年人视频网 | 色戒未删节版 | 日本成人一级片 | 久久九九99| 天天干夜夜欢 | 日韩2区 | 能免费看av的网站 | 免费看黄色a级片 | 欧美精品一线 |