高校數據中(zhōng)心機房建設研究與實踐

随着高校信息化建設的不斷深入以及雲計算、大(dà)數據、虛拟化的快速應用，對IT基礎設施，尤其在數據的安全性、可靠性方面，提出了更高的要求，因此建設一(yī)個安全、綠色、智能、高效的數據中(zhōng)心成爲了高校信息化發展的重中(zhōng)之重。本文以北(běi)京師範大(dà)學IDC機房建設爲例，探讨高校IDC機房建設存在的問題，總結經驗教訓。

高校IDC機房服務于學校信息化建設中(zhōng)各種IT設備的托管，與商(shāng)業IDC相比，高校IDC不以盈利爲目的，投入少，運維人員(yuán)不足。在信息化建設過程中(zhōng)，大(dà)多數高校沒有建設專業化的IDC機房，而是采用與樓宇網絡設備共用的方式，這樣就造成了衆多小(xiǎo)機房的出現，單一(yī)機房裏容納包括網絡設備、服務器、存儲等衆多IT設備，這些機房規模不大(dà)，但承擔的任務衆多。同時這些機房在安全與節能方案幾乎未做規劃，供電(diàn)、制冷等關鍵系統都沒有做冗餘配置，管理維護非常困難。

随着大(dà)數據、雲計算、科研計算快速發展和應用，對IT基礎設施的要求也越來越高，這種建設模式已經嚴重阻礙了信息化的發展。由于信息化需求和技術的多變性，因此在建設前要充分(fēn)做好規劃。高校數據中(zhōng)心投入資(zī)金普遍有限，應采用模塊化的設計，做好充足資(zī)源預留。

　模塊化、區域分(fēn)級設計

鑒于學校數據中(zhōng)心各種業務需求的不斷發展與變化，各種新技術也在不斷出現，故在機房設計時需考慮這些變化對資(zī)源需求的改變，以确保整個系統可靈活地擴展。考慮到未來不斷發展的需要及投資(zī)效益，在機房面積、電(diàn)力供應、空調容量、通信點數等各個方面都應預留合理的餘量及可擴充的靈活性，使計算機機房的投資(zī)及今後的發展都得到可靠的保障。因此本次選用的UPS、配電(diàn)系統、網絡系統、制冷系統等都采用模塊化，在資(zī)金有限的前提下(xià)，爲以後的擴展做好充分(fēn)的準備。同時根據不同IT設備對配電(diàn)和制冷量的需求，機房在建設時采用分(fēn)區分(fēn)級的設計模式，分(fēn)爲高密區、中(zhōng)密區、低密區三個區域，分(fēn)别設計單機櫃配電(diàn)爲15kW、6kW、3kW。高密區面向高性能計算、刀片櫃等高用電(diàn)量IT設備。中(zhōng)密區面向虛拟化、存儲等設備。低密區面向網絡設備、框架式服務器、安全設備等。中(zhōng)低密區PUE控制在1.8以内，高密區PUE控制在1.5以内。

機房子系統設計

北(běi)京師範大(dà)學2014年啓動新IDC機房建設，以安全、綠色、高效、智能爲設計理念，2015年全面投入使用。機房總建築面積約465平方米，分(fēn)爲主機房區、監控區、配電(diàn)室、消防室等功能區，如圖1所示。機房設計定位爲學校教學、科研服務器托管，要求建設一(yī)個布局合理、功能完備、設施先進、運行穩定、使用靈活同時又(yòu)能體(tǐ)現工(gōng)藝精湛、美觀大(dà)方、綠色環保的符合國家相關機房标準的現代化計算機中(zhōng)心機房，反映出高性能綜合機房所有系統的安全性、功能性、先進性、穩定性、開(kāi)放(fàng)性和可管理性。

電(diàn)氣子系統

北(běi)京師範大(dà)學IDC機房配電(diàn)系統采用國家A級機房建設标準，配電(diàn)系統由大(dà)樓配電(diàn)室引兩路市電(diàn)電(diàn)源至機房配電(diàn)室，電(diàn)源容量爲每路800kW，機房配電(diàn)櫃總開(kāi)關采用1600A，配電(diàn)室安裝兩台400kVAUPS設備組成2N系統提供機房的電(diàn)力保障。配電(diàn)系統采用雙回路配電(diàn)結構，一(yī)台列頭配電(diàn)櫃引自UPS1輸出配電(diàn)櫃，另一(yī)台列頭櫃引自UPS2輸出配電(diàn)櫃。兩台列頭櫃内的兩個獨立電(diàn)氣單元分(fēn)别通過工(gōng)業連接器連接至機櫃内的PUD。每個配電(diàn)回路均能滿足計算機機櫃100%的用電(diàn)負荷，任何一(yī)路空開(kāi)或線路的故障均不影響另一(yī)路電(diàn)源的正常使用。機房每個機櫃的用電(diàn)都經過詳細測算，根據不同需求設計用電(diàn)配制。

設備配電(diàn)表如表1所示。

UPS主要爲網絡設備、計算機設備、監控、門禁和應急照明系統等提供電(diàn)源。UPS系統能夠在任何市電(diàn)故障、應急發電(diàn)機未啓動之前，保證爲計算機負荷設備等重要設備提供不間斷的供電(diàn)，同時做到穩壓改善供電(diàn)質量的作用。本工(gōng)程設計采用2台400kVA模塊化UPS，電(diàn)池按照系統滿載後備時間0.5小(xiǎo)時配置。UPS主機、輸入輸出配電(diàn)櫃、蓄電(diàn)池系統放(fàng)置于數據中(zhōng)心配電(diàn)室。UPS電(diàn)源電(diàn)纜采用專用屏蔽電(diàn)力電(diàn)纜沿機櫃上的金屬橋架敷設到位，這種布線方式具有靈活方便、加線、改線、便于維修等功能，是機房内最爲理想的一(yī)種布線方式。配電(diàn)櫃由自動空氣開(kāi)關控制，設置過負荷、短路保護等功能，可實現遠程對電(diàn)壓、電(diàn)流監控功能。

數據處理中(zhōng)心供配電(diàn)系統是機房安全運行動力保證，本項目采用數據中(zhōng)心專用配電(diàn)櫃來規範數據中(zhōng)心供配電(diàn)系統，根據實際用電(diàn)情況合理設計配電(diàn)系統并配置相應輸入輸出配電(diàn)櫃，保證數據中(zhōng)心供配電(diàn)系統的安全、合理。在機房供配電(diàn)系統中(zhōng)，采用熱插拔式開(kāi)關櫃，減少由于調整變更帶來的不利影響。配電(diàn)櫃所設計的供電(diàn)路數，能足夠提供主機和外(wài)部設備的使用，各配電(diàn)櫃均預留有一(yī)定數量的備用開(kāi)關，其中(zhōng)UPS輸出配電(diàn)櫃及主機房内UPS區域配電(diàn)櫃各規格的備用輸出開(kāi)關均不少于15%；

制冷子系統

數據中(zhōng)心機房A區共安裝53台設備機櫃，其中(zhōng)16台高密度機櫃，采用風冷冷凍水系統和行級精密空調，剩餘爲中(zhōng)低密度機櫃，精密空調地闆下(xià)送風的制冷方式。B區機房安裝22台設備機櫃，采用精密空調地闆下(xià)送風的制冷方式。A區高密區采用兩台風冷冷凍水系統（1主1備），中(zhōng)低密區采用4台精密空調（3主1備），B區采用4台精密空調。

數據中(zhōng)心機房中(zhōng)低密區采用地闆下(xià)送風的方式，地闆高度爲450mm，地闆下(xià)作爲靜壓箱，通過機櫃前的開(kāi)孔地闆送風，從而實現空調對機櫃的冷卻。機櫃布局雖然爲冷熱通道方式，但還是會出現冷風無效冷卻，而直接與熱風混合的現象，因此把兩排機櫃中(zhōng)間的冷通道進行封閉，空調機組送出的冷風可以直接送到冷通道内而進入服務器機櫃，所有機櫃排出的熱風被空調機組吸回。從而提高空調機組的回風溫度，提高空調機組的制冷能力，還可提高解決機櫃更高功率密度的制冷能力。

高密區每機櫃采用15kW的配電(diàn)，對制冷要求極高，因此高密區采用冷通道封閉技術，制冷方式采用風冷冷水機組和機櫃行級空調，從而有效降低了冷熱風的混合，優化了氣流組織，機櫃級空調的回風溫度可由23℃提升到28℃甚至更高，而每提升1℃回風溫度，空調散熱量約提高3%~5%，在提升5℃的回風溫度下(xià)，空調制冷量将提升15%以上。

弱電(diàn)子系統

本工(gōng)程采用六類非屏蔽模塊化布線加多模光纖解決方案。綜合布線系統采用模塊化設計，機房均設置弱電(diàn)列頭櫃和網絡機櫃，弱電(diàn)列頭櫃敷設銅纜和光纖至網絡機櫃。數據中(zhōng)心機房共安裝有75台設備機櫃，其中(zhōng)9台弱電(diàn)列頭機櫃和網絡機櫃，其餘66台爲服務器機櫃，參考設備布置，設計線槽及信息點如下(xià)：普通服務器區每台機櫃設置36個銅纜信息點，其中(zhōng)24個網絡接口，12個KVM接口，彙集到弱電(diàn)列頭櫃。弱電(diàn)列頭櫃彙聚到本機房的網絡機櫃。機房區域内弱電(diàn)線路采用機櫃上走線方式，采用開(kāi)放(fàng)式線槽。每排機櫃配置48芯多模光纖至核心交換機機櫃。網絡設備采用兩台數據中(zhōng)心級三層交換機虛拟成一(yī)台，其餘二層換交機按照每排機櫃進行堆疊提高管理效率。二層交換機采用雙萬兆上連核心交換機，核心交換機雙萬兆上聯校園網核心交換機。爲便于學校各單位遠程管理托管的IT設備，IDC機房配套了KVM系統，使得每台服務器可遠程安裝系統、開(kāi)關機等操作，減少現場人員(yuán)的運維成本。

智能監控運維子系統

爲保證數據中(zhōng)心機房安全穩定工(gōng)作，電(diàn)氣系統、環境系統、制冷系統、安防系統等各子系統必須時時刻刻穩定協調運行。如果機房動力及環境設備出現故障，輕則影響業務系統的正常運行，重則造成機房IT設備損壞、報廢，使系統陷入癱瘓，後果不堪設想，因此對IDC機房的各系統進行實時集中(zhōng)的監控極其必要。機房環境及動力設備監控系統主要是對機房設備，如配電(diàn)系統、UPS電(diàn)源、空調、消防系統、安防系統等的運行狀态、溫濕度、供電(diàn)電(diàn)壓電(diàn)流等的狀态進行實時監控并記錄曆史數據，實現對機房遙測、遙控的管理功能，爲機房高效、智能的管理和安全運營提供有力的保證。本項目使用智能監控運維系統将傳統的應用監控系統與環境動力監控系統進行整合，實現對服務器、交換機、存儲、UPS設備、空調、溫濕度、視頻(pín)、門禁、漏水等的實時監控，大(dà)大(dà)減少了人員(yuán)的工(gōng)作量。

北(běi)京師範大(dà)學IDC機房以綠色、安全、智能、高效爲設計理念，配電(diàn)、機櫃等設施采用模塊化設計，便于擴展，同時進行了區域分(fēn)級建設，引入智能監控系統，IDC機房的建成很好地滿足了學校教學、科研對IT基礎設施的需求。接下(xià)來學校将進一(yī)步對IDC機房進行節能方面進行優化。