现有数据中心主要通过UPS系统为服务器设备供电,为保证系统的可靠性,通常采用了2N甚至2(N+1)的UPS双总线系统架构,为双电源服务器提供两路独立供电电源。正常情况下服务器内的两个电源按均分负载模式工作,各自负担服务器的50%工作负荷。目前数据中心计算能效指标例如PUE等时,基本没有考虑服务器设备自身的电源转换损耗,因此服务器电源的节能工作一直没有提到数据中心节能管理的目标体系里。
随着数据中心技术的大规模建设,数据中心供电系统的主要发展目标是在降低电源系统投资成本的同时,提高电源供电效率,减少后期运营成本。
1 数据中心供电现状分析
数据中心安装的服务器设备中使用两个或两个以上的电源模块同时为服务器负载供电,负载的总负荷不大于其中一半电源模块的额定容量,一般把这种电源系统成为冗余电源系统。冗余电源系统多采用输入总线、负载总线和共享总线的“三总线”的电路结构。电源1、电源2…电源n为热插拔电源模块,它们以并联方式相连接,C1、C2…Cn为各电源模块的控制模块,S1、S2…Sn为受控电流调节器/隔离器。具体供电结构如图1所示。
系统正常工作时,控制模块通过调整电流调节器/隔离器的导通程度,使系统均衡地使用每个电源模块,既每个电源模块向系统提供相同的电流,这种工作模式称为“电流共享”;或者控制受控电流调节器/隔离器使得某一组电源工作,另一组电源处于热备份。冗余电源系统中的每个供电模块均可以热插拔,一旦某个供电模块损坏,就能在不停电情况下完成维修工作,而丝毫不影响系统的正常工作。
冗余电源系统从性质上可以归结为双电源系统。服务器采用双电源设计是为了提高服务器本身供电的可靠性。如果双电源服务器的每一路电源都能够通过独立的供电路由从独立供电电源取电,就能够获得最高的可靠性。在这个供电系统架构中,关键点是供电路由独立和供电电源独立。而传统意义上的保障电源系统架构,也就是UPS系统(单机/串联热备份/N+1直接并机)都不能做到供电电源相互独立,与之相配套的供电路由也相应的无法独立,也就是说每个环节都存在着明显的单点故障。所以,2N/2(N+1)的供电结构正是基于服务器冗余电源结构而兴起的供电解决方案,TIA-942因此将2N/2(N+1)的供电结构归入Tir4(最高可靠度供电等级)。
2 数据中心双路供电模式
随着市电供电可用度的提高,采用一路市电、一路保障电源为服务器供电的方案开始成为技术发展的热点。此方案最早起源于后备式UPS设备,后备式UPS在市电正常时采用市电直接为负载供电,可以省去了UPS变换环节的损耗,当市电停电或异常时则切换到UPS电池逆变回路保障供电。
现在随着高压直流供电系统的发展,一路市电+一路高压直流保障电源的供电方案逐渐兴起,该供电方案既利用了市电无转换损耗直接为负载供电的特性,又在保障电源侧由电池组直接为负载提供断电保障,系统可用度比后备式UPS系统提高很多,互联网公司已经在自用数据中心中小批量使用。
依据市电和保障电源的不同工作模式,新的双路供电系统可分为两种工作模式:
①工作模式一(均分模式):正常状态下市电电源与保障电源各负担服务器设备的50%负荷,如任一路电源故障,则另一路电源负担100%负荷;
②工作模式二(主备模式)：正常状态下市电负担服务器设备的100%负荷，保障电源处于热备状态，当市电发生故障时，则保障电源负担100%负荷。
依据系统架构,新的双路供电系统可分为两种系统结构:
①结构一:供电端为一路市电+一路UPS系统;
②结构二:供电端为一路市电+一路高压直流系统系统,受电端为双电源(一路直流型、一路交流型)服务器。
具体系统结构与技术演进见图2。
3 双路供电系统效率分析
对于数据中心基础设施,输入的是电能,有效输出是计算设备所消耗的电能。数据中心的模型
为一个电力系统,其“总输入”是其从市电消耗的电能,其“有效输出”是它用于计算的那部分电能,这可以用提供给IT设备的电能来表示。目前数据中心服务器设备大多采用2N/2(N+1)UPS系统供电,市电经变压器降压后,经市油转换、低压配电、谐波治理后,由UPS提供不间断电源,再由PDU分配给IT设备,每个环节都将造成电能的损耗,其中最大的损耗发生在UPS环节和IT设备的电源模块部分。
依据式(1),提高数据中心效率的方法与供电系统相关的有两个方向:
①提高电源设备(UPS类设备)转换效率,减少其工作时的能耗;
②提高IT设备电源侧的工作效率,减少其工作时的能耗。
针对电源变换环节,传统数据中心采用UPS双总线供电系统,系统架构参见图3。每一路UPS系统均为并联冗余系统,在实际应用中,UPS并机系统并机的台数都不会太多,一般1+1并联或者2+1并联情况居多。并联冗余系统中,在一台UPS设备出现故障时系统依然能够供电,这就要使得每台UPS在平时的单机负载率保持较低的水平,如对于一套UPS(1+1)系统单机负荷载最大为50%,(2+1)UPS系统单机负载率最大为66%,如果再考虑到负载的可能突变,系统就必须要保持一定的余度,按系统80%的容量计算,实际上每台UPS的单机负载率最大为40%(1+1系统)～55%(2+1系统)。参见图4典型UPS负载效率曲线,UPS单机设备的最佳运行效率多数在90%～94%左右,此时UPS设备负载率为40%～70%之间。供电系统实际运行中,考虑到设备双路电源均分负荷运行方式,单机负载率区间为20%～40%,UPS设备运行效率多在80%～90%间。
如采用新的双路供电模式,既采用一路市电、一路高压直流电源为IT设备供电,可有效降低UPS设备的工作损耗。
①工作模式一(均分模式)情况下,市电供电回路侧的电源转换损耗将降低至最低,而高压直流电源侧的工作效率比同负载率的UPS设备高1%～2%左右,因此新的双路供电系统的工作效率比UPS双总线系统高3%～8%;
②工作模式二(主备模式)情况下,市电供电回路侧的电源转换损耗将降低至最低,配电线路损耗略有提高,而高压直流电源侧将处于空载运行状态,综合考虑新的双路供电系统的工作效率比UPS双总线系统高8%～12%,此时高压直流电源设备的空载损耗将对整个系统的效率产生明显的影响,高压直流电源设备的空载损耗越低整个系统的工作效率越高,工作效率计算公式为
针对IT设备电源侧,忽略交流或直流配电线路上的损耗,IT设备双路电源的整体供电效率依赖于两路电源模块不同工作模式及输入电源的制式。IT设备双路电源模块总的效率计算公式为
式中,X—第一路电源模块的负荷比例;
η1—第一路电源模块的供电效率;
η2—第二路电源模块的供电效率。
由式(3)可看出,η是由可变的带载百分比X,以及由于X的变化导致的η1和η2的变化共同决定的,而η1和η2又由两路供电线路的电源系统效率特性曲线所影响,当采用市电主用高压直流热备的工作模式时,可简单认为X=1。所以要获得η的最大,需要合理选取X(第一路电源模块的负载比例),公式(3)中没有体现电源模块空载状态的内部损耗,如IT设备的电源模块空载损耗过大,则会降低整个系统的输出效率。因此不能简单认为100%由市电供电,即X=1就可获得最大效率输出。
依据式(3),影响IT设备电源模块效率的关键因素包括η1,η2效率曲线及电源模块的损耗。电源模块的效率与负载率关联曲线参见图5,负载率在50%时,效率达到最高点,因此如不考虑电源模块的空载损耗,同时IT设备工作在电源模块满负荷情况下,则IT设备双路电源模块选择均分工作模式时，也即每个模块输出50%负荷时，整体工作效率最高。
服务器电源模块存在三种工作工况:
①铭牌功率:指的是服务器电源铭牌功率;
②最大工况:指的是服务器系统工作在最大用电负荷时耗电功率;
③典型工况:CPU工作在100%利用率时耗电功率。
从图5中可以注意到服务器最大工况是铭牌额定值的80%,这是因为服务器厂家在选择电源模块时考虑20%的功率富余。而典型工况大概是铭牌额定值的67%。事实上服务器正常工作时的功耗小于典型工况。参见图5,以电源模块负载率50%为对称轴,负载率高于50%时,效率值略有下降,但高于对称负载率低于50%处。假定电源模块损耗可分为固定的空载损耗和可变的负载损耗,根据实际测试数据,空载损耗可控制不高于铭牌额定值的1.5%左右。基于以上三个因素,IT设备双路电源模块选在主备模式时(主用模块负担100%,热备模块负担0%),整体工作效率处于最佳状态。
4 市电直供影响及对应措施
市电直接给服务器供电的方式由于浪涌保护、谐波*、短路保护和交直流布线的复杂性增加,会给供电系统可靠性带来不利的影响。因此市电直供电源系统的雷电过电压保护应使用分级保护,逐级限压的保护措施。鉴于数据设备重要性,市电直供条件下应增加雷电过电压精细保护,做好绝缘配合。另外,市电直供系统与其他备用UPS(交、高压直流)系统之间也应具备相应的等电位措施。
市电直供系统各级防雷器及设备抗力配置应满足如下技术要求:
①变压器低压侧或者总低压配电柜应配置最大通流容量不小于60kA的防雷器;
②数据机房市电入口处(或总配电柜)应配置最大通流容量不小于60kA的防雷器;
③在分配电柜应配置最大通流容量不小于40kA的防雷器;
④数据设备等终端用电设备交流电源端口应具备2.5kV(1.2/50μs、8/20μs组合波)的抗力水平,其包括市电供电端口和备用UPS电源端口的差模、共模以及市电和UPS电源端口之间的抗力水平。
⑤备用UPS(交、直流)供电系统由于具有整流和(或)逆变装置,其具有很好的浪涌隔离作用,同时电池也具备一定的浪涌衰减作用,因此主要考虑由于等电位不均衡所导致的设备间电位差问题。当IT设备分布在不同楼层或分布范围很大时,应在电源设备输出端和负载端(一般是列头柜内)安装最大通流容量不小于15kA的防雷器。
通过本文的分析,可以看到在市电和高压直流混合供电的系统中,在电源模块空载损耗较小的情况下,综合考虑电源变换环节和IT设备电源模块两部分因素,可以推出市电负担100%负载+高压直流热备时整个供电系统(含IT设备电源模块)处于最佳工作效率。
但市电直供+高压直流热备供电系统引入数据中心领域前，亟须解决一些技术问题，例如研发支持服务器电源主备工作模式的系列电源产品，这些问题都需要运营商技术部门与设备厂家携手解决。只有具备可靠、成熟的技术解决方案,市电直供混合供电系统才可能在数据中心领域大规模应用。