中国工业合作协会机房技术专业委员会
                                                                    北京工翔科技有限公司
  

解析绿色数据中心                            孙炳臣

作者:孙炳臣

国家电网公司

  摘要:随着全球的数据中心如雨后春笋般的兴建也同时面临着信息爆炸、绿色与节能和业务挑战三个困局,因此,新一代绿色数据中心正是顺应需求发展,解决困境的解决方案。在进行数据中心前期建设规划时,应在数据中心规划、选址、设计这三大环节进行深入研究。在设计内容中需着重考虑供配电、制冷、气流组织等数据中心核心内容,以达到降低运行成本,提高能耗效率的目的。本文通过案例分析和权威组织的数据报告,说明在数据中心建设前期的规划、选址、设计的重要性。

关键字:数据中心,PUE,绿色节能

  引言

  随着时代的不断发展,科技的不断进步,通信、计算机、互联网的先后发明与规模应用,标志着近代社会人类第三次工业革命——信息革命的大规模兴起与应用。在由通信技术、计算机、网络组成的IT基础设施中,数据中心则成为“集大成者”。数据中心从出现到现在,随着功能需求的不断增加,已经经历了四个发展阶段,即从开始的数据存储中心到数据处理中心到数据应用中心再到现在的数据运营服务中心(数据来源:计世资讯),数据中心的功能也越来越全面,存储计算能力也越来越强大。那么,对于数据中心的安全性、稳定性、经济型和节能、环保、减排方面也带来了新的挑战。本文通过对数据中心规划、选址以及供配电、制冷、IT系统等方面的设计内容着手论述数据中心建设过程中在满足IT系统稳定运行条件下的节能措施。

  数据中心的现状

  在视数据为生命的信息时代,数据中心不再是一个躲在后台的庞然大物,它已经成为IT巨头们的新一轮“信息竞赛”的战场。

在美国俄勒冈州的哥伦比亚河河畔,Google建成的用于处理每天数十亿次搜索以及提供其他互联网服务的数据中心占地约为14400平方米;Yahoo计划投资5亿美元扩建其在美国水牛城、奥马哈及华盛顿州的数据中心,并在新加坡和瑞士新建数据中心;全球最大的零售商沃尔玛的新型数据中心的存储能力高达4PB以上。

随着全球的数据中心如雨后春笋般的兴建也同时面临着信息爆炸、绿色与节能和业务挑战三个困局,因此,新一代绿色数据中心正是顺应需求发展,解决困境的解决方案。

  绿色数据中心简介

  绿色数据中心(Green Data Center)的“绿色”是指数据机房中的IT系统、机械、照明和电气等能取得最大化的能源效率和最小化的环境影响。绿色数据中心具体体现在整体的设计规划以及机房空调、UPS、服务器等IT设备、管理软件应用上,要具备节能环保、高可靠可用性和合理性。

  新一代绿色数据中心,就是通过自动化、资源整合与管理、虚拟化、安全以及能源管理等新技术的应用,解决目前数据中心普遍存在的成本快速增加、资源管理日益复杂、信息安全等方面的挑战,以及能源危机等尖锐的问题。新一代绿色数据中心所倡导的“节能、高效、简化管理”也已经成为众多数据中心建设时的参考标准。

  绿色数据中心是基于社会发展和节能环保而出现的一种新事物,它所代表的是一整套的框架系统和设计理念。绿色数据中心的特点如下表:

传统数据中心
绿色数据中心
能源消耗
能源消耗居高不下
绿色节能
硬件资源(IT硬件)
服务器的蔓延造成资源浪费
虚拟化部署节省资源投入
管理成本
管理复杂,成本较高
自动化管理,成本降低
运维成本
运维效率低下,成本较高
智能化运维,降低成本
性能
基础架构设计不合理,服务器当机导致业务稳定性和连续性遇阻
全面提升、优化系统性能,保证业务持续性
模块化部署
非模块化,建筑为主
模块化部署,随需求增长





1 传统数据中心与绿色数据中心对表

  绿色数据中心建设路线

4.1数据中心能耗分析

  美国劳伦斯伯克利国家实验室(LBNL)于2001年开始进行数据中心基准研究,该项研究对22个数据中心的用能进行调查(LBNL 2007c)。其研究的结果是基于研究的22个数据中心中,近似平均功率分配如下图1数据中心能耗饼状图所示。每种类别中的设备类型如下:

HVAC供冷:冷水机组、水泵、干式冷却器、冷凝器或冷却塔;

HVAC风机:HVAC设备中的风机用能;

照明:机房照明;

UPS:不间断电源设备损耗;

服务器:服务器、存储、IO设备和网络设备等所有IT设备。

其他:不包括在以上类别中的所有设备。

1 数据中心能耗饼状图

  由上图可以看出,数据中心非IT负载能耗占据整体数据中心能耗的能耗的54%,其中UPS、空调供冷、空调风扇为主的非IT负载能耗占39%,因此降低UPS与空调制冷设备的能耗是数据中心节能的重点。

4.2绿色数据中心衡量标准

  衡量一个数据中心是否是绿色的、环保的,有一个重要的指标就是PUE,即Power Usage Effectiveness,该标准由绿色电网即Green Grid(一个专门致力于开发和推进数据中心和信息服务能效的国际组织)首先提出并用PUE这个术语来定义数据中心的能耗比率PUE的计算公式如下:

PUE = 数据中心总设备能耗/IT设备能耗(来自于Green Grid 2007

PUE是一个比率,其基准是2,越接近1表明一个数据中心的绿色化程度越高,能效水平越好。

4.3绿色数据中心建设

规划

  实现数据中心的科学、按需、模块化规划是实现绿色数据中心的基本纲领和总体指向,其中数据中心规划的制约因素主要集中在IT规划、供电、制冷与空间四个方面,而IT规划又是数据中心建设的前提和依据。

   IT规划将明确组织在一定时间内,对IT系统的整体需求计划,包括IT系统定位、规模、架构和配置,决定了数据中心的建设等级、所需的建筑空间、信息路由和场地布局。因此,科学合理的设计,模块化建设规划是使数据中心保持高效、低成本运行的关键。

对于数据中心机房的模块化建设,不仅是机房内服务器、网络、存储等设备的模块化建设,更核心的内容是与之配套的供配电、空调制冷等基础设施的模块化。这种建设理念尤其适用于国内大型非信息服务类企业的数据中心建设,由于此类企业在数据中心建设前期缺乏对于日后企业发展的详细规划,通常是为了将目前散乱在各地的数据机房物理的集中起来,进行集中的运行管理,而后续的IT规划及未来的发展扩容需求往往比较模糊。因此,对于此类企业来说,数据中心机房能够模块化建设才是最理想的建设方式。

  选址

  数据中心在选择建设用地是,为保证中心内服务器及各种设备能够稳定、安全的运行,需满足:地基牢固;火灾危险性小;没有大雨等引起山洪的可能;用地周围视野广阔;远离经常落雷的地区和变电所、输电线;远离空气污染地区。在绿色数据中心建设的选址上,除了需考虑以上因素外,还需考虑当地气候条件,应选择在冬季时间较长,且较寒冷的高纬度地区,以增加free-cooling的运行时间,甚至全部采用free-cooling供冷方式,以减少IT负载能耗,提高运行能效利用率。另外,在选址方面仍需考虑交通、通信、供电、地质、法律等条件。

  设计

  数据中心土建设计的基本作用是满足数据中心机房空间、防火、防水、防尘、防静电、隔热、保温、屏蔽等要求。新一代绿色数据中心除以上因素外还需考虑节能减排的新型设计理念。

  例如,微软公司位于昆西的数据中心采用第四代数据中心称为模块化时代的设计理念,采取的是更加灵活的集装箱式服务器,其应用跨越整个设施,以集装箱式服务器的模块化为基础,采用“积木”的方式,预制电气、 机械和安全组件。 随着容量的增长,在只有三至六个月的部署周期内,降低 20% 40%的成本。相对于第三代数据中心,新一代数据中心的服务器不仅是模块化设计,而且粒度更细,可让用户从一百台服务器起步,而且几乎全部采用空气冷却技术, PUE值已经能够达到1.05左右。以下表1是几个典型的数据中心综合对比。

序号
数据中心名称
国别
建设
时间
数据中心特点
PUE
面积
投资
投资比
冷却方式

1
Google数据中心
美国
2007年启用
数据中心有3个超大机房,每个机房有45个集装箱,每个集装箱可以放置1160台服务器,数据中心可以存放约15万台服务器。
1.16
2个足球场大(约14280平方米)
6亿美元
4.20万美元/平方米
水冷却塔
2
微软昆西数据中心
美国
2007年建成,20111月投入商用
号称第四代数据中心,采用集装箱式部署
1.05-1.15
4.36万平方米
5.5亿美元
1.26万美元/平方米
IT设备以及供电设备均利用冷水机组进行冷却,它的独特之处是使用循环水系统,即便如此,每月用水量仍然超过800万加仑
3
拉斯维加斯赌城的SuperNAP
美国

拥有一个250MVA的基站和146MVA柴油发电能力的建筑。

3.78万平方米

在制冷方面,采用了定制的WDMD(功率密度设计)冷却装置模块,可以自动切换四种不同的冷却方案,从而提供冷却效率。不使用高架地板送风却能提供每平方米多达15千瓦的冷量,是行业标准的3倍多
4
伊利诺伊州麋鹿格罗夫村的杜邦数据中心
美国

没有沿用传统的UPS供电系统,而是采用了飞轮UPS系统,此供电系统需要由322兆瓦的巨大型柴油发电机提供应急电源,并发电机储存20万加仑的柴油。

5
微软柏林数据中心
德国

采用集装箱式部署,第一层看起来像一个大的室内停车场,微软云计算服务的关键就在停放在这里的挂车中。数据中心的第二层有四个传统的活动地板服务器存放室,每个大约有12000平方英尺,平均消耗3兆瓦电力
1.25
2.82万平方米
5亿美元
1.77万美元/平方米
微软通过7.5英里(12公里)的管道提供冷冻水保证数据中心的低温
6
Facebook俄勒冈州数据中心
美国

Facebook的数据中心采用新的配电设计,免除了传统的数据中心不间断电源(UPS)和配电单元(PDUs),把数据中心的UPS和电池备份功能转移到机柜,每个服务器电力供应增加了一个12伏的电池。部分的供电将由太阳能电池板阵列来供应
1.07是目前业界最高效率的设施
数据中心占地面积超大,大约相当于三个普通大小的沃尔玛连起来那么大

使用新鲜空气进行自然冷却
7
Facebook北卡罗来纳州数据中心
美国
2010年开始建设,18个月建设周期
设计符合LEED(领先能源与环境设计)创新的冷却和能源管理技术,使其成为美国最高效的数据中心之一。

2.78万平方米
4.5亿美元
1.62万美元/平方米

8
英国梅林模块化数据中心
英国
2011
通过将集装箱数据中心整合,组成了一个大的服务器集群。每个集装箱数据中心都由4个部分组成,在施工的现场可以迅速部署。通过这个方法,“Merlin”大大缩短了它的施工工期。官方称这套数据中心为世界上最具可持续发展的数据中心
1.08

9
万国数据昆山数据中心
中国
201010月竣工
新一代绿色数据中心,遵循绿色节能的设计理念,符合国际节能建筑LEED的标准。数据中心依照7级抗震设计,达到8级以上抗震结构标准,能在地震、海啸、洪水等各种自然灾害情形下,为客户数据提供更高等级的保护,过了全球最顶级的国际正常时间协会(Uptime Institute)颁发的Tier IV等级认证,从而成为目前亚太区唯一获得这一认证的世界顶级数据中心。
1.8
一期建筑面积达到2.4万平方米
16亿元人民币
1.04万美元/平方米(按6.4汇率折算)

10
苏州国科数据中心
中国
20101028日正式运作
苏州国科数据中心是亚洲唯一获得T4认证的最高等级数据中心,是华东地区规模最大的国科数据中心
1.6
4.2万平方米
8.4亿元人民币
0.313万美元/平方米(按6.4汇率折算)





2 数据中心综合对比表

  供配电

  数据中心供配电系统设计的子系统众多,这里只做简要介绍。供配电是数据中心建设的根本,为数据中心建设稳定高效的供电系统,是满足数据中心正常运行的基本条件。绿色数据中心在供配电系统上从变电、输配电、储能和后备电源系统上都需要融合绿色节能的理念进行设计。比如在变电方面,需缩短低压供电距离,尽量采用楼层间高压输电,变电设备要尽量靠近用电端,以减少低压长距离输电的线损;在输配电方面,尽量采用低阻抗输电线路,因此,部分国际先进数据中心采用高压直流供电系统,减少了无功损耗;采用先进的储能方式(需有柴油发电机等其他后备电源系统作为保障),采用模块化UPS,使小负载情况下亦能使UPS在高效条件下运行,部分数据中心采用飞轮式UPS替代传统蓄电池式UPS进行储能,提高UPS的供电效率,甚至某些数据中心采用无UPS的供电方式,采用直流供电至机架,在机架端配置蓄电池,以满足停电时的供电需要。

  制冷

  数据中心中大量使用服务器、存储等IT设备,其核心器件为半导体器件,发热量很大。以CPU为例,其发展速度遵循著名的“摩尔定律”,即半导体芯片上的晶体管密度大约每两年翻一番。

  随着CPU运算速度的快速提升,所需要的驱动功率也成倍增加。为了平衡运算速度的提高和驱动功率的增长,出现了双核、三核、四核甚至八核的CPU,并且CPU的功率需求也进一步攀升。除CPU外,计算机的其他处理芯片,如总线、内存、I/O等,均是高发热器件。以1U高的双核服务器为例,其发热量可达1000W左右,放满刀片服务器的机柜满负荷运转,发热量可达20-30KW

  目前,数据中心普遍采用地板下送风上回风,冷/热通道的技术来解决数据中心制冷问题,但这种制冷形式在发热密度超过5kW/机柜时会在机柜的顶部产生局部热点,容易导致设备过热而宕机。

  因此,为了满足数据中心高密度部署和设备制冷的矛盾,目前先进的数据中心在制冷系统设计中引入了最新的制冷技术。例如,冷/热通道封闭技术、行级(列间)空调技术、封闭式水冷机柜的应用,提高了制冷效率,可提高空调出风温度,加大空调送风和回风温差,通过高效率制冷和精确送风等技术,起到了节能降耗的作用,并有效的解决了局部热点的问题。某些先进的数据中心的制冷系统甚至采用了更环保的自然制冷方式,当然这些制冷方式和系统的稳定性要求和数据中心所处的自然环境有很大关系。

  例如,Facebook在俄勒冈州东部的数据中心,这里可以使用FreeGooling(自然冷却)系统,即室外空气,这样可以节约大量的能源。PUE1.051.10之间。

2 facebook数据中心大型的通风设备

  联邦快递科罗拉多斯普林斯数据中心同样使用了所谓的免费冷却系统,利用洛杉矶干燥的空气,替代冷水机组工作,大幅节约能效(大概全年能够节省支持数据中心满负荷运转约5000小时的电力资源)。其PUE值为1.28

3 联邦快递数据中心

  IT系统

   IT系统的设计是数据中心运行的基础,作为数据中心运行的核心,IT系统的能耗自然也是数据中心中能耗最大的,那么作为绿色数据中心IT设备的节能也自然是需考虑的重要环节。例如,因特尔公司发布的Node Manager(节点控制器)已经应用于其生产的至强处理器中,可根据业务需求制定节能策略,实现IT系统芯片级的节能,目前这种技术已应用于百度、中国电信、Oracle公司的大型数据中心的IT系统中。

  绿色数据中心的评估

  为数据中心进行全方面模型的评估工作需要用到数据中心评估五大模型,包括数据中心的物理模型、可靠性模型、能效模型、经济模型、生命周期模型。基于数据中心的模型标准,数据中心建设方、运维方、使用方或第三方机构可以对数据中心进行全方位、多维度的评估与评测工作,这也是验证建成的数据中心是否为绿色数据中心的依据。

  目前国际上比较成熟的绿色建筑认证体系主要有:LEEDTM(美国)、BREEAM(英国)、CASBE(日本)、Blue Angel (德国、北欧)等。鉴于LEEDTM的国际影响力、商业操作的成功性及其相似的气候带,我国同类项目中更多的以LEED为标准。领先能源与环境设计(Leadership in Energy and Environmental Design, LEED)是美国绿色建筑协会2000年设立的一项绿色建筑评分认证系统,用以评估建筑绩效是否能符合永续性。这套标准逐步修正,目前已适用于新建案、既有建筑物、商业建筑内部设计、学校、租屋与住家等,评分项目包括能源使用效率、土地规划使用、省水和回收、再生能源、建材回收与室内空气品质等。(美国绿色建筑协会(U.S. Green Building Council, USGBC)是个非营利性组织,旨在推动建筑物能具有永续性的设计与建造。)

  通过计算机能源模拟分析建筑物现行设计的能源消耗成本,对比LEEDTM要求的目标成本,为设计团队提供量化依据及整体优化手段对建筑系统进行调整,从而保证建筑后期运营的低成本。目前在中国,国家建设部也正在引入LEED认证系统,我国目前正在执行的《绿色奥运建筑评估体系》,《中国生态住宅技术评估手册》和上海的《绿色生态小区导则》也在一定程度上借鉴了LEED认证系统。目前国内正在认证的商业项目除了后面举例的北京世纪财富中心(北京世源光华)以外,还有上海的绿洲仕格维花园酒店(上海置业),深圳的虎山公寓(招商地产)和杭州的西湖天地(瑞安集团)等项目。世贸丽晶城EAC是杭州乃至整个浙江第一个进行LEED CS2.0认证的写字楼项目。

  结论

  在数据中心绿色节能建设方面,中国还刚刚处于起步阶段,大部分数据中心的PUE值居高不下,有的甚至已经达到了3以上,不仅增加了能耗降低了效率,也大大增加了企业运营成本。目前国内的数据中心尽管已经意识到了这个问题,但粗狂式的规划方式,一揽子式设计的情况依然普遍存在。随着全球变暖、化石能源枯竭的问题逐渐加剧,随着“云”计算的到来,大规模甚至超大规模的数据中心将纷纷涌现,数据中心的建设对降低能耗的要求会越来越高。数据中心作为现代IT业务的核心,其未来的发展空间无限的,因此高效、绿色节能的数据中心是未来数据中心行业发展的一大必然趋势。

  • 参考文献
  • [1]美,ASHRAE TC 9.9 主编《数据处理环境热指南》(原著第2版)《Thermal Guidelines for Data Processing Environments (second edition) 2010.6
  • [2] 美,ASHRAE TC 9.9 主编《数据通信设备中心液体冷却指南》《Liquid Cooling Guidelines for Data Equipment Centers 2010.6
  • [3] 美,ASHRAE TC 9.9 主编《数据通信设施节能最佳实践》(原著第2版)《Best Practices for Datacom Facility Energy Efficiency second edition 2010.6
  • [4] 美,ASHRAE TC 9.9 主编《高密度数据中心案例研究与最佳实践》《High Density Data Centers Case Studies and Best Practices 2010.6
  • [5] 美,ASHRAE TC 9.9 主编《数据通信设备中心结构与抗震指南》《Structural and Vibration Guidelines for Datacom Equipment Centers 2010.6
  • [6]钟景华 主编《新一代绿色数据中心的规划与设计》2010.6
  • [7]林小村 主编《新数据中心建设与运行管理》2011.7