Facebook数据中心RDDC设计.doc
《Facebook数据中心RDDC设计.doc》由会员分享,可在线阅读,更多相关《Facebook数据中心RDDC设计.doc(32页珍藏版)》请在文库网上搜索。
1、Facebook数据中心RDDC设计(上)摘要:在今年年初OCP 2013峰会上,Facebook发布了最新的数据中心建设思路RDDC(rapid deployment data center),其模块化、标准化、预制化水平到达一个新的高度。本文将回顾RDDC的前世今生和Facebook IDC发展之路,并从技术上分析数据.在今年年初OCP 2013峰会上,Facebook发布了最新的数据中心建设思路RDDC(rapid deployment data center),其模块化、标准化、预制化水平到达一个新的高度。本文将回顾RDDC的前世今生和Facebook IDC发展之路,并从技术上分析数
2、据中心建筑、电气、暖通、微模块等,最后谈谈RDDC对国内的影响和启示。本文有不少笔者个人观点和猜想,加之资料和个人水平有限,未免有不少错误,希望读者多多指正(本文相关图片材料均来自网络视频等资料)。1 Facebook 数据中心发展之路在分析RDDC之前,我们不妨回顾一下Facebook数据中心发展之路。Facebook从早期租赁数据中心,到去俄勒冈建自己的数据中心,再到去欧洲瑞典Lulea建新数据中心,虽然中间时间并不长,但其标准化程度和成熟度都很高。这有赖于美国IDC的技术水平发展较高,以及Facebook可以借鉴各种互联网公司经验。总体来说,Facebook IDC演进经历了若干阶段:1
3、) 定制服务器、存储等ICT设备;2) 改变供配电架构,定制冷冻水末端空调ZY1 ,采用一路480V市电与一路48V电池柜的供电系统架构,发布OCP open rack V1.0ZY2 规格。3) 使用Penthouse设计。干燥新风通过蒸发散热,等焓加湿降温ZY3 ,可以选配DX盘管(Facebook只有一个数据中心有配DX盘管)。4) 和CA合作。CA提供DCIM软件,Facebook在CA DCIM基础上通过开放接口二次开发相关应用。5) 采用RDDC方法,发布OCP open rack V2.0。改为480V直接到服务器机柜分布式电源ZY4 ,输出12V,锂电池直挂12V母排架构。Fa
4、cebook的数据中心技术发展蓝图大致可以用以下关键事件概括:图1 Facebook 数据中心发展之路Facebook一开始定制服务器和存储等设备时候,就希望能优化供配电架构,当时发布的OCP open rack V1.0规范其实就是配合定制服务器电源做成的微模块。具体电源系统单线图如图2所示。图2 OCP open rack V1.0规范中的电源系统单线图当然,图2关于UPS的效率86%是非常不合理,实际上现在高频交流UPS的效率可高达96%。关于直流电和交流电在效率上比较,笔者推荐参考施耐德APC 第127号白皮书数据中心交流配电与直流配电的量化比较(此白皮书比较中立分析了交直流配电的系统
5、效率。但难以否认的是,Facebook通过整合服务器电源和前端直流UPS,使得效率从73%(修正值)提升到87%。即使换到国内380V电压应用环境,减少北美480V/208V降压变压器,Facebook的设计也能提高约7%。但是,笔者认为这种整合虽然能够提升效能减少成本,但至少目前而言,对于大部分企业客户,这种对ICT设备的供电架构改造并不现实。另外,有不少人会认为Facebook这种模式通过牺牲系统可靠性来获取效率提升,而可靠性通过软件、多个数据备份等保证,类似Google的方式。但根据Facebook做过相关电气系统可靠性分析,结论却让人感到惊讶,这种简单而高效的系统反而可靠性更高!图3与
6、图4是Facebook工程师分析配电系统可靠性的比较:图3 典型数据中心可靠性分析图4 Facebook数据中心可靠性分析笔者认为Facebook的分析相对较为简单,缺乏整体配电系统架构量化分析,比较科学严谨的方法要使用可用性计算软件,通过单线图和相关电源设计故障时间和维护时间等参数具体计算。但从系统简单即可靠的角度来看,Facebook的配电架构确实未必比传统金融行业Tier4级数据中心配电设计的可靠性低,特别是直流系统的电源运维更简单。所以,从某种意义上说,国内240V直流配电技术的流行,并不是为了效率上的一点提升,而更多是基于系统可靠性相对一致,采购成本和运维比传统交流UPS更优。同样的
7、道理,我们不妨看看为什么国外用同轴飞轮UPS的用户较多,其实同样因为系统简单。如思科Allen数据中心、雅虎数据中心都用了飞轮UPS,因为配电系统设计非常简单,使用机械系统降低电子控制难度和故障率,配合其无电池设计、非常紧凑的占地面积,还可以作为外置预制电力模块受到极大欢迎。由于国内用户、设计院等对飞轮UPS认识不足,同时飞轮UPS的初期采购价格较高,厂家选择面相对较少而导致应用案例非常少。笔者认为,若没有整合服务器电源,从系统简单性、效能来说,使用同轴飞轮UPS(飞轮+发电机)确实对于企业客户是一个不错选择,比交流双变换UPS系统要优。但Facebook的做法是采用后备式直流UPS,效能极大
8、提高同时,维护容易很多,个人也更喜欢使用分布式电源方式。Facebook定制的48V DC UPS,输出给6个OCP V1.0机架供电(左右两组3连柜),内置5组48V铅酸电池,输入为480V/3ph,如下图所示:图5 Facebook定制的48V DC UPS,输出给6个OCP V1.0机架供电OCP的机架内部配置48V/12V直流转换器,即机架的服务器电源采用整体设计;服务器集中式电源如下图所示:在Open Rack V1.0中,可以放置3个4.2kW功率模块,支持12kW机架功率密度。如果是8kW的话,放置2个功率模块即可,输出12V母排接到服务器输入侧。除了配电系统,针对俄勒冈的干燥环
9、境,Facebook使用penthouse阁楼设计其制冷系统,其典型的内部构造如下图:图7 Facebook 俄勒冈数据中心内部制冷建筑结构图整体使用无冷机设计,制冷先后经过过滤、混合舱、加湿蒸发散热、风机墙、排风阀等。总体来说,Facebook第一代数据中心更多集中在微模块的建设和末端电源技术改进,OCP open rack配合定制服务器整机架交付。更多信息可以参见下列视频链接:可以看出,在电气系统与配电架构上Facebook已经做了较多产品化和标准化,但是penthouse设计需要较多的工程化并且与建筑配合。由于机械系统(HVAC/Mechanical system)采用工程化设计需要配合
10、建筑施工,同时微模块外的电气系统也为工程实施,导致数据中心整体交付速度滞后于服务器和微模块交付速度。因此,Facebook针对这个问题,希望对微模块外的机电、IDC建筑通过产品化、标准化预制、预构件等方式改进,同时并行作业,从而达到业务部署速度、ICT设备部署速度、机电部署速度、建筑部署速度几乎同时匹配,做到快速交付(Rapid deployment)。这个就是RDDC快速部署数据中心的概念由来。2 RDDC的构成2.1 建筑布局、分区图8为Facebook的RDDC整体园区布局渲染图,布局设计看上去有点类似HP的Flexible DC灵活数据中心设计的概念,关于HP可参看下面链接视频:Fac
11、ebook并没有采用多层结构或俄勒冈式的两层结构,相反,其采用了大平面一层的设计方式放置所有设备,通过提高层高来满足布线、热通道回风等要求。图14 Facebook Lulea RDDC数据中心PEB设计在这里,笔者认为有必要介绍一下PEB(Pre engineered Building英文全称)和PFB(Prefabricated building)之间的差异,大家就会理解集装箱和这种方法的差异。PEB和PFB之间难以有一个非常明确的界定,两者看上去有点像成品和半成品的关系。PEB定义了部件,损失了现场交付时间,但更改设计灵活性比PFB高,同时运输成本更低。而PFB相比集成度高,提高了交付时
12、间,但设计相对固定,更改设计灵活性差,运输成本通常较高。PEB和PFB优劣性更多基于不同系统用户实际应用情况,难以有定论,如IT集装箱是PFB,而Facebook的微模块是PEB做法,就目前来看,谷歌抛弃了IT集装箱做法,笔者认为PEB+PFB混合做法更优。而Facebook的RDDC做法,在建筑上使用PEB,在机电模块上使用PFB,而在微模块上又使用PEB。对于IDC建筑使用PFB设计,英国Bladeroom数据中心堪称使用类集装箱Containerized DC的经典。该数据中心用标准集装箱尺寸,但不是标准集装箱的钢构做成PFB,然后运现场后拼装的模式,达到快速部署。更多详情可以参看下列链
13、接,而如果采用PEB做法,国内其实已经有不少案例,典型如远大建筑和上海城建,商业大楼和住宅楼都可以使用PEB的做法加快整体建造速度。远大建筑的PEB设计可以参考下面链接:国外也有不少PEB建筑,可以适应多层或单层建筑模型,单层结构设计跟Facebook的RDDC也比较类似,可以参考下面链接:使用PEB钢构设计,比传统建筑设计提升是显然的,主要体现在物料节省,部署速度更快,网络上有很多相关比较PEB和传统建筑的比较,可以参考下面链接:http:/theconstructor.org/structural-engg/pre-engineered-building-vs-conventional-b
14、uilding-comparison/7009/Facebook在RDDC设计上进一步做了一些机电模块和建筑模块的融合设计,例如钢结构上,IDC钢结构配合AHU+回风钢构刚好拼接成一体,从而进一步减少工程化风管的设计。笔者认为这种设计可能是考虑到下雪天室外维护AHU不太方便,因此形成建筑一部分,可以通过建筑内部进入AHU的每个内部模块进行维护。通常使用外置AHU都需要使用工程化风管设计进行相关送风和回风,如图15所示:根据Facebook工程师研究结果,采用RDDC模式,可以节省约一半的建筑材料和提升一倍建造部署时间(如图16所示)。图16 RDDC模式带来的好处有人可能会问,Facebook
15、在规划RDDC的时候怎么能够从概念推断出物料的成本和部署时间会节省那么多?还是做出来的时候才得出?当然不是做出来才验证,答案在于Facebook规划RDDC时候使用BIM设计。整个过程利用BIM的5D特性,可以非常精确模拟出整体交付速度和交付计划、整体物料成本BOM,以及相应绿色节能分析等。关于BIM的介绍可以参阅以下百度百科链接:附上两个Lulea一期的BIM图图17 Facebook Lulea数据中心一期BIM图A图18 Facebook Lulea数据中心一期BIM图B据笔者国内调研,暂时未发现有一个国内数据中心使用BIM做整体建筑和机电设计、项目施工管理和设施运维等,所以从这点看,国
16、内外的数据中心设计水平和能力相差甚远。关于Facebook在工具流程上如何规划RDDC,笔者在RDDC可能的研发流程章节中会给出个人猜想观点供读者参考。在电气模块布局上,Facebook采用Skid底座的预制电力模块,即把相应的电力设备集成在Skid钢架上,同时相关电气线缆已经预制和预连接,相关电气模块技术会在电气系统章节介绍。图19 Facebook Lulea数据中心一期电气模块布局写到这里,大家应该大致理解Facebook模块化、标准化、预制化的思路。但是依然有一个问题:数据中心不能全部在工厂集成好,然后整体打包运到现场,现场必然会有模块之间的工程连接,如何保证不会出现模块之间连接工程不
17、会出现手工作坊一样的人为错误呢?难道老外就比中国人好?国外做法是通过BIM在设计层面尽可能做到所见即所得,通过标准化设计和产品化的手段做成不同系统模块,整个IDC工程会尽可能拆分成很多标准模块,这些模块在工厂做预制并搭建好调试好,拆了之后运到现场拼装就行。笔者总结为:工厂化的预制和施工、BIM标准化设计和管理,把施工现场变成汽车装配流水线一样,类似富士康生产苹果手机的流程,达到快速标准作业。这是笔者对RDDC理念的理解,其实这也是贯穿无论谷歌、微软、亚马逊等IDC的建设理念。Facebook数据中心RDDC设计(下):图16 RDDC模式带来的好处有人可能会问,Facebook在规划RDDC的
18、时候怎么能够从概念推断出物料的成本和部署时间会节省那么多?还是做出来的时候才得出?当然不是做出来才验证,答案在于Facebook规划RDDC时候使用BIM设计。整个过程利用BIM的5D特性,可以非常精确模拟出整体交付速度和交付计划、整体物料成本BOM,以及相应绿色节能分析等。关于BIM的介绍可以参阅以下百度百科链接:附上两个Lulea一期的BIM图图17 Facebook Lulea数据中心一期BIM图A图18 Facebook Lulea数据中心一期BIM图B据笔者国内调研,暂时未发现有一个国内数据中心使用BIM做整体建筑和机电设计、项目施工管理和设施运维等,所以从这点看,国内外的数据中心设
19、计水平和能力相差甚远。关于Facebook在工具流程上如何规划RDDC,笔者在RDDC可能的研发流程章节中会给出个人猜想观点供读者参考。在电气模块布局上,Facebook采用Skid底座的预制电力模块,即把相应的电力设备集成在Skid钢架上,同时相关电气线缆已经预制和预连接,相关电气模块技术会在电气系统章节介绍。图19 Facebook Lulea数据中心一期电气模块布局写到这里,大家应该大致理解Facebook模块化、标准化、预制化的思路。但是依然有一个问题:数据中心不能全部在工厂集成好,然后整体打包运到现场,现场必然会有模块之间的工程连接,如何保证不会出现模块之间连接工程不会出现手工作坊一
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Facebook 数据中心 RDDC 设计