中国工业合作协会机房技术专业委员会
                                                                    北京工翔科技有限公司
  

数据中心综合布线的技术研究


  电气与智能建筑  杨军志

国内外数据中心布线的应用技术现状

当今世界信息化发展日新月异,数据中心作为支持信息化应用的核心物理平台,其建设将越来越得到用户的重视。布线系统作为搭建数据中心基础物理平台之一,在TIA-942标准的引导下,全球数据中心布线的技术的进步与发展有了强有力的基础保障。标准的要求与用户需求以及布线厂家技术进步这三方面因素在项目不断实践过程中,数据中心布线技术以结构化,高密度,高带宽,易扩容,智能化,绿色化为核心的理念逐渐演化为整个布线行业的发展趋势。

数据中心跟传统大楼的布线不太一样。数据中心有它自己对产品的一些独有特点、要求,包括灵活性、扩展性、高密度、快速布局、模块化设计和管理。接下来我们从光纤,铜缆,智能化管理,以及机柜四个方面(没有相关的内容?)看看数据中心未来一两年发展趋势。

一、万兆网络设备已经来到了我们的身边,不再是一个虚拟化的东西了,我们实实在在可以从市场上买到。对于光纤来讲,不单单满足于10G了,40G、100G标准IEEE802.3ba在今年6月已经正式颁布了,40G用到8芯光纤来传输数据,而100G用到20芯的光纤。IEEE工作组的步伐也并没有就此停住,在完成了802.3ba后,正在筹划他们下一步工作要做一个向下兼容的,从10G到100G的光纤标准。

二、数据中心的光纤应用,采用集中式和分布式的方法进行配线管理。未来几年里面,可能机构的调整,应用调整,需要把你的服务器从这个机柜搬到另外一个机柜,有一种方法,就是集中式管理。在设计水平线路的时候,不再连到列头柜,而把所有线路联到一个集中管理的配线区,在这个区通过跳线连接完成从主配线区(MDA)到水平配线区(HAD),从水平配线区(HAD)到设备区(EDA),甚至从MDA直接跳到EDA,或EDA直接到EDA。所有这些工作都在集中的配线区完成,而不需要跑到下面搬服务器或者是重新敷设线路,这样对于一些经常变更应用来讲有更大的吸引力。对于光纤系统来讲,预连接系统比较适合集中式布线方式。目前对于10G以下的应用,可以采用适配器加上跳线方式完成线路之间的连接,未来要升级到40G/100G也很简单,把这个适配器换成一个MTP或MPO面板。

三、铜缆,现在可以在市场上从各个主流的设备厂商,包括网络交换机,服务器主板,或者是单独网卡供应商那里买到基于铜缆的万兆网络设备。第三方统计数据表明,在未来几年里面,也将面临从1G到10G的网络交替过程。万兆铜缆的标准,是在2008年制定的,从这个时候开始算起,未来5年里面,10G铜缆市场,从无到有,它已经具有了一个非常可观的市场占有率。一些最新的行业标准对万兆路线基于厚望,包括即将颁布的北美TIA-942A标准和ISO24764标准都把6A提升到一个非常高的高度。

根据IDC预计,到2012年中国的数据中心数量将以复合年增长率为1.3%的增长速度达到约54万个。其中,中型数据中心(约500 ㎡~2000 ㎡)和大型企业级数据中心(2000 ㎡以上)的增长速度高于平均增长率。

根据对10G 铜缆应用所进行的调查,有25.6%的用户认为,10G 传输应用在数据中心项目中所占比例为10%~20%或20%~30%,另有20.3%的数据中心用户认为占比在30%~40%。当然,也有14.3%的用户认为10G 应用只应占到10%以内。

电子配线架的实际应用探讨

2.1 电子配线架的概念

电子配线架,英文为E-panel或者Patch Panel,又称“综合布线管理系统”或者“智能布线管理系统”等,其基本功能是:

(1) 引导跳线,其中包括用LED灯引导的,显示屏文字引导以及声音和机柜顶灯引导等方式;

(2) 实时记录跳线操作,形成日志文档;

(3)以数据库方式保存所有链路信息;

(4) 以Web方式远程登陆系统。

我们把具有以上功能的配线架统称为:电子配线架。目前业内电子配线架按照其原理可分为端口探测型配线架(以美国康普公司配线架为代表)和链路探测型配线架(以以色列瑞特公司配线架为代表)两种类型,而按布线结构可以分为单配线架方式(Inter Connection)和双配线架方式(Cross Connection),按跳线种类可分为普通跳线和9针跳线,按配线架生产工艺可分为原产型和后贴传感器条型。

2.2 电子配线架的功能

利用电子配线架,能大大减少工作人员的人工误差,以及工作人员交替造成的数据库混乱。电子配线架能够:

(1) 可实时探测配线架之间跳线的链接关系;

(2)可实时地将探测到的链接关系生成数据库;

(3)可根据探测到的跳接变化实时地自动更新数据库;

有了这三个最基本的功能,电子配线架就可以派生出许许多多其他非常有用的功能,例如LED引导跳线功能、跳线操作纠错功能等。其工作原理如下:

LED引导跳线就是电子配线架用LED灯的指示引导网管人员完成跳线操作的一种功能。网管人员首先要在数据库里调出要跳接的端口信息,这里要强调的是,能满足上述原则的电子配线架所拥有的数据库是百分之百准确的。根据这些信息,网管人员可以向两个需要连接或断开的端口发出指令,让这两个端口上门的LED指示灯开始闪烁或持续点亮。同时电子配线架系统会保留这个指令,等待配线架跳接关系的改变。网管人员到配线架跟前就可以按照LED灯的指示用跳线连接这两个端口或将这两个端口上的跳线拔掉。当网管人员做这些操作时电子配线架系统在不停地探测所有的端口,当然也包括这两个端口。每当配线架之间的跳线链接关系发生变化的时候,电子配线架系统就会与刚才保存的指令相比对,如果链接关系的变化与刚才指令要求的相同,说明网管人员的操作正确。如果新的链接关系和指令不一样,电子配线架系统就会通过LED灯指示网管人员纠正刚才的操作,直至新的链接关系符合指令的要求。

电子配线架的使用大大减少了工作人员的工作压力,网络的连通性进行最大程度的控制,简化网络的规划和运行,方便维护和管理,也最大化利用了整个物理层基础设施,从而增加企业的投资回报率(RIO)。 他能够对网络的连通性进行最大程度的控制, 简化网络的规划和运行,方便维护和管理。

2.3 电子配线架的比较分析

目前智能配线系统没有统一的国际标准,所以各公司产品的设计理念也不尽相同,从硬件角度来说大致可分为端口检测技术和链路检测技术两种,从性能上我们来做一个简单的分析。

2.3.1 端口检测技术

是在端口内置了微型感应器,采用标准8芯跳线接入任一端端口即可有感应,连接跳线需要按照顺序建立连接关系。

端口技术的特点是采用普通跳线,易于部署和维护,能够自动发现使用的端口。因为使用标准跳线大大节省了维护成本。

端口技术是基于物理层的事件的技术,只要跳线在端口有操作,就会发现并记录,有极快的系统反应速度,是真正实时性的系统,而不是扫描或轮循式的方式。扫描或轮循式的方式会有延迟或滞后的响应,从而不能及时发现事件。

端口技术可以很方便地将普通非智能的配线架升级为智能的配线架,如果你已经部署了普通配线架并已经在使用中,跳线已经插满,业务正在运行,即使如此也可以在线升级你的布线系统,由非智能的配线架方便简易地升级到智能配线系统。

采用端口技术可以任意地跨机柜跳线,可以通过机架管理器以菊花链的方式任意地扩展连接范围,而不需要任何特殊配置。扩展容易,一个网络管理器可以自由扩展支持96000个端口的智能管理。同时将现场管理和远程管理进一步融合,现场的任何操作都可以通过LCD显示屏和LED指标灯有指导,有跟踪,有报警,有记录。现场管理对于故障查找和跳线跟踪有着非常重要的意义。

2.3.2 链路检测技术

依靠跳线中附加的导体,通过特殊9针或10针条线接触形成回路进行检测。如果采用链路技术,必须在铜跳线和光跳线中固化一根金属丝。

链路技术的特点是使用特殊跳线,可自动发现特有的跳线,允许跳线两端不按次序连接。

链路技术需要较多上层设备构建特有网络组,形成套管理网络,来扫描电子配线架,从而建立数据库。如果要扩展,只增加电子配线架是不够的,必须增加多个层管理和扫描设备,用户必须对自己的网络和管理点数有较准确的评估,以配备足够多的设备。如果采用特殊跳线的链路方式,尽管可以实现一些功能,但需要许多复杂的上层设备扩展和扫描,不利于扩展和部署。

另外,还有一点需要注意,特殊的跳线需要额外的良好的接地系统,以保证第九针与配线架感应片之间有稳定的接触。

总体来说,两种技术都各有优缺点。这两种技术的共同点,都是采用带外的管理模式,不采用双绞线中1到8针对的传输介质,而是在端口或旁侧增加感应能力来判断跳线的位置。当然智能布线也有其它技术,比如传输线路载波技术,还比如将链路技术改良融入一些端口技术的优点,相信智能布线技术在硬件上还会进一步发展。

智能布线系统是一种将传统布线与智能管理联系在一起的系统。通过智能布线系统,将网络连接的架构及其变化自动传给系统管理软件,管理系统将收到的实时信息进行处理,用户通过查询管理系统,便可随时了解布线系统的最新结构。通过将管理元素全部电子化,可以做到直观、实时和高效的无纸化管理。

预连接光缆技术的应用研究

3.1 多模光纤技术应用

数据中心布线系统需要不断提升带宽为快速增长的网络(如核心层网络,汇聚层网络及SAN存储网络)传输应用提前铺好道路,而采用光纤传输可以为不断发掘带宽潜力提供保障。与单模光纤相比较,由于多模光纤技术较低的有源+无源的综合成本,将促使多模光纤在数据中心的应用中占有绝对的优势,大中型数据中心超过85%的光纤布线系统采用的是多模光纤。2009年8月,TIA 正式批准OM4,一种新类别EIA/TIA 492AAAD多模光纤标准的推出,为多模光纤今后大量应用提供了良好的发展前景,多模光纤从OM1到OM2,采用VCSEL激光优化技术后,从OM3再到OM4整整发展了4个阶段,带宽也是逐级提升,各级别的带宽与10G传输的距离对应关系如下图所示:


多模光纤40G的传输模式采用每对光纤支持10Gbps的速率410Gbp=40Gbps,需要用到各4根光纤发送与接收共8芯光纤,100G采用各10根光纤发送与接收1010Gbps=100G,共使用20芯光纤,采用标准MTP/MPO的多芯连接系统将可以较好的支持新一代光网络40G/100G的传输,40G与100G在多芯光纤内的传输模式如下图所示(?),40G的传输模式是在12芯的MTP/MPO连接器内取最外两侧各4芯进行传输,中间4芯处于空置状态,而100G的传输模式是采用两个12芯的MTP/MPO连接器中取中间10芯进行传输,如果采用MTP/MPO高密度24芯连接器,则在一个24芯的MTP/MPO连接器上完成100G的接收与发送。100G传输时,每12芯中的两侧各1芯处于空置状态。

3.2 预连接光缆技术特点

预连接光缆依据客户的要求,由工厂订制产品,并进行标准程序的研磨加工,所有的技术指标遵守IEC、TIA及相关的标准,在这一点上,技术指标远远超越现场磨接的连接器。同时,为保证光缆拥有足够的机械性能,它的结构是12芯到144芯的中心束管式或多束管层绞式室内或室外光缆,充油结构也保证了光缆的环境和阻水特性,(在数据中心使用的预端接光缆不会使用室外光缆,请考虑是否要写?)在光缆成端部分,没有在现场进行采用熔接或其他机械连接方式的施工操作,消除因为存在接点可能导致的不良后果,用户拿到的是测试指标规定的、无任何可能附加因素的光缆产品,使网络的设计或施工变的更加易于控制。

另外,由于预连接采用特殊的光缆分支组件,采用插拔式结构可以将光缆紧固在机架上。同时,矩形的卡接端口可以防止光缆使用过程中的应力释放,使两端连接器之间的光纤链路始终处于游离、松弛状态,避免因为光缆外皮受到挤压、拉伸或扭转而影响光纤的性能,最大限度保证光纤网络和业主投资的安全性。

从上述的结构特性我们可以看出,预安装所用的光纤连接器类型是可变的,主要依据设计和客户的需求而定,如果采用前面提到的多芯MTP连接器则更具优势,完全消除了多芯光纤连接中的种种不利因素的影响,让用户达到理想的应用效果。

预连接光缆采用MPO/MTP连接器,是一种多芯的光纤连接器,像IEC 61754-7,TIA/EIA 568C.3等标准中都有MPO连接器的规定。MPO最近几年也广泛应用于数据中心。数据中心采用MPO的好处在于高密度,相对空间安装的光纤器件至少是普通LC连接器的3倍以上。

下一代数据中心必然是绿色的数据中心,降低能耗将始终被放在非常重要的位置上。综合布线做虽然作为无源系统,但是并不意味着不需要重视。作为网络的基础,良好设计的综合布线系统显然能够降低数据中心的能耗并为将来的升级和扩容打下良好的基础。同时却不会带来明显的成本增加。(这一段文字是否要?具体内容中没有描述如何降低能耗的相关文字)

结合上述的分析,我们总结出预连接光缆应用方面的几个特点:

(1)保护业主投资的有效性和安全性预连接光缆必须订制,对集成商的前期和实际现场勘察的能力提出更高要求,目的在于充分保护业主对于项目的控制权和使用产品的知情权,避免材料浪费和项目投资的风险。   

(2)免去光纤成端熔接过程中需要的设备、耗材、工时,从总体上看,采用预连接的光缆不会增加额外的成本。

(3)操作简便、易于安装、节约安装时间 只需按照需要即插即用。

(4)预连接光缆工厂已经通过100%测试,质量稳定,使用可靠。

(5)预连接光缆具有良好的保护措施,没有熔接点和裸光纤暴露在空气中,不会产生老化、接头断裂等现象。

(6)预连接光缆的分支器的机械性能非常出色,维护或操作过程简单,不会影响光纤正常使用。

(7)预连接光缆的分支器可以快速和安全的插拔和移动,根据需要重新安装。

预连接光缆应用技术进入市场,已经在众多的电信运营商、金融、教育、公安、海关、企业、科技园区等的光纤网络设计和建设中得到应用,同时也赢得了集成商和最终客户的高度认可和广泛赞誉。

3.3 预连接光缆技术发展

随着光纤技术升级,作为数据中心的“中枢神经”的光纤布线系统产品技术也正在经历着更新换代,以中国国内市场中的数据中心布线产品技术来看,如果在2005年到2010年这5年间,数据中心光纤布线预连接产品应用技术在这期间得到了良好的应用与推广。那么,随着光纤技术新的标准的不断发布,中国大中型数据中心布线市场将引领布线产品应用技术进入一个新的时期,数据中心中光纤布线系统将会由超低损预连接光缆、高密度光纤配线系统以及抗弯曲光纤等组成。(数据中心光纤的应用没有第一代、第二代的划分概念)

(1)低损预连接光缆

预连接光缆方案在数据中心布线中有多种连接方式,应用比较广泛的主要由3种主流应用:一、MTP/MPO到MTP/MPO预连接光缆整体配套,光缆两端内含MPO-LC分支的预连接模块:二、 MTP/MPO到LC预连接光缆整体配套,在一端的成端内含MPO-LC分支的预连接模块,另一端直接配套LC适配器面板:三、 LC到LC预连接光缆整体配套,两端直接连接LC适配器面板。

随着以太网40G/100G采用多通道光纤传输标准的正式发布,今后在数据中心的光纤主干配线系统的部署中,采用OM3,OM4光纤,形成MTP/MPO到MTP/MPO的光纤预连接方案将成为前述三种预连接技术方案中的首选方案。支持10GbE应用的MTP/MPO连接方式,OM3整体光纤通道衰减的要求为2.6dB,。如果支持40G/100G的网络的应用,在不同的传输协议要求下,整体通道衰减需控制在1.9dB或1.5dB以内,各种传输应用与通道衰减的对应关系如下表所示。


对10GbE应用的MTP/MPO, 单个连接损耗业界通常只控制在0.75dB以内,显然这样的性能对于支持40G/100G的应用,将会因为通道衰减超过标准值而产生有效链路长度减短的问题。

采用低损耗的连接器,业界将会要求至少单个MTP/MPO连接点衰减值要小于0.5dB才能让通道发挥出标准界定的40G/100G最长传输距离。

(2)高密度光纤配线方案

预连接光缆通常作为数据中心的主干安装在机房的走线通道上,一旦部署将不会轻易移动与改变,而与预连接光缆主干不同的是端接于预连接两端的光纤模块与配线系统,将需要随着应用的升级而进行升级。当前的数据中心主干更多的是应用10GbE的网络,而10GbE的设备光端口更多的是采用LC类型的端口连接器件。但后续40G与100G传输时,可能更多的会采用MTP/MPO的接口方式。如何使布线系统能够不但支持当前又能支持今后的需要?实际上仅需对高密度配线系统中的模块进行灵活的升级而不需要去更换主干光纤链路。今后的配线系统中模块的升级预计将如下图所示的方式演进。图中模块(1):为当前支持10GbE应用的OM3,OM4 MTP/MPO转LC形式;模块(2):为支持40GbE应用,提高主干光纤利用率,采用2 12芯MTP/MPO的端口转换为3 8芯MTP/MPO,此模块应用在40G时可增加50%的主干光纤利用率;模块(3):当网络升级到100GbE时,将直接采用MTP/MPO适配器面板对配线系统进行升级,直接采用MTP/MPO跳线插接于适配器面板与设备端口。

目前各大主流国际知名厂商每1U高密度光纤配线架可容纳72芯预连接光缆,由6个模块组成,每个模块12芯;4U高密度光纤配线架可容纳288芯预连接光缆。但如美国康普和康宁,目前他们普通1U高密度光纤配线架可达96芯,4U可达384芯。随着设备带宽需求的增加,光纤抗弯曲能力的增强,超高密度的光纤配线架已逐步开始应用,1U可容纳72根光纤跳线(144芯)。

配线系统除了满足网络升级应用的要求以外,追求高密度布线始终为数据中心对光配线系统的一个重要衡量指标,减少配线系统占用机柜的空间,将可最大限度提升生产网络设备安装空间,以增加机房单位面积的利用率与投资回报率。新一代数据中心布线系统将会采用多种配线方式,如专门为数据机房设计的新一代配线系统可安装于网络桥架上的TOR方式,或为地板下走线方式的数据中心直接安装于活动地板下方的集中式区域配线系统。以上所述新一代的高密度配线系统将不再占用机柜的空间。对于光纤配线最为集中的主配线区(MDA),数据中心配线系统将不会仅仅追求越来越高的密度,MDA区域光纤配线系统的可维护性与高密相比也是同等重要。新一代数据中心的配线系统发展方向将是布线高密度与布线系统可维护性两者之间取得最佳的平衡。

(3)抗弯曲光纤

数据中心中高密度配线区中的光纤跳线往往是管理的核心,当光纤配线架端口密度越高,跳线的管理相对也就不再容易,光纤跳线如果弯曲半径过小将直接导致光纤整体通道衰减增加;如果弯折严重,衰减过大,则有可能导致该通道通信中断。对于大中型数据中心来说,在高密度配线区域中跳线数量成千上万条,很难保证每根跳线的管理都能保证其在标准要求的,不小于光缆直径10倍以上的弯曲半径。

对于数据中心来说,网络运行的可靠性是数据中心致命要素之一。正因为如此,新一代的数据中心将越来越多采用抗弯曲的光纤系统来解决这个问题。与传统跳线不一样,对抗弯曲光纤的跳线,当光纤在半径为7.5mm的圆柱上,缠绕2-3圈,衰减甚至不超过0.1dB。在同等条件下,如果采用普通光纤制作的跳线,衰减可能已经超过0.6dB。

如前所述,当OM3,OM4的布线需要能支持到40G/100G网络,标准对通道最大衰减的要求更为严格。跳线是布线系统管理、移动、改变的核心,当跳线系统采用弯曲不敏感光纤后将会使整体光纤通道的可靠性增加一个等级。通过采用抗弯曲光纤来提升光纤物理通道可靠性的方式相比其他方式性价比更高,从这一方面来看,抗弯曲光纤在新一代数据中心将会得到越来越广泛的应用。