对带宽密集型、数据驱动服务的需求推动了计算、数据存储和网络能力的增长。这些上升给连接器和电缆带来了压力,要求它们以更高的速度、更好的信号质量和更少的热量传输数据。
无论是5G实现、我们对AI和机器学习的日益依赖,还是物联网的飞速发展,数据中心都必须不断适应。为了跟上步伐,公司正从单片数据中心设计转向分布式、分解的体系结构。
这种模块化的方法避免了传统服务器或存储扩展的大量投资。相反,混合匹配组件被用于以零碎的方式升级功能——减少部署新硬件的时间、精力和费用。
然而,这种方法的有效性取决于满足网络和计算连接需求。具体来说,通过模块化对数据中心进行优化有四个关键:空间约束、信号完整性、布线和热管理。
空间的限制
近年来,两种趋势汇聚在一起,给数据中心带来了压力。首先是占地面积的缩小。为了最大限度地减少碳足迹,降低能源账单、物业成本和站点维护,公司在过去十年里一直在建造更小的数据中心。
第二是硬件密度。尽管越来越多地使用云和虚拟化技术,但数据中心却越来越多地使用硬件。在一个2020年的调查据AFCOM调查,68%的受访者表示机架密度在过去三年中有所增加,26%的受访者表示增加显著。
这在一定程度上是由于人工智能的发展,这需要使用更专业的芯片,但这也是更广泛的解体和模块化趋势的一部分。Disaggregation将传统的all-in-one服务器分解为独立的资源,例如用于计算、内存、存储和网络的独立硬件。分解还采用了边缘计算的形式,计算能力从云转移到更接近用户的地方。
在许多情况下,这些资源保持在同一个机架单元内,但被分解到单独的模块上。虽然这种方法保留了与单片设计相同的基本架构,但它使连通性变得复杂。曾经位于同一PCB上的组件现在位于不同的模块上。因此,它们不能再通过PCB轨迹进行通信。相反,模块必须通过连接器和电缆进行通信。
这就提出了一个问题:如何在更小的空间里安装更多的部件——例如,更多的连接器和电缆。为了解决这个问题,开发了几种新型连接器。
mezz连接器是一个很好的例子,它可以让两个pcb连接在一起(参见图1)。当向CPU卡添加加速器时,这些连接器可以提供帮助。事实上,开放计算项目打开加速器基础设施(OAI)集团开发了一种开放硬件计算加速器模块的规格及其互连。基于OAI通用底板(UBB)设计规范v1.5 112G的夹层连接器可以实现是上一代的两倍同时保持极小的占地面积。
边缘卡提供了类似的选项,允许您以高度节省空间的方式向系统添加内存、存储和附件卡(图2)。与mezz连接器一样,边缘卡广泛采用由小型外形因素委员会、JEDEC、开放计算项目和gen z财团.这使得大量购买各种应用程序,不仅有助于空间效率,还有助于成本效率。
信号的完整性
就像分解使容量效率变得复杂一样,它也引入了关于信号完整性的新问题。这已经是一个值得关注的领域,因为pcb目前最多只能管理5ghz的信号,而5G等应用程序的新功能要求是驱动25ghz或更高的信号。
模块化只会增加必须在有损耗的PCB轨迹上进行相对长距离通信的组件的数量,从而增加挑战。因此,高速、高密度的应用正在远离传统的板设计,允许模块内部电缆连接。
新的PCIe连接器可以从系统中的任何位置到ASIC附近创建一个直接的、高度优化的连接。这使得信号绕过板迹线,系统可以使用更低损耗的材料。其结果不仅是更节省空间的布线,而且是更好的信号完整性、更低的插入损耗和更短的延迟。
最新的PCIe第4代和第5代电缆和连接器系统可以为服务器和存储应用程序提供高达32gb /秒的高带宽(图3)。其中一些连接器也非常适合串行连接的SCSI (SAS)协议。它们不仅支持当前的SAS-3标准,而且对SAS-4 (24 Gb/秒)具有未来保障能力。使用新一代连接器应该有助于解决数据中心的空间问题,并在未来提高下载系统的性能。
不断增加的数据速率也给前面板带来了麻烦。在这方面,新一代互连系统再次发挥了关键作用。这些电缆和连接器组件可以为每个端口提供400gb /秒的优异信号完整性,所有这些都采用了广泛接受的、高密度可插的形式。结果是最小化的托盘和面板空间加上最大的性能。
布线
到目前为止,我们关注的是一个给定机架单元内的问题。模块化意味着在许多情况下,曾经包含在单个服务器中的功能现在分布在多个盒子中,从而产生了连接子系统的更大需求。决定使用哪种类型的电缆需要平衡各个数据中心的需求与成本和能源方面的考虑。
无源电缆,包括直接连接铜电缆(dac),几十年来一直是机架结构的标准。传输速率为56gb /秒PAM4, dac可以将TOR (top-of-rack)交换机与机架上所有服务器连接在2.0 m ~ 3.0 m的范围内,且不会有过大的信号损耗。对于以这些较低频率运行的数据中心来说,它们是一个节省能源和电缆成本的好选择。
当数据中心移动到112 Gb/秒PAM4时,使用在2.0米以上距离的dac将会遭受不可接受的损耗。他们可能无法传输清晰的信号足够长时间来连接Tor由于服务器位于机架的较低位置,导致数据中心经理考虑其他替代方案。
有源电缆(AECs)提供了一种中间选择,有效跨越长度可达7.0米,用于即插即用升级。因此,数据中心正在安装aec,其中在每一端都包含重新计时器。他们清理和修复信号,放大信号,并在信号进入和退出时去除噪声,提供快速传输和在整个过程中接近零的数据丢失。
尽管AECs确实耗电,但它们较小的直径有助于改善从服务器前端穿过服务器后端的气流——这对热管理是一个重要的好处。它还使安装电缆包更容易、更快。
对于高性能计算和更大的覆盖范围,没有比有源光纤电缆(AOC)更好的了,它在电缆端使用电-光转换来提高速度和距离性能,同时保持与其他通用电气接口的兼容。
AOCs的传输范围为100米到300米,可以将交换机、服务器和数据中心内部不同机架之间的存储连接起来,甚至可以用于数据中心到数据中心的连接。dac仍然可以连接交换机、服务器和机架内的存储。
AOC的重量仅为铜线DAC的四分之一,体积只有铜线DAC的一半,因此它的散热效果更好。因为它不能导电,所以不容易受到电磁干扰。
当然,AOC并不是一种通用的、一刀切的电缆技术。不同的配置可以和平共存,使数据中心能够随着技术变化的加速而灵活适应。
热管理
硬件密度、数据吞吐量和布线复杂性的增加都增加了热管理的难度。在过去的几十年里,已经使用了几种冷却技术,从先进的散热器到全浸入式液体冷却。每种制度都有其优点和挑战。
风扇是最古老、最简单的冷却方法,它位于设备外壳的后部,通过推或拉空气进出设备(图4)。不幸的是,随着工程师在芯片中添加越来越多的计算功能,这些芯片需要越来越大的散热器。考虑到数据中心的空间限制,仅靠风扇散热正变得越来越不可行。
可以安装液冷系统来取代风扇或与风扇组合使用。在这个系统中,冷却液通过管道进入。当液体沿着部件底部的管道流动时,它会聚集产生的一些热量,并将其携带到热交换器中,热交换器是一种金属冷板,用来取代风扇的散热器。热交换器将热量转移出系统,液体重复其冷却回路。
导电性液冷比风扇效率高,但安装复杂,维护困难。
在浸没式冷却中,整个设备或机器被浸泡在一个不导电的冷却液体中,不需要风扇就能将热量转移出去。浸泡是迄今为止将热量从设备上带走的最有效的方法。因为它是如此高效,它可以降低数据中心的碳足迹估计15%到30%。在当前高能源成本和雄心勃勃的可持续发展目标的环境下,浸入式冷却越来越受欢迎。然而,管理它是极其复杂的,这限制了它的采用范围。
把四个琴键协调起来
虽然我们已经讨论了空间约束、信号完整性、布线和热管理,但数据中心优化的这四个关键当然是紧密相关的。例如,紧凑的空间限制和增加的电缆都有可能限制气流,这使热管理更具挑战性。
因此,在放置单个机架之前,有越来越多的需要仔细考虑这些相互依赖的因素。例如,考虑到所有热源和气流路径的仔细的热模拟可以避免部署过程中的问题。
Molex数据通信和专业解决方案部门的集团产品经理Liz Hardin与广泛的客户合作,创造性地解决连接挑战。随着越来越快的信号传输速度和部署新系统的成本不断增加,Liz认为,作为一个生态系统,共同努力寻找最佳的连接路径是必不可少的。作为互连行业17年的资深人士,Liz以客户为中心,并乐于致力于弥合当今系统需求与下一代需求希望提供的机会之间的差距。
了下:连接器技巧

