多处理器一致性互连是对称多处理互连结构,是相对非对称多处理技术而言的,指的是一台计算机上汇集了一组多个处理器,各处理器之间共享内存子系统及总线结构。在浪潮K1 Power K8880G3服务器中,多处理器一致性互连指的是设计在处理器上的高度优化的信号速率高达32Gbps的差分信号接口。该接口包含16个端口,每个端口由8个数据通道(lane)和1个冗余通道(lane)组成,能够实现计算节点互联,允许多达16个处理器组合成一个大型的、强大扩展能力的整机系统。浪潮K1 Power K8880G3 4节点16路配置多处理器一致性互连设计同样秉承了高性能和高可靠的理念,为浪潮K1 Power
K8880G3服务器独特的“三高一强”特性保驾护航。
在浪潮K1 Power K8880G3服务器中,多处理器一致性互连信号速率高达32Gbps,这使得浪潮K1 Power K8880G3单计算节点中处理器和处理器之间,浪潮K1 Power
K8880G3节点和节点之间的多处理器一致性互连带宽都达到了惊人的128GBps,单计算节点内每个处理器到处理器的传输速率相比浪潮K1 Power K8880G2(96GBps)服务器提高了33%。
在浪潮K1 Power K8880G3服务器中,多处理器一致性互连通过线缆直连处理器。而浪潮K1 Power K8880G2服务器则是通过layout连接。
浪潮K1 Power K8880G3每个处理器包含有144个通道(lane),用于计算节点之间的处理器互联。每个多处理器一致性互连包括18个通道(lane),每个方向上8个数据通道(lane)及1个冗余通道(lane),使得每个处理器能最多支持8个多处理器一致性互连,总共128个数据通道(lane),这种配置下所有多处理器一致性互连的理论最大全双工带宽最高可达1TBps。创业界新高的连接带宽,得益于创新的设计。在浪潮K1 Power K8880G2服务器中,传输控制芯片等有源器件是设计在传输电缆中的。浪潮K1 Power K8880G3服务器则直接将负责控制、检测的有源器件集成在了处理器上,每颗处理器集成了8个高速连接器,是业内处理器产品首次大规模应用高速连接器片上(on-chip)模式。片上(on-chip)模式极大地简化了电缆的工作,释放了传输性能,因此新产品中多处理器一致性互连使得处理器之间的通信速率高达32GT/s,是业内最高的处理器互连速率,而x86 UPI速率仅为20GT/s。此外,电缆(Cable)的传输性能也更加优异。在同等速率下,电缆(Cable)的传输性能比通过PCB传输的性能要高66%~88%。不同材质损耗对比
当4计算节点浪潮K1 Power K8880G3系统满配时:
单节点里处理器间多处理器一致性互连互联
每个节点内的4个处理器模块(SCM)使用1-hop拓扑构建4路多处理器一致性互连体系结构,每颗处理器均直接连接到同一节点内的其他处理器。
节点到节点多处理器一致性互连互联
跨节点之间则采用2-hop拓扑,有8路、12路、16路多处理器一致性互连配置选项,一个节点中的4个处理器模块(SCM)中的每一个都直接连接到另一个节点中相同位置的处理器模块(SCM)上。
4节点16路处理器互联拓扑
这样的设计,极大地减少了传输路径中的延时和损耗,从而提升性能。浪潮K1 Power K8880G3处理器模块(SCM)之内和之间都有3组(2 x 9)互联总线,处理器到处理器之间使用的是A-bus互联总线,节点到节点之间使用的是X-bus互联总线。
每条多处理器一致性互连总线有18个通道(lane),并且被分成两根独立的线缆,每根线缆有9个通道(lane)。每根多处理器一致性互连线缆上使用一个多处理器一致性互连备用通道(lane),包括8路数据通道(lane)和1路备用通道(lane)。当两条多处理器一致性互连线缆中的一条发生故障,所有的流量将被路由到另外一条线缆。浪潮K1 Power K8880G3在电缆设计上摒弃了有源器件,采用全无源链路连接,大大降低了电缆发生故障的风险,同时引入TDR诊断技术,以解决无源线缆的故障定位问题。跨节点处理器互连拓扑
该项技术通过在处理器内嵌TDR(时域反射计)模块,诊断多处理器一致性互连链路上的电缆故障点。当信号传输遇到故障点时,处理器通过计算入射信号和反射信号的时间差,判定并定位故障点位置。精准定位故障点,降低维护时间,一定程度上减免了二次定位故障部件。
每组信号分2根线缆传输,当某个线缆故障时,机器仍可保持正常运行。不仅如此,浪潮K1 Power K8880G3服务器还支持外部多处理器一致性互连线缆的在线修复,不需要关闭整个服务器来更换外部多处理器一致性互连线缆,在线修复过程,能够使系统在不中断运行的情况下恢复OP-bus的完整功能。