聚合计算是LAXCUS分布式操作系统7.0的核心,它通过一系列技术手段,将大量服务器重构成一台软件的“超级计算机”。也就是说,一个AI算力集群中无论有多少台服务器,什么类型的服务器,经过聚合计算处理后,在软件层面,就可以像“一台计算机”一样协同工作。基于这台逻辑统一算力强大的“超级计算机”,开发者可以像编写传统的单机应用软件一样,开发基于LAXCUS分布式操作系统的分布式应用软件;用户和集群管理员可以像使用一台计算机一样,通过一个终端、一个指令、一项操作,操纵和维护AI算力集群的所有计算机。
聚合计算彻底颠覆了传统的计算范式,在当前的单机计算、分布式计算之外,开辟了一条全新的技术路径和计算范式,帮助用户和开发者,以更低的成本,更简单、更快捷、更高效地使用和开发大规模AI集群算力。
目前AI发展面临着严峻的三高问题:设备采购价格高、运维使用成本高、应用软件开发难度高。LAXCUS分布式操作系统的目标,就是把三高变成三低,用更低的采购价格、更低的运维使用成本、更低的应用软件开发难度,打破AI算力僵局,创造新一代通用和标准化计算规范,成为了AI时代的破局者!
LAXCUS分布式操作系统正在打破AI算力僵局,成为新一代通用计算范式
如果说聚合计算是LAXCUS分布式操作系统的基础,那么FIXP通信协议就是聚合计算的底层。通过FIXP通信协议,LAXCUS分布式操作系统事实上把所有计算节点连接起来,成为一个巨大的算力矩阵。LAXCUS分布式操作系统的所有分布式作业工作,最终都是经由FIXP通信协议分发后执行。
FIXP通信协议的全称是Free Information eXchange Protocol(自由信息交换协议),内置于LAXCUS分布式操作系统中,对用户和开发者是透明的。虽然FIXP通信协议对用户和应用软件开发者不可见,但是如果你希望全面了解LAXCUS分布式操作系统,也有必要了解FIXP通信协议。
一、基本特征
FIXP是建立在TCP/IP协议之上的二进制通信协议,面向RDMA应用场景的大规模通信业务。二进制字序采用小头编码(Little Endian)。具有平台独立、上下文无关、结构简单、数据尺寸小等特点。
类似于相控阵列雷达,LAXCUS分布式操作系统启动过程中,会在集群里建立大量的FIXP收发单元。每个FIXP收发单元拥有两个信道:命令信道和数据信道。命令信道负责收发指令,传递消息,起到控制的作用。数据信道采用Massive MIMO技术,负责传输数据,是一种并行通信方案,具备多点接收数据和发送数据的能力。它是LAXCUS分布式操作系统能够实现超大规模通信和超大规模分布式计算的基础。
LAXCUS分布式操作系统的Cyber空间里,是在运行过程建立FIXP动态链接
二、协议结构
FIXP协议结构布局按排列顺序由三部分组成:命令、消息、数据实体。命令分为两种:请求和应答,命令的作用是说明本次通信的基本属性。每次通信由发起方发送请求命令,受理方返回应答命令。消息在命令之后出现,消息在一次通信协议中允许出现任意多个,消息中携带本次通信需要的多类附属信息。消息之间是衔接的,彼此无分隔标记,通过消息头中的标记长度加以区别。在最后面是数据实体部分,数据实体包含本次通信所要传递的内容。这些内容可以是任意格式的,如音频、图像、数据库数据、各种元数据等。数据实体是一个可选部分,是否存在会在消息中注明。比如通信发起方通常是不需要传递数据实体的。
FIXP协议结构
三、命令结构
FIXP命令是一个56位(7字节)的数字序列。第一个8位的标识的作用是区分当前是请求命令或者应答命令。之后的协议版本号占用16位,协议版本号是可变的,不同的协议版本号代表不同的协议格式,在应用中分别有不同的解释。目前协议的最新版本号是256(0x100)。命令的主要区别在第24至40位,请求命令需要提供两个8位的主命令和从命令,说明本次操作的作用目标,应答命令返回一个16位的应答码,确认本次请求是接受、还是因为其它原因拒绝。最后是16位的消息成员数,理论上,一次FIXP通信最多可以携带65535个消息。
FIXP请求命令结构
FIXP应答命令结构
四、消息结构
FIXP消息是一个不定长度的数据结构,由键、类型、参数长度、参数组成。键占用16位,每个键都有一个固定的定义,键理论上有65536个,目前已经使用了大约100个。类型占用4位,说明后续的参数属性,包括布尔值、短整数、整型、长整型,单浮点、双浮点、二进制数组、字符串、压缩二进制数组、压缩字符串。参数长度是一个12位的值,参数的实际尺寸由参数长度说明。需要特别指出的是,数值型参数具有字长压缩能力,例如一个整型数0x20,按照计算机字长标准需要占用4个字节,但是实际尺寸只有1个字节。这时参数长度会说明为1,忽略前面3个0。数值型参数也遵循小字头格式(Little Endian)。
FIXP消息结构
五、通信方案
FIXP协议提供了四种通信方案。这些通信方案将根据所在环境条件和任务的不同需求,实现有区别的通信,以达到节约网络流量,降低运行负载,提高计算效率的目的。
1. TCP通信
TCP通信建立在TCP/IP协议的TCP堆栈之上,主要用来处理持续性高的、流量大的数据传输。如数据块的分发,以及大规模分布计算数据流的传递。在LAXCUS分布式操作系统中,它们是主要的通信流量,占用了大量的网络带宽,严重的时候会发生网络阻塞,影响到集群正常运行。为了避免这种现象,TCP通信会受到流量控制机制的限制,通过采用降低数据传输流量的办法,腾出一部分网络带宽,来保证其它通信业务的数据传输和集群的稳定运行。
2. UDP通信
UDP通信建立在TCP/IP协议的UDP堆栈之上,主要针对于非持续、可靠性不高、流量小的数据传输。在LAXCUS分布式操作系统中,基于UDP传输的FIXP协议包,数据尺寸普遍介于20至300字节之间,小于一个IP包的最大传输单元(MTU),其中以网络监控包为主,测试节点状态的心跳包是最常用一种。目前UDP通信是LAXCUS分布式操作系统使用频率最高的通信方案。
3. KEEP UDP通信
UDP的优点在于对计算机的资源占用率低,缺点是数据通信不稳定,存在丢包现象。TCP恰恰相反,可以提供稳定的数据通信通道,但是对TCP/IP堆栈的资源占用率高。在LAXCUS分布式操作系统里,存在着大量既需要保持稳定通信,又希望采用UDP的网络通信业务。如何在拥有二者优点的情况下又避免它们的缺点,答案就是“KEEP UDP(可持续的包通信)”。KEEP UDP是我们在TCP和UDP之间,为LAXCUS分布式操作系统网络通信设计的一种过渡方案,通过在UDP基础上模拟TCP通信过程,为UDP数据提供稳定的通信保证。这个方案的实质就是将原来在TCP/IP堆栈上进行的包的分组和重组的工作,转移到LAXCUS控制的工作线程上去执行。在减轻TCP/IP堆栈压力的同时,还能够根据当时需求,自由定义一些对包的特殊规则。目前KEEP UDP主要用来执行RPC处理和传输网络日志,这些都是数据流量不大但是要求可靠传输的通信业务。
4. RPC通信
RPC(远程进程调用)已经出现很长时间,是一种非常优秀的网络通信方案,至今仍在被广泛使用。它通过隐藏网络两端通信的方式,使网络上两台计算机之间进行的网络调用类似本地API调用的过程。这样就极大地简化了开发者对网络编程的难度,提高了工作效率,减少了出错的机会。
RPC通信建立在TCP和KEEP UDP通信基础之上,通过在本地嵌入接口和对开发者屏蔽网络流程,实现RPC调用处理。目前LAXCUS分布式操作系统里许多复杂的、安全度高的网络通信都是采用 RPC方案执行。
六、通信检测
计算机集群在运行过程中,很多故障都与网络和网络设备有关。根据统计,这些故障大致包括:线路损坏、插口松动、电磁影响、网络阻塞、网络设备损坏。其中有些是硬件故障,有些是暂时性的网络故障。判断故障的有效手段是通过发送ICMP包来检测网络可达。这些检测可以由单机处理,必要时需要多个节点对一个地址共同测试,然后汇总测试结果得出答案。FIXP通信协议能够判断故障是暂时性的网络问题或是不可恢复的物理故障。如果问题严重,将报告给系统管理员,通过人工处理来解决故障问题。通信检测在所有节点都会执行,这是体现LAXCUS分布式操作系统弱中心化和自维持能力的必要手段。
七、流量控制
在造成集群运行不稳定的因素中,有相当大一部分原因是网络传输流量过大所致,如果可以控制每项数据业务的通信流量,让它们以公平和合理的速率传输数据,对于改善集群运行的不稳定状况,将有很大促进作用。FIXP通信协议采用“等/停传输机制”来控制每项工作的网络传输速率,是LAXCUS分布式操作系统“Invoke/Produce”任务调度模型的一部分,具有实时判断网络流量和错误重传的能力,可以根据当时的网络状况,选择合适的传输速率去传输数据,如果丢包率增加,表明当前网络负载过重,就会延迟数据发送间隔。流量控制对上层是透明的,不用对它做任何管理控制措施。目前LAXCUS分布式操作系统所有分布式计算业务,网络通信都默认采用“等/停传输机制”。根据我们对各种数据流量的检测显示,当网络通信启用“等/停传输机制”后,网络传输速率是未启用前的70% - 84%左右,但是网络在面对重负载的数据通信时,它的适应能力增强了。所以,总体而言,这对提高系统稳定性是有利的。
八、未来展望
目前FIXP通信协议是以软件模块的形式,与LAXCUS分布式操作系统深度绑定。因为软件依赖硬件的原因,其通信效果在不同平台表现不一,并且通信过程占用了大量硬件资源,直接影响到分布式计算进程。
所以,FIXP通信协议有必要进一步减少通信延迟和提升通信效率。它的未来走向是:我们将借鉴RDMA网络和英伟达NVLink的经验,与通信硬件设备厂商合作,将FIXP通信协议成熟的软件技术硬件化,嵌入进AI算力集群的硬件市场生态。这将促使全球AI算力集群的通信网络,能够以更低的成本,实现更好更快的通信效果,同时也能够助力加速LAXCUS分布式操作系统的聚合计算和应用软件生态建设工作。
LAXCUS分布式操作系统研发团队正在扩招中,岗位包括:技术合伙人、项目主管、核心开发人员,公司提供了丰厚的股权和期权奖励,欢迎“有想法”和“不安分”的小伙伴联系我们,加入LAXCUS分布式操作系统研发团队,抓住AI和算力互联网发展浪潮红利!
技术探讨长按此微信号
股权商务合作长按此微信号