引言:
此文由集成公司营销中心核心团队为支撑公司瑞腾服务器的发展而作,感谢瑞腾项目组技术大拿们的指导。
目录
配置前准备
确认和注册授权
将交机变为VPI的工作模式
将交换机的接口由ethernet模式配置为InfiniBand模式
将交换机的接口配置为1拖4的10G口
配置VLAN
配置Gateway(proxy-arp)
保存配置
配置前准备
InfiniBand交换机可以通过命令行的方式进行配置,或命令行配置管理IP,再通过WEB页面的方式对进行配置。PS:有些功能无法通过WEB界面管理,技术控喜欢命令行,本文使用命令行的方式。
确认交换机的配置口(CONSOLE)和管理口(MGT),一般一台交换机带一个CONSOLE口或1个管理口。如下图所示
连接电脑和InfiniBand交换机,InfiniBand交换机和网络交换机一样,通过CONSOLE线进行连接配置。
电脑端配置可以使用大家常用的SecureCRT软件,参数设备如下图:
提醒:一般笔记本没有COM口,可以淘宝一根USB转串口线。
配置管理口IP地址,如下图所示,配置完成合,可通过WEB方式登录管理InfiniBand交换机
确认和注册授权
初始的交换机,首先要确认InfiniBand交换机工作模式,一般没注册的交换机只支持ethernet模式,注册后才支持VPI模式,具体要看交换机的型号。
安装license
IB1[standalone: master] (config) # licenseinstallLK2-EFM_SX-5HGL-0H9L-6523-4H21-8D23-JCJ3-5T11-5N11-5K11-5R12-5L11-5M11-5Q14-88A6-4BC5-44NU-F
查看license是否安装成功
IB1[standalone: master] (config) # showlicenses
License1: LK2-EFM_SX-5HGL-0KAL-64TK-4E2Q-60T3-6DRK-5T11-5N11-5K11-5R12-5L11-5M11-5Q14-88A6-JYE1-71AR-M
Feature: EFM_SX
Description: Generic SX license
Valid: yes
Chassis serial number: MT1528X04373 (ok)
Active: yes
Eth L3enabled: true
GW ports number: 1
Full Eth L2 enabled: true
Eth port SW speed limit: 56Gb
IB enabled: true
Eth enabled: true
IB port SW speed limit: FDR
将交机变为VPI的工作模式
模式改变后会系统会重启并且初始化交换机配置。
查看交换机工作模式
IB1[standalone: master] (config) # showsystem profile
eth-single-switch
更改交换机工作模式
IB1[standalone: master] (config) # systemprofile vpi-single-switch
Warning!The switch configuration is going to be deleted and the system will bereloaded.
Type'yes' to confirm profile change: yes
将交换机的接口由ethernet模式配置为InfiniBand模式
场景为适用与InfiniBand交换机接服务器端的InfiniBand网卡方式
进入ethernet口并关闭
IB1 [standalone:master] (config) # interface ethernet 1/3
IB1 [standalone:master] (config interface ethernet 1/3) # shut
IB1 [standalone:master] (config interface ethernet 1/3) # exit
将端口设置为InfiniBand模式并开启
IB1 [standalone:master] (config) # port 1/3 type infiniband
IB1 [standalone:master] (config) # interface ib 1/3
IB1 [standalone:master] (config interface ib 1/3) # no shut
查看端口状态
IB1 [standalone:master] (config interface ib 1/3) # show ports type
Ethernet: 1/1/1 1/1/2 1/1/3 1/1/4 1/2/1 1/2/2 1/2/31/2/4 1/4 1/5 1/6 1/7
InfiniBand: 1/3 1/8 1/9 1/10 1/111/12
将交换机的接口配置为1拖4的10G口
场景为适用与1个InfiniBand接口通过1拖4的线缆接4台安装了万兆网卡的服务器。
进入要配置的端口并关闭
IB1 [standalone:master] (config) # interface ethernet 1/2
IB1 [standalone:master] (config interface ethernet 1/2) # shut
配置接口模式为1拖4接口
IB1 [standalone:master] (config interface ethernet 1/2) # module-typeqsfp-split-4
the followinginterfaces will be unmapped: 1/2
Type 'yes' toconfirm split: yes
查看配置的接口
IB1 [standalone:master] (config) # show ports type
Ethernet: 1/1/1 1/1/2 1/1/3 1/1/4 1/2/1 1/2/2 1/2/31/2/4 1/3 1/4 1/5 1/6 1/7
InfiniBand: 1/81/9 1/10 1/11 1/12
配置VLAN
在InfiniBand交换机中只有处在Ethernet模式下的端口才能加入VLAN
创建VLAN
IB1 [standalone:master] (config) # vlan 2
将端口加入VLAN
IB1 [standalone:master] (config) # int ethernet 1/3
IB1 [standalone:master] (config interface ethernet 1/3) #switchport access vlan 2
查看VLAN接口
IB1 [standalone:master] (config) # show vlan id 2
VLAN Name Ports
2 Eth1/3
删除VLAN
IB1 [standalone:master] (config interface ethernet 1/3) # switchportaccess vlan 1
IB1 [standalone:master] (config interface ethernet 1/3) # exit
IB1 [standalone:master] (config) # no vlan 2
配置Gateway(proxy-arp)
场景适应与IB网与Ethernet网通过InfiniBand交换机互联互通,见下图
查看交换机是否支持网关功能
IB1 [standalone:master] (config) # show system capabilities
IB: Supported
Ethernet:Supported, Full L2, L3
GW:Supported
Max SM nodes: 648
IB Max licensedspeed: FDR
Ethernet Maxlicensed speed: 56Gb
开启Proxy-ARP功能及查看是否开启
IB1 [standalone:master] (config)# ip proxy-arp
IB1 [standalone: master] (config)# show ip proxy-arp
Proxy-app: enabled
关闭IB交换机的路由、组播功能(有些交换机无需配置)
IB1 [standalone:master] (config) # no ip routing
IB1 [standalone: master] (config) # no ip igmpsnooping
IB1 [standalone: master] (config)# no ib sm
创建Proxy-ARP接口并配置IP地址
IB1 [standalone:master] (config) # int proxy-arp 1
IB1 [standalone:master] (config interface proxy-arp 1) # ip address10.10.1.110
IB1 [standalone:master] (config interface proxy-arp 1) # ip netmask/24
将VLAN下的端口和InfiniBand接口加入到Proxy-ARP接口组
IB1 [standalone:master] (config interface proxy-arp 1) # ip vlan 1
IB1 [standalone:master] (config interface proxy-arp 1) # ip pkey 0x7FFF
开启Proxy-ARP接口
IB1 [standalone:master] (config interface proxy-arp 1) # no shut
查看Proxy-ARP接口状态
IB1 [standalone:master] (config) # show interfaces proxy-arp 1
Proxy-arp 1
Admin state: Enabled
Operational state: Down
GUID: E4:1D:2D:03:00:86:F5:08
Internet Address: 10.10.1.110/24
Broadcast Address: 10.10.1.255
Description: N/A
MTU: 1500
Counters: Disabled
Bridged interfaces: vlan 1(D), pkey 0x7fff
保存配置
IB1 [standalone:master] (config) # configuration write
联系我们
子衿技术公众号,邀请IT界技术大牛激扬文字,发表真知灼见,篇篇干货。
我们依托南瑞集成实验室,开展线下交流,动手实践,欢迎您的加入!
地址:南京市江宁区诚信大道19号南京南瑞集团公司信息系统集成分公司
电话:025-81095705
欢迎扫码关注子衿技术
1)即日起,凡是推送在【子衿技术】平台的文章,阅读量超过1000,该文章作者可获赠礼品。
2)投稿数量较多的作者可获赠礼品。
3)从关注的用户中每月抽取3名幸运关注用户,这3名幸运用户可获赠礼品。
技术干货文章随时欢迎向“子衿技术团队”订阅号投稿。
投稿邮箱:xx.miaojingwen@163.com。