暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Mellanox InfiniBand交换机开局配置指导书

子衿技术联盟 2016-01-12
6441



引言:

此文由集成公司营销中心核心团队为支撑公司瑞腾服务器的发展而作,感谢瑞腾项目组技术大拿们的指导。


目录

配置前准备

确认和注册授权

将交机变为VPI的工作模式

将交换机的接口由ethernet模式配置为InfiniBand模式

将交换机的接口配置为1410G

配置VLAN

配置Gatewayproxy-arp

保存配置

  • 配置前准备

InfiniBand交换机可以通过命令行的方式进行配置,或命令行配置管理IP,再通过WEB页面的方式对进行配置。PS:有些功能无法通过WEB界面管理,技术控喜欢命令行,本文使用命令行的方式。

  • 确认交换机的配置口(CONSOLE)和管理口(MGT),一般一台交换机带一个CONSOLE口或1个管理口。如下图所示


  • 连接电脑和InfiniBand交换机,InfiniBand交换机和网络交换机一样,通过CONSOLE线进行连接配置。

  • 电脑端配置可以使用大家常用的SecureCRT软件,参数设备如下图:

提醒:一般笔记本没有COM口,可以淘宝一根USB转串口线。


  • 配置管理口IP地址,如下图所示,配置完成合,可通过WEB方式登录管理InfiniBand交换机


  • 确认和注册授权

初始的交换机,首先要确认InfiniBand交换机工作模式,一般没注册的交换机只支持ethernet模式,注册后才支持VPI模式,具体要看交换机的型号。

  • 安装license

IB1[standalone: master] (config) # licenseinstallLK2-EFM_SX-5HGL-0H9L-6523-4H21-8D23-JCJ3-5T11-5N11-5K11-5R12-5L11-5M11-5Q14-88A6-4BC5-44NU-F

  • 查看license是否安装成功

IB1[standalone: master] (config) # showlicenses

License1: LK2-EFM_SX-5HGL-0KAL-64TK-4E2Q-60T3-6DRK-5T11-5N11-5K11-5R12-5L11-5M11-5Q14-88A6-JYE1-71AR-M

Feature: EFM_SX

Description: Generic SX license

Valid: yes

Chassis serial number: MT1528X04373 (ok)

Active: yes

Eth L3enabled: true

GW ports number: 1

Full Eth L2 enabled: true

Eth port SW speed limit: 56Gb

IB enabled: true

Eth enabled: true

IB port SW speed limit: FDR


  • 将交机变为VPI的工作模式

模式改变后会系统会重启并且初始化交换机配置。

  • 查看交换机工作模式

IB1[standalone: master] (config) # showsystem profile

eth-single-switch

  • 更改交换机工作模式

IB1[standalone: master] (config) # systemprofile vpi-single-switch

Warning!The switch configuration is going to be deleted and the system will bereloaded.

Type'yes' to confirm profile change: yes

  • 将交换机的接口由ethernet模式配置为InfiniBand模式

场景为适用与InfiniBand交换机接服务器端的InfiniBand网卡方式

  • 进入ethernet口并关闭

IB1 [standalone:master] (config) # interface ethernet 1/3

IB1 [standalone:master] (config interface ethernet 1/3) # shut

IB1 [standalone:master] (config interface ethernet 1/3) # exit

  • 将端口设置为InfiniBand模式并开启

IB1 [standalone:master] (config) # port 1/3 type infiniband

IB1 [standalone:master] (config) # interface ib 1/3

IB1 [standalone:master] (config interface ib 1/3) # no shut

  • 查看端口状态

IB1 [standalone:master] (config interface ib 1/3) # show ports type

Ethernet: 1/1/1 1/1/2 1/1/3 1/1/4 1/2/1 1/2/2 1/2/31/2/4 1/4 1/5 1/6 1/7

InfiniBand: 1/3 1/8 1/9 1/10 1/111/12

  • 将交换机的接口配置为1410G

场景为适用与1InfiniBand接口通过14的线缆接4台安装了万兆网卡的服务器。

  • 进入要配置的端口并关闭

IB1 [standalone:master] (config) # interface ethernet 1/2

IB1 [standalone:master] (config interface ethernet 1/2) # shut

  • 配置接口模式为14接口

IB1 [standalone:master] (config interface ethernet 1/2) # module-typeqsfp-split-4

the followinginterfaces will be unmapped: 1/2

Type 'yes' toconfirm split: yes

  • 查看配置的接口

IB1 [standalone:master] (config) # show ports type

Ethernet: 1/1/1 1/1/2 1/1/3 1/1/4 1/2/1 1/2/2 1/2/31/2/4 1/3 1/4 1/5 1/6 1/7

InfiniBand: 1/81/9 1/10 1/11 1/12

  • 配置VLAN

InfiniBand交换机中只有处在Ethernet模式下的端口才能加入VLAN

  • 创建VLAN

IB1 [standalone:master] (config) # vlan 2

  • 将端口加入VLAN

IB1 [standalone:master] (config) # int ethernet 1/3

IB1 [standalone:master] (config interface ethernet 1/3) #switchport access vlan 2

  • 查看VLAN接口

IB1 [standalone:master] (config) # show vlan id 2

VLAN Name Ports

2 Eth1/3

  • 删除VLAN

IB1 [standalone:master] (config interface ethernet 1/3) # switchportaccess vlan 1

IB1 [standalone:master] (config interface ethernet 1/3) # exit

IB1 [standalone:master] (config) # no vlan 2

  • 配置Gatewayproxy-arp

场景适应与IB网与Ethernet网通过InfiniBand交换机互联互通,见下图


  • 查看交换机是否支持网关功能

IB1 [standalone:master] (config) # show system capabilities

IB: Supported

Ethernet:Supported, Full L2, L3

GW:Supported

Max SM nodes: 648

IB Max licensedspeed: FDR

Ethernet Maxlicensed speed: 56Gb

  • 开启Proxy-ARP功能及查看是否开启

IB1 [standalone:master] (config)# ip proxy-arp
IB1 [standalone: master] (config)# show ip proxy-arp
Proxy-app: enabled

  • 关闭IB交换机的路由、组播功能(有些交换机无需配置)

IB1 [standalone:master] (config) # no ip routing
IB1 [standalone: master] (config) # no ip igmpsnooping
IB1 [standalone: master] (config)# no ib sm

  • 创建Proxy-ARP接口并配置IP地址

IB1 [standalone:master] (config) # int proxy-arp 1

IB1 [standalone:master] (config interface proxy-arp 1) # ip address10.10.1.110

IB1 [standalone:master] (config interface proxy-arp 1) # ip netmask/24

  • VLAN下的端口和InfiniBand接口加入到Proxy-ARP接口组

IB1 [standalone:master] (config interface proxy-arp 1) # ip vlan 1

IB1 [standalone:master] (config interface proxy-arp 1) # ip pkey 0x7FFF

  • 开启Proxy-ARP接口

IB1 [standalone:master] (config interface proxy-arp 1) # no shut

  • 查看Proxy-ARP接口状态

IB1 [standalone:master] (config) # show interfaces proxy-arp 1

Proxy-arp 1

Admin state: Enabled

Operational state: Down

GUID: E4:1D:2D:03:00:86:F5:08

Internet Address: 10.10.1.110/24

Broadcast Address: 10.10.1.255

Description: N/A

MTU: 1500

Counters: Disabled

Bridged interfaces: vlan 1(D), pkey 0x7fff

  • 保存配置

IB1 [standalone:master] (config) # configuration write


联系我们



子衿技术公众号邀请IT界技术大牛激扬文字,发表真知灼见,篇篇干货。

我们依托南瑞集成实验室,开展线下交流,动手实践,欢迎您的加入!

地址:南京市江宁区诚信大道19号南京南瑞集团公司信息系统集成分公司

电话:025-81095705



欢迎扫码关注子衿技术


1)即日起,凡是推送在【子衿技术】平台的文章,阅读量超过1000,该文章作者可获赠礼品。

2)投稿数量较多的作者可获赠礼品。

3)从关注的用户中每月抽取3名幸运关注用户,这3名幸运用户可获赠礼品。


技术干货文章随时欢迎向“子衿技术团队”订阅号投稿。

投稿邮箱:xx.miaojingwen@163.com。




文章转载自子衿技术联盟,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论