技术杂谈

NVIDIA Mellanox CX网卡固件、驱动系列操作

首先从官网下载MFT,以linux为例,如图1所示,

2. 正常的解压、安装,如图2所示,

tar -zxvf mft-4.21.0-99-x86_64-rpm.tgz
sudo ./install.sh

3. 安装完成

MFT常用命令

  1. 开启Mellanox软件工具(使用mst之前必须的操作):
mst start

2. 关闭Mellanox软件工具(使用完之后)

mst stop

3. 查看Mellanox设备状态信息

mst status -v

安装固件

查看网卡驱动版本、固件版本

ethtool -i enp62s0f0

查阅兼容性矩阵看驱动与固件版本是否兼容:MLNX_OFED: Firmware – Driver Compatibility Matrix

通过mlxfwmanager查看固件是否需要更新(注意query前是”–“),

mlxfwmanager -d 1a:00.0 --query

可以下载相应版本的固件:Firmware Downloads

然后通过flint进行安装

flint -d /dev/mst/mt4119_pciconf0 -i <fw_name> burn

此处的-d设备可以通过mst查询得到:

mst status -v

安装完毕后,reboot重启。

安装驱动

安装驱动时,需要兼容当前内核版本,不然直接安装很容易报内核不兼容问题,具体操作可参考 ArtNowBen:DPDK编译:支持Mellanox 25Gbps网卡 进行安装。

使用心得

  1. 若使用perftest发包收包的速度低,比如100Gbps网卡仅能达到50Gbps或者之下,请按照如下情况进行排查:
  • 两端使用的网卡尽量保持相同
  • 两端的驱动和固件尽量相同
  • 驱动和固件必须兼容

2. 两端可以通过直连进行测试,也可连接交换机,但使用交换机是需要对交换机进行配置;

3. 将网卡从一台服务器迁移到另一台服务器,然后再迁回来,吞吐从90Gbps降到50Gbps。于是重新安装固件和驱动,吞吐又回到了90Gbps,比较坑。

Prev Next
No Comments

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注