IB网卡手动配置IP地址怎么做？，步骤是什么？

手动配置IPoIB IP地址，需要在加载ib_ipoib内核模块后，使用ip addr add命令为IB网卡接口（通常为ib0）分配IP地址并设置子网掩码，再通过ip link set up启用接口，最后通过配置文件实现持久化。

手动配置IB网卡IP地址的前提条件

在动手配置IP之前,需要确保硬件和软件环境准备就绪，这部分包括IB网卡驱动安装、InfiniBand子网管理器运行状态以及IPoIB模块的加载。

确认InfiniBand网卡驱动

使用ibstat或ibv_devinfo命令查看IB网卡状态，如果命令不存在，说明驱动未安装，对于Mellanox/NVIDIA网卡，需要安装MLNX_OFED驱动包，驱动安装完成后，ibstat应显示端口状态为Active，使用ibv_devinfo可以查看固件版本和端口速率，确保硬件工作在预期速率。

子网管理器（SM）的必要性

InfiniBand网络需要子网管理器（如OpenSM）来维护网络拓扑，IPoIB依赖子网管理器进行地址解析和广播，如果SM未运行，IPoIB接口可能无法正常工作，使用opensm命令启动或检查系统服务，业内专家指出，子网管理器是InfiniBand网络的核心组件，没有它IPoIB无法正常工作，在测试环境中，可以通过systemctl start opensmd启动，并设为开机自启。

加载IPoIB内核模块

IPoIB功能由ib_ipoib模块提供，执行以下命令加载：

• modprobe ib_ipoib
• 确认模块已加载：lsmod | grep ib_ipoib

如果模块加载失败,检查内核版本是否支持，或重新编译驱动，对于某些系统，可能需要先加载mlx4_ib或mlx5_ib等硬件驱动模块。

IPoIB配置步骤详解

此部分详细演示手动配置IP地址的完整流程,包括从识别接口到持久化配置的每一步，在实际数据中心部署中，IPoIB配置步骤需要严格遵循，否则可能导致通信失败。

识别IB网卡接口名称

IB网卡接口通常命名为ib0、ib1等，使用ip link show列出所有接口，找到类型为infiniband的接口。

输出示例：

3: ib0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 65520 qdisc pfifo_fast state UNKNOWN mode DEFAULT group default qlen 256

如果接口名称不是ib0，可以通过ibstat查询端口对应的逻辑接口。

配置IP地址和子网掩码

使用ip addr add命令为接口添加IP地址，为ib0配置168.1.2/24：

sudo ip addr add 192.168.1.2/24 dev ib0 sudo ip link set ib0 up

如果接口已经存在IP,先清除旧配置：sudo ip addr flush dev ib0，配置完成后，用ip addr show ib0查看是否已生效。

验证配置

• 使用ip addr show ib0确认IP地址和子网掩码正确。
• 使用ping 192.168.1.1测试与对端IB网卡的连通性，注意，首次ping可能需要等待ARP解析完成。
• 使用ibstatus查看物理链路状态，确保端口处于Active状态。

持久化配置

手动配置重启后失效,需要写入网络配置文件中，不同发行版方法不同：

• CentOS/RHEL 7/8：创建/etc/sysconfig/network-scripts/ifcfg-ib0如下：

  

  DEVICE=ib0 TYPE=InfiniBand BOOTPROTO=static IPADDR=192.168.1.2 NETMASK=255.255.255.0 ONBOOT=yes

  然后重启网络服务：systemctl restart network。

• Ubuntu 18.04/20.04：编辑/etc/netplan/下的配置文件，添加类似：

  network: version: 2 renderer: networkd ethernets: ib0: dhcp4: no addresses: [192.168.1.2/24]

  应用配置：sudo netplan apply。

• SUSE Linux：使用YaST或编辑/etc/sysconfig/network/ifcfg-ib0，配置项目与CentOS类似。

CentOS配置关键点

要确保TYPE为InfiniBand，而不是Ethernet。BOOTPROTO设为static，如果使用DHCP，IPoIB也支持DHCP，但需要DHCP服务器支持InfiniBand接口，对于大规模部署，建议使用静态IP以避免DHCP带来的延迟。

多IP配置

如果需要为同一IB网卡配置多个IP地址,可以重复使用ip addr add命令，或使用ip addr add带label参数，但通常不推荐，每个IP地址独立配置，都可以通过ib0接口通信，同时配置管理IP和业务IP：

sudo ip addr add 10.0.0.2/24 dev ib0 sudo ip addr add 192.168.2.2/24 dev ib0

高速网络IB网卡怎么配IP？常见问题排查

这个部分针对配置过程中的常见问题,并提供解决方案，帮助用户快速定位问题。

IPoIB接口无法启动

• 检查ib_ipoib模块是否加载：lsmod | grep ib_ipoib，如果未加载，执行modprobe ib_ipoib。
• 确认子网管理器（OpenSM）是否运行：systemctl status opensmd，如果未运行，尝试启动：systemctl start opensmd。
• 查看系统日志：dmesg | grep ipoib，查看是否有错误信息，如驱动加载失败或固件版本不匹配。

IP地址配置后不生效

• 使用ip addr show ib0确认IP是否已添加，如果显示为空，检查命令是否执行成功。
• 检查接口是否处于UP状态：ip link show ib0，如果状态为DOWN，执行ip link set ib0 up。
• 如果使用了子网管理器,确保LID（Local Identifier）已分配：ibstat，如果端口状态为Active且LID不为0，说明物理层正常。
• 检查是否有其他网络服务（如NetworkManager）干扰，对于CentOS，建议禁用NetworkManager对IB接口的管理，或者使用nmcli配置。

对比传统以太网配置

与以太网不同,IPoIB的MTU通常为65520，且不需要配置MAC地址，IB网卡的IP地址设置与以太网类似，但底层依赖子网管理器进行地址解析，在配置时，需要注意接口名称和驱动差异，对于熟悉以太网配置的用户，IPoIB的配置步骤基本一致，但不要忘记启动子网管理器。

跨子网通信问题

如果需要对跨子网通信,需要配置默认网关，网关通常是连接InfiniBand和以太网的路由器，或配置了IP转发的主机。

sudo ip route add default via 192.168.1.1 dev ib0

确保网关配置正确,并使用ping测试跨子网通信，如果ping不通，检查路由表以及网关是否支持IPoIB转发。

关于IPoIB配置的几点建议

手动配置IPoIB是InfiniBand网络管理的基础技能,掌握上述步骤能让你快速搭建高速互联环境，对于大规模部署，建议使用自动化工具如Ansible进行配置管理，但手动配置依然是最直接的调试手段，在配置过程中，注意驱动版本与内核的兼容性，以及子网管理器的稳定性。

IP over IB手动配置IP地址常见问题解答

问题1：IPoIB需要配置子网掩码吗？

需要，IPoIB是标准IP协议，IP地址必须配合子网掩码使用，以确定网络范围，子网掩码的配置方式与以太网相同，例如255.255.255.0（/24），如果不配置子网掩码，系统可能无法正确判断网络前缀，导致通信异常。

问题2：ib0接口配置了IP但无法ping通对端，原因在哪里？

首先检查物理链路：`ibstat`确认端口状态为Active，其次检查子网管理器是否运行，因为IPoIB依赖子网管理器进行广播和地址解析，然后检查IP地址是否在同一子网，以及防火墙设置，如果使用CentOS，确认NetworkManager是否接管了ib0接口，导致配置冲突，使用`nmcli dev status`查看接口状态，如果被NetworkManager管理，可以设置`nmcli dev set ib0 managed no`。

问题3：手动配置IPoIB后，重启系统丢失配置怎么办？

这是因为配置未持久化，需要按照发行版的要求将IP配置写入网络配置文件，如CentOS的ifcfg-ib0或Ubuntu的netplan YAML文件，确保`ONBOOT=yes`并重启网络服务，对于Ubuntu，执行`netplan apply`后配置即可持久化，如果使用Systemd-networkd，需要创建对应的`.network`文件。