上一篇
互连网络怎么看配置？互连网络配置参数详解
互连网络（Interconnection Network）的配置查看通常取决于具体的硬件架构（如 InfiniBand、RoCE、以太网交换机）以及操作系统环境，无论是高性能计算集群、数据中心还是企业级网络，查看配置的核心逻辑都围绕在物理链路状态、网络拓扑结构、IP/路由配置以及性能参数这几个维度展开。
以下将分场景详细介绍如何查看互连网络的配置。
InfiniBand (IB) 网络配置查看
InfiniBand 常见于高性能计算（HPC）和 AI 训练集群，其配置查看主要依赖 ibstat、ibv_devinfo 和 netstat 等工具。
查看网卡状态与 GUID
使用 ibstat 命令可以查看 IB 网卡的基本状态、端口状态以及全局唯一标识符（GUID）。
ibstat
关键信息解读：
- State: 显示端口状态（Active, Down, Error 等）。
- GUID: 用于唯一标识节点或端口。
查看详细设备信息
ibv_devinfo 提供了更详细的驱动层信息，包括支持的协议版本、最大传输单元（MTU）等。
ibv_devinfo
查看路由表与邻居发现
InfiniBand 使用子网管理器（SM）来管理路由，在客户端节点上，可以通过 netstat 查看 IB 接口的路由信息。
RoCE / 以太网交换机配置查看
RoCE（RDMA over Converged Ethernet）运行在以太网上，因此查看方式更接近传统以太网，但需要关注 VLAN、QoS 和 PFC（优先级流控）等配置。
查看接口状态与 IP 配置
使用标准的 Linux 网络命令查看接口是否启用、IP 地址分配情况。
ip addr show # 或者 ifconfig -a
查看交换机端口配置（以 Cisco/NVIDIA 为例）
在交换机侧,通常需要登录 CLI 查看端口配置。
| 命令 | 功能描述 |
|---|---|
| show interface status | 查看端口物理状态、速度、双工模式 |
| show running-config interface <port> | 查看特定端口的详细配置（VLAN, Trunk, QoS） |
| show lacp neighbor | 查看链路聚合组（LACP）邻居状态 |
| show pfc statistics | 查看 PFC 统计信息，确保无丢包 |
验证 RDMA 连通性
在主机端,使用 rdma link 或 ibv_rc_pingpong 测试 RDMA 连接是否正常建立。
rdma link show
通用 Linux 网络配置查看
无论底层是 IB 还是以太网，Linux 内核的网络栈配置是通用的。
查看路由表
确定数据包如何转发,检查默认网关和静态路由。
ip route show # 或者 route -n
查看 ARP 表
检查本地缓存的 MAC 地址映射，用于排查二层连通性问题。
ip neigh show
查看网络命名空间（Namespace）
在容器化环境（如 Kubernetes）中，网络配置可能隔离在特定的 Namespace 中。
ip netns list ip netns exec <namespace_name> ip addr show
网络拓扑与性能监控配置
除了静态配置,动态的拓扑和性能参数也是“配置”的一部分，特别是在大规模互连网络中。
使用拓扑发现工具
- InfiniBand: 使用 ibdiagnet 或 net-snmp 配合 SM 管理器绘制拓扑。
- 以太网: 使用 LLDP（链路层发现协议）查看邻居设备。
lldpcli show neighbors
性能计数器查看
查看网络接口的错误包、丢包数，以判断配置是否合理。
ethtool -S <interface_name> # ethtool -S eth0
配置查看归纳表
| 检查维度 | 常用命令/工具 | 关键关注点 |
|---|---|---|
| 物理链路 | ethtool <iface>, ibstat | Link Up/Down, Speed, MTU |
| IP/路由 | ip addr, ip route | IP 地址, 子网掩码, 网关 |
| RDMA 状态 | ibv_devinfo, rdma link | QP 数量, CQ 状态, 连接建立 |
| 交换机配置 | show running-config | VLAN, Trunk, QoS, PFC |
| 拓扑发现 | lldpcli, ibdiagnet | 邻居设备, 链路聚合状态 |
相关问题与解答
问题 1：在查看互连网络配置时，如果发现网卡状态为 “DOWN” 或 “Error”，应如何排查？
解答：
- 物理层检查：首先确认光纤/线缆是否插紧，光模块是否匹配（波长、距离），使用 ethtool <iface> 或 ibstat 查看物理信号状态。
- 驱动与固件：检查网卡驱动版本是否与内核兼容，固件是否为最新，有时固件 Bug 会导致端口无法激活。
- 配置冲突：检查是否存在 IP 地址冲突或 MTU 设置不一致，在 IB 网络中，确保两端 MTU 设置相同（如 4096）。
- 交换机侧：如果是 RoCE/以太网，检查交换机端口是否被 shutdown，或是否配置了错误的 VLAN。
- 日志分析：查看 /var/log/messages 或 dmesg 中的内核日志，寻找 NIC 驱动报错信息。
问题 2：如何验证 InfiniBand 或 RoCE 网络的 RDMA 连接是否真正建立并可用？
解答：
- 使用 pingpong 工具：这是最直接的验证方法，安装 infiniband-diags 或 rdma-core 包，使用 ibv_rc_pingpong 或 rdma_pingpong 工具在两个节点间发送测试消息，如果成功，说明 RDMA 连接建立且数据通路正常。
- 检查 QP 状态：使用 ibv_devinfo 查看本地 QP（Queue Pair）状态是否为 RTR（Ready to Receive）和 RTS（Ready to Send）。
- 性能测试：使用 perftest 套件中的 ib_write_bw 或 ib_read_bw 进行带宽测试，观察吞吐量是否达到预期值，同时监控 ethtool -S 中的丢包计数器。
- 应用层验证：在实际业务应用中，检查应用日志是否有 RDMA 连接超时或错误码（如 IBV_WC_LOC_LEN_ERR 等）。
