上一篇
一般服务器的mpirun在什么路径下
一般服务器的mpirun通常位于/usr/bin、/usr/local/bin或软件安装目录的bin子目录下，具体路径取决于MPI实现、安装方式和系统发行版。这意味着你通过包管理器安装的OpenMPI大概率在/usr/bin/mpirun，而手动编译的版本则更可能出现在/usr/local/bin中，下面我带你一步步摸清这个路径问题，顺便聊聊怎么绕开那些让人头疼的坑。
不同场景下mpirun的常见藏身之处
mpirun不是一个固定的文件,它跟着MPI实现走，主流的有OpenMPI、MPICH、Intel MPI，每家习惯不太一样，加上Linux、Windows、macOS的差异，路径自然五花八门。
Linux发行版通过包管理器安装
在Ubuntu、Debian系统上，输入sudo apt install openmpi-bin后，mpirun多半会被安置在/usr/bin/mpirun，CentOS、Rocky Linux用yum install openmpi或dnf install openmpi，路径通常是/usr/lib64/openmpi/bin/mpirun，值得注意的是，CentOS系经常不会自动把MPI的bin目录加进PATH，所以直接在终端敲mpirun可能提示找不到命令，这不是没装上，而是路径没暴露，你需要找到具体位置，手动导出环境变量。
Fedora和Arch的路径大体相同,Arch用户通过pacman安装后，默认就在/usr/bin下。
手动编译安装（源码安装）
这是最容易出现路径怪异的地方,自己用源码编译OpenMPI时，如果没有指定prefix参数，默认安装到/usr/local，对应地，mpirun就躺在/usr/local/bin/mpirun，如果你养成了自定义路径的习惯，比如./configure --prefix=/opt/openmpi，那么mpirun就在/opt/openmpi/bin/mpirun下，这种情况下，你还需要留意lib目录，因为运行时会依赖/opt/openmpi/lib下的动态库。
集群环境里的模块系统
很多高性能计算集群用的是Environment Modules或Lmod，管理员会把不同版本的MPI安装到/opt/modules或/apps这类路径下，你敲module load openmpi/4.1.5之后，mpirun的路径才会动态加入PATH，这个路径具体是什么，可以通过which mpirun确认，典型的实际路径可能是/apps/openmpi/4.1.5/bin/mpirun。
容器和虚拟环境
Python的虚拟环境或Conda也会附带MPI,Conda安装的openmpi，mpirun位于~/miniconda3/envs/你的环境名/bin/mpirun，Docker镜像里则取决于基础镜像，NVIDIA官方镜像通常把MPI装在/usr/local/mpi/bin下，比如NGC的PyTorch容器里mpirun就在这个位置。
如何快速定位你服务器上的mpirun
路径问题别靠猜,直接查，优先使用以下命令组合。
第一步：使用which或type
which mpirun
这个命令最直接,输出结果就是当前shell能调用的mpirun完整路径，如果返回空，说明mpirun不在PATH里，这时候可以用type -a mpirun看看有没有alias别名干扰。
第二步：使用find全局搜索
sudo find / -name mpirun -type f 2>/dev/null
这一步能覆盖全盘,但耗时较长，在大型服务器上可能几分钟不等，也可以缩小范围，只查常见目录：
ls -l /usr/bin/mpirun /usr/local/bin/mpirun /opt/openmpi/bin/mpirun
第三步：用ldd检查依赖关系
找到路径后,你可以用ldd /usr/bin/mpirun看看它链接了哪些库，这能确认它是OpenMPI还是MPICH的实现体系，OpenMPI的库通常是libmpi.so，MPICH的库通常是libmpich.so。
为什么找到了路径但依然报错
很多人卡在这一步,mpirun就在那里，./运行说权限不够，或者调用时提示版本不匹配，这些坑值得单独说说。
路径正确但版本混用
一个服务器上可能装了多套MPI,比如系统自带了一个老版本MPICH在/usr/lib/mpich/bin，你手动编译的OpenMPI在/usr/local/bin，两个mpirun在系统里共存时，PATH的先后顺序决定了你调用的是哪一个，混用MPI实现是大忌，OpenMPI的mpirun去启动MPICH编译的程序，往往直接报错或者运行异常，业内专家指出，大多数MPI运行时的诡异问题都源自这种混用。
动态库路径找不到
mpirun本身能执行,但你编译的程序启动时提示error while loading shared libraries，这是因为libmpi.so所在的目录不在LD_LIBRARY_PATH里，解决方案是：
export LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH
如果你用module加载的MPI,通常运行module load后这个变量已经帮你配好。
防火墙和SSH免密问题
mpirun在多节点运行时依赖SSH免密登录,如果你新装了一个集群，路径都对了，但节点间通信失败，先检查~/.ssh/authorized_keys是否配置正确，这跟mpirun路径无关，但却是最常见的多节点启动失败原因。
不同MPI实现的路径差异与安装建议
为了让你脑子里有个清晰的图景,这里把主流的MPI实现路径整理成表格，方便直接对比。
| MPI实现 | 包管理器安装默认路径 | 手动编译默认路径 | 环境变量 |
|---|---|---|---|
| OpenMPI | /usr/bin/mpirun（Debian系），/usr/lib64/openmpi/bin/mpirun（RHEL系） | /usr/local/bin/mpirun | PATH, LD_LIBRARY_PATH |
| MPICH | /usr/bin/mpirun | /usr/local/bin/mpirun | PATH, LD_LIBRARY_PATH |
| Intel MPI | /opt/intel/oneapi/mpi/latest/bin/mpirun | 不适用 | source vars.sh 或 setvars.sh |
| MVAPICH2 | 通常手动安装到/opt/mvapich2 | /opt/mvapich2/bin/mpirun | PATH, LD_LIBRARY_PATH |
这里有个细节值得展开,Intel MPI在oneAPI版本后的路径变化比较大，经典的intel64目录变成了latest这种软链接方式，很多人在Intel MPI路径配置上栽过跟头，安装完成后忘记执行source /opt/intel/oneapi/setvars.sh，导致mpirun虽然存在却无法正常启动。
MVAPICH2主要面向InfiniBand网络,在高性能计算领域用的比较多，它的安装一般都要手动编译，路径不固定，如果你在集群上跑的东西对网络延迟敏感，我建议优先检查这台服务器是不是装了MVAPICH2，有时候它才是那个真正的mpirun入口。
使用update-alternatives管理路径
Debian系用户可以利用update-alternatives来处理多版本MPI共存的问题。
sudo update-alternatives --config mpi
这个命令会列出系统上所有注册过的MPI实现,你可以自由切换默认版本，相当于把路径选择交给系统统一管理，不用自己频繁改PATH。
在服务器上配置mpirun路径的实操步骤
搞清楚了路径在哪,接下来就是落地配置，我把步骤写清楚，你照着做就行。
确认当前shell和PATH
echo $PATH
先把当前PATH打印出来,看看有哪些目录，如果已经有/usr/local/bin，那手动编译的mpirun大概率能直接调用。
修改环境变量配置文件
普通用户修改~/.bashrc，root用户修改/etc/profile.d/mpi.sh（推荐新建文件）：
export PATH=/opt/openmpi/bin:$PATH export LD_LIBRARY_PATH=/opt/openmpi/lib:$LD_LIBRARY_PATH export MANPATH=/opt/openmpi/share/man:$MANPATH
保存后执行source ~/.bashrc使其生效。
验证
which mpirun && mpirun --version
看到版本信息输出,就说明路径配置成功了。
mpirun命令找不到时的常见排查思路
如果你已经安装过OpenMPI,但输入mpirun仍然提示command not found，可以按照下面的顺序排查。
- 检查是否真的安装了MPI：dpkg -l | grep openmpi或rpm -qa | grep openmpi
- 检查PATH变量里有没有包含MPI安装目录：echo $PATH | grep openmpi
- 检查是否有环境模块可用：module avail，有的话就module load openmpi
- 检查是否安装的是MPICH,而命令名可能不一样，MPICH的启动命令是mpirun或mpiexec，OpenMPI则两者都有，有些发行版打包时改了命令名，比如mpiexec.openmpi
还有一点很容易忽略,如果你用的是SLURM这类作业调度系统，提交作业时调用的mpirun路径可能和登录节点上的不一样，登录节点上路径正确，但计算节点上没配置，就会导致作业一启动就报错，这种情况要检查SLURM的prolog脚本或者作业脚本里是否显式指定了MPI的绝对路径。
Q&A：mpirun路径衍生问题速查
问：mpirun和mpiexec是同一个东西吗？
不完全是,mpirun是OpenMPI和MPICH都提供的启动命令，mpiexec则是MPI-2标准里定义的通用启动器，在大多数实现中，两者行为几乎一致，甚至在OpenMPI里mpirun是mpiexec的符号链接。
问：怎么查看mpirun对应的MPI库版本？
使用mpirun --version可以看到OpenMPI或MPICH的版本号，如果想看更详细的编译信息，可以用ompi_info（针对OpenMPI）或mpichversion（针对MPICH）。
问：服务器上装了多个MPI，怎么知道当前用的哪个？
执行which mpirun会把实际路径完整暴露出来。路径就是身份，如果你看到的是/usr/lib64/openmpi/bin/mpirun，那就是系统包管理器装的OpenMPI；如果是/usr/local/bin/mpirun，那就是编译安装的，要想切换，调整PATH的顺序或用绝对路径调用即可。
问：不同节点的mpirun路径不一致会导致什么后果？
在多节点并行计算中,mpirun会通过SSH到远程节点执行同样的启动逻辑，如果远程节点上找不到对应路径的mpirun，整个任务会在启动阶段直接失败，所以集群运维时，保持所有节点MPI安装路径一致是基本要求，这就是为什么很多集群把MPI装到共享存储的固定目录下，比如/apps或/opt，确保每个节点看到的是同一个文件。
