c – 使用支持CUDA的MPI的要求

概述我想通过支持CUDA的MPI在不同的CUDA设备之间交换数据,如 this article所述.据我所知,以下代码应该完成这项工作： #include <mpi.h>int main( int argc, char *argv[] ){ int rank; float *ptr = NULL; const size_t elements = 32; MPI_Status st 我想通过支持CUDA的MPI在不同的CUDA设备之间交换数据,如 this article所述.据我所知,以下代码应该完成这项工作：

#include <mpi.h>int main( int argc,char *argv[] ){  int rank;  float *ptr = NulL;  const size_t elements = 32;  MPI_Status status;  MPI_Init( NulL,NulL );  MPI_Comm_rank( MPI_COMM_WORLD,&rank );  cudamalloc( (voID**)&ptr,elements * sizeof(float) );  if( rank == 0 )    MPI_Send( ptr,elements,MPI_float,1,MPI_COMM_WORLD );  if( rank == 1 )    MPI_Recv( ptr,MPI_COMM_WORLD,&status );  cudaFree( ptr );  MPI_Finalize();  return 0;}

不幸的是,这个程序在两个进程上执行时崩溃了一个段错误,给出了以下消息：

*** Process received signal ***Signal: Segmentation fault (11)Signal code: Address not mapped (1)Failing at address: 0x210000[ 0] /lib64/libc.so.6[0x39d94326a0][ 1] /lib64/libc.so.6(memcpy+0xd2)[0x39d9489742][ 2] /usr/lib64/openmpi/lib/libopen-pal.so.6(opal_convertor_pack+0x18e)[0x2b750326cb1e][ 3] /usr/lib64/openmpi/lib/openmpi/mca_btl_smcuda.so(mca_btl_smcuda_sendi+0x3dc)[0x2b7507c2252c][ 4] /usr/lib64/openmpi/lib/openmpi/mca_pml_ob1.so(+0x890f)[0x2b75086ec90f][ 5] /usr/lib64/openmpi/lib/openmpi/mca_pml_ob1.so(mca_pml_ob1_send+0x499)[0x2b75086ed939][ 6] /usr/lib64/openmpi/lib/libmpi.so.1(PMPI_Send+0x1dd)[0x2b7502d3ef8d][ 7] prog(main+0x98)[0x400d51][ 8] /lib64/libc.so.6(__libc_start_main+0xfd)[0x39d941ed5d][ 9] prog[0x400be9]*** End of error message ***

我使用OpenMPI 1.8.2和nvcc 6.5;据我所知,这些版本应该支持这个功能.

所以,我的问题是：我做错了什么？我错过了一些观点吗？我非常感谢有关如何获得最小工作示例的任何提示！

解决方法 当MPI期望主机指针时,段错误几乎肯定是由于将设备指针传递给MPI.只有正确构建的CUDA感知MPI才能接受设备指针.仅仅拥有OpenMPI 1.8.2是不够的.您必须具有使用CUDA感知设置显式构建的OpenMPI版本.

对于OpenMPI,

开始here

摘录：

>如何使用支持CUDA的支持构建Open MPI？

支持CUDA意味着MPI库可以直接发送和接收GPU缓冲区.此功能存在于Open MPI 1.7系列及更高版本中.支持正在不断更新,因此不同版本中存在不同级别的支持.

Configuring Open MPI 1.7,MPI 1.7.1 and 1.7.2

--with-cuda(=DIR)       Build cuda support,optionally adding DIR/include,DIR/lib,and DIR/lib64--with-cuda-libdir=DIR  Search for cuda librarIEs in DIR

以下是启用CUDA支持的configure命令的一些示例.

>在默认位置搜索.在/usr/lib64中的/usr/local/cuda / include和libcuda.so中查找cuda.h.

./configure --with-cuda

>在/usr/lib64的默认位置搜索/usr/local/cuda-v4.0/cuda/include和libcuda.so中的cuda.h.

./configure --with-cuda=/usr/local/cuda-v4.0/cuda

>在/usr/lib64中的/usr/local/cuda-v4.0/cuda/include和libcuda.so中搜索cuda.h. (与前一个相同)

./configure --with-cuda=/usr/local/cuda-v4.0/cuda --with-cuda-libdir=/usr/lib64

如果找不到cuda.h或libcuda.so文件,则configure将中止.

注意：Open MPI 1.7.2中存在一个错误,如果使用–enable-static配置库,则会出错.要解决此错误,请将以下内容添加到配置行并重新配置.这会禁用PML BFO的构建,而PML BFO在很大程度上是未使用的. Open MPI 1.7.3中修复了此错误.

--enable-mca-no-build=pml-bfo

Configuring Open MPI 1.7.3 and later

使用Open MPI 1.7.3及更高版本,libcuda.so库是动态加载的,因此无需在配置时指定它的路径.因此,您只需要cuda.h头文件的路径.

>在默认位置搜索.在/usr/local/cuda / include中查找cuda.h.

./configure --with-cuda

>在/usr/local/cuda-v5.0/cuda/include中搜索cuda.h.

./configure --with-cuda=/usr/local/cuda-v5.0/cuda

请注意,您无法使用–disable-dlopen进行配置,因为这会破坏Open MPI库动态加载libcuda.so的能力.

看到

有关如何使用CUDA支持的详细信息,请参见this FAQ entry.

请注意,这些说明假定您对构建OpenMPI有一定的了解.仅仅运行./configure是不够的……之后有make和make安装步骤.但是上面的配置命令区分了一个支持CUDA的OpenMPI构建和普通构建.

总结

以上是内存溢出为你收集整理的c – 使用支持CUDA的MPI的要求全部内容，希望文章能够帮你解决c – 使用支持CUDA的MPI的要求所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。