Технология MPI применяется для разделения потока для главный о дочерние, выполняющих общую задачу. Речь идет о распределенной работе многопоточного кода на нескольких серверах. Далее привожу инструкцию по установке MPI реализации - OpenMPI - с поддержкой CUDA.

$ wget https://download.open-mpi.org/release/open-mpi/v2.1/openmpi-2.1.6.tar.gz
$ tar -xzvf openmpi-2.1.6.tar.gz
$ cd openmpi-2.1.6
$ mkdir -p /opt/openmpi/v2.1.6
$ module add cuda/v10.0
$ ./configure --prefix=/opt/openmpi/v2.1.6/ --with-cuda --enable-static
$ make
$ make install
$ cat /etc/modulefiles/openmpi/v2.1.6
#%Module1.0
proc ModulesHelp { } {
  global version
    puts stderr "Modulefile for openmpi v2.1.6"
    }
    set version v2.1.6
    module-whatis "Modulefile for openmpi v2.1.6"
    # Our environment
    setenv MAINDIR /opt/openmpi/v2.1.6
    prepend-path PATH $env(MAINDIR)/bin
    prepend-path C_INCLUDE_PATH $env(MAINDIR)/include
    prepend-path CPLUS_INCLUDE_PATH $env(MAINDIR)/include
    prepend-path LIBRARY_PATH $env(MAINDIR)/lib
    prepend-path LD_LIBRARY_PATH $env(MAINDIR)/lib
$ module add openmpi/v2.1.6
$ mpirun --version
mpirun (Open MPI) 4.0.1

1-3. Скачайте, распакуйте и перейдите в директорию с исходниками
4-8. Создайте директорию для установки и скомпилируйте OpenMPI
9-23. Создайте файл модуля по аналогии или скопируйте этот код
24. Добавьте модуль
25-26. Проверьте версию OpenMPI