Графические ускорители от компании NVIDIA, совместимые с CUDA, обладают высоким потенциалом для распараллеливания однопоточного кода. Этот эффект достигается за счет огромного, по меркам многоядерных архитектур вычислительных устройств, количества ядер. Далее привожу инструкцию по установке CUDA.

$ wget https://developer.download.nvidia.com/cuda_9.2.148_396.37_linux.run
$ chmod +x cuda_9.2.148_396.37_linux.run
$ ./cuda_9.2.148_396.37_linux.run
Do you accept the previously read EULA? accept
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 396.37? no
Install the CUDA 9.2 Toolkit? yes
Enter Toolkit Location: /opt/cuda/v9.2
Do you want to install a symbolic link at /usr/local/cuda? no
Install the CUDA 9.2 Samples? no
$ cat /etc/modulefiles/cuda/v9.2
#%Module1.0
proc ModulesHelp { } {
  global version
    puts stderr "Modulefile for cuda v9.2"
    }
    set version v9.2
    module-whatis "Modulefile for cuda v9.2"
    # Our environment
    setenv MAINDIR /opt/cuda/v9.2
    prepend-path PATH $env(MAINDIR)/bin
    prepend-path C_INCLUDE_PATH $env(MAINDIR)/include
    prepend-path CPLUS_INCLUDE_PATH $env(MAINDIR)/include
    prepend-path LIBRARY_PATH $env(MAINDIR)/lib64/stubs
    prepend-path LIBRARY_PATH $env(MAINDIR)/lib64
    prepend-path LD_LIBRARY_PATH $env(MAINDIR)/lib64/stubs
    prepend-path LD_LIBRARY_PATH $env(MAINDIR)/lib64
$ module add cuda/v9.2
$ nvcc --version
Cuda compilation tools, release 9.2, V9.2.148

1. Скачайте CUDA с официального сайта NVIDIA
2-3. Дайте скаченному файлу бит +x (executable) и запустите его
4. Внимательно прочитайте лицензионное соглашение и примите его условие, если вас все устраивает
5. Если драйвер уже установлен, то этот можно не ставить. Внимательно проверьте совместимость версий
6. Обязательно
7. Укажите путь для установки CUDA
8. Соглашайтесь, если это основная версия CUDA на сервере
9. Мне сэмплы ни разу не пригодились
10. Создайте файл модуля по аналогии или скопируйте этот код
27. Добавьте модуль
28. Проверьте версию CUDA