さくらの専用サーバ高火力シリーズ(NVIDIA社製GPU搭載モデル)では、GPUボード用のドライバはお客様にてご導入いただいております。
このマニュアルでは、さくらの専用サーバ高火力シリーズ(NVIDIA社製GPU搭載モデル)に対してCUDA Toolkit、およびGPUカード用ドライバーをインストールする方法を説明します。
- ディープラーニング（深層学習）などの用途でNVIDIA社製GPUボードを利用する場合、ディープラーニング用フレームワーク等のソフトウェアを導入する前に下記のNVIDIA社製ソフトウェアを導入する必要があります。
- CUDA Toolkit
- GPUボード用ドライバーソフトウェア
- 追加のライブラリ(cuDNNなど)
- CUDA ToolkitにはGPUボード用ドライバーが同梱されており、CUDA Toolkitと同時にインストールできます。
- 本ページで対象とするCUDA Toolkitのバージョンは11.5以降です。
- CUDA 10 のインストールについてはこちらのページを参照ください。
- Ubuntu 18.04 / 20.04
- CUDA Toolkit：CUDA 11.5
注意事項
- ご利用のGPUモデル、導入されている最新OSバージョン、NVIDIA社から入手されたドライバーのバージョンなどにより、実際の手順や表示内容等が、本マニュアルでご案内している内容とは異なる場合があります。
- さくらインターネットでは、GPUカードのご利用方法について、ドライバーおよび関連ソフトェアの導入を含め、
全てお客様にお任せしております。
- さくらインターネットでは、GPUカードのご利用に関するサポートを行っておりません。
さくらの専用サーバ高火力シリーズ(NVIDIA社製GPU搭載モデル)にNVIDIA社提供ソフトウェアをインストールする前の事前準備として
Linux ディストリビューションパッケージのインストールを行います。
|
パッケージのアップデート
Ubuntu 18.04 / 20.04
# apt update
# apt upgrade
|
|
ソフトウェア開発パッケージのインストール
Ubuntu 18.04 / 20.04
# apt install build-essential
|
|
DKMSのインストール
UUbuntu 18.04 / 20.04
|
noveauモジュールがロードされている環境でドライバーのインストールに失敗することがあるため、モジュールのロードを抑制します。
nouveauモジュールがロードされている環境では、lsmodコマンドに出力があります。
# lsmod |grep nouveau
nouveau 1949696 0
mxm_wmi 16384 1 nouveau
video 49152 1 nouveau
ttm 106496 2 drm_vram_helper,nouveau
drm_kms_helper 184320 2 nvidia_drm,nouveau
drm 491520 7 drm_kms_helper,drm_vram_helper,nvidia,nvidia_drm,ttm,nouveau
i2c_algo_bit 16384 2 igb,nouveau
wmi 32768 2 mxm_wmi,nouveau
|
blacklistコンフィグの作成
# sh -c "cat << EOF > /etc/modprobe.d/blacklist-nouveau.conf
blacklist nouveau
options nouveau modeset=0
EOF"
|
|
initeramfsの更新
|
|
サーバー再起動
|
CUDA Toolkitは、NVIDIA社製GPUカードを汎用的な数値計算目的で利用したい場合に必要となるソフトウェアです。CUDA Toolkitの利用には対応するドライバーのインストールが必要です。
このマニュアルでは、CUDA Toolkitに同梱されるドライバーを利用し、高火力GPUサーバーへのインストールを行います。
|
CUDA Toolkitの入手
CUDA Toolkitは、以下URLから入手します。
以下項目について選択することで、インストールに使用する.runファイルのダウンロード手順が表示されます。
選択項目
| Operating System |
Linux |
| Architecture |
x86_64 |
| Distribution / Version |
Ubuntu 18.04
Ubuntu 20.04 |
| Installer Type |
runfile [local] |
表示される.runファイルのダウンロード手順に従い取得した.runファイルを、SCPなどの手段でご利用の高火力GPUサーバーにコピーしてください。
|
|
CUDA Toolkit / ドライバーをインストールする
.runファイルからCUDA Toolkit / ドライバーをインストールする手順を示します。
1.runファイルを実行します。
# chmod +x cuda_11.5.0_495.29.05_linux.run
# ./cuda_11.5.0_495.29.05_linux.run --toolkit --samples --samplespath=/usr/local/cuda/cuda-samples --no-opengl-libs
2ライセンス(EULA)への同意確認に対し、acceptを入力します。
End User Licence Agreement
--------------------------
<中略>
Do you accept the above EULA? (accept/decline/quit):
accept
3インストールメニューが表示されるのでInstallを選択します。
CUDA Installer
- [X] Driver
[X] 495.29.05
+ [X] CUDA Toolkit 11.5
[X] CUDA Samples 11.5
[X] CUDA Demo Suite 11.5
[X] CUDA Documentation 11.5
Options
Install
4symlinkの作成についての表示がある場合、Yesを選択します。
A symlink already exists at /usr/local/cuda. Update to this installation?
5環境変数を設定するファイルを作成します。
/etc/profile.d/cuda.sh
export CUDA_HOME="/usr/local/cuda"
export PATH="$CUDA_HOME/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/lib:$CUDA_HOME/lib64:$LD_LIBRARY_PATH"
export CPATH="/usr/local/include:$CUDA_HOME/include:$CPATH"
export INCLUDE_PATH="$CUDA_HOME/include"
/etc/profile.d/cuda.csh
setenv CUDA_HOME "/usr/local/cuda"
setenv PATH "$CUDA_HOME/bin:$PATH"
setenv LD_LIBRARY_PATH "/usr/local/lib:$CUDA_HOME/lib64:$LD_LIBRARY_PATH"
setenv CPATH "/usr/local/include:$CUDA_HOME/include:$CPATH"
setenv INCLUDE_PATH "$CUDA_HOME/include"
6設定を反映するため、一度ログアウトし、再度サーバーにログインします。
|
|---|
NVIDIA社が提供するcuDNNは、ディープラーニング向けのアルゴリズムを高速化するためのライブラリです。
cuDNNの詳細およびダウンロードについては以下をご確認ください。
|
cuDNNのダウンロード
cuDNN ダウンロードページを開き、目的のバージョンのcuDNNを選択します。CUDA 11.5を利用している場合は、「 for CUDA 11.5 」と書かれたバージョンから、フレームワークが対応している cuDNN バージョンを選択します。このマニュアルでは、例として cuDNN v8.3.1 [November 22nd, 2021],for CUDA 11.5をインストールする場合の手順を説明します。
I Agree To the terms of the cuDNN Software License Agreementにチェックを入れます。
「 Download cuDNN v8.3.1 [November 22nd 2021] for CUDA 11.5 」
「 Local Installers for Windows and Linux, Ubuntu(x86_64,armsbsa) 」
「Local Installer for Linux x86_64（Tar)」のリンクからファイルをダウンロードします。
ダウンロードしたファイルは、SCPなどを用いて高火力GPUサーバーに転送します。
|
|
cuDNNのインストール
GPUサーバー上で、cuDNNをインストールします。
# tar -xvf cudnn-linux-x86_64-8.3.1.22_cuda11.5-archive.tar.xz
# cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda/include
$ cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda/lib64
$ chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*
以上でcuDNNのインストールは終了です。
cuDNNは、cuDNNに対応したディープラーニング用フレームワークから利用されます。
|
|---|
ここまでの作業が完了すると、CUDA、GPUカード用ドライバー、およびcuDNNがインストールされ、
利用可能な状態となっています。
nvidia-smiコマンドを実行し、GPUカードが正しく動作していることを確認してください。
$ nvidia-smi
Wed Dec 19 20:13:12 2018
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 410.79 Driver Version: 410.79 CUDA Version: 10.0 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 Tesla V100-PCIE... Off | 00000000:02:00.0 Off | 0 |
| N/A 36C P0 36W / 250W | 0MiB / 16130MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| No running processes found |
+-----------------------------------------------------------------------------+
ドライバーによって正しい数量のGPUカードが認識されていることをご確認ください。
NVIDIA社製ソフトウェアのインストール時にOpenGL関連ファイルをインストールすると、X Window Systemベースのデスクトップ環境への
コンソールログインに支障をきたす場合があります（ログイン画面で正しいユーザ名／パスワードを入力してもデスクトップ環境が起動しない、など）。
この問題を避けるには、NVIDIA社製ソフトウェアのインストール時に下記オプションを付加します。
CUDA Toolkit: --no-opengl-libs
./NVIDIA Driver: --no-opengl-files --no-libglx-indirect
なお、さくらの専用サーバ高火力シリーズ(NVIDIA社製GPU搭載モデル)では、IPMIコンソールを介してのデスクトップ環境利用を保証しておりません。
IPMIコンソールを介してデスクチップ環境をご利用の場合は、ご自身の責任にてお願いします。
さくらの専用サーバ高火力シリーズ(NVIDIA社製GPU搭載モデル)では、GPUボード用のドライバはお客様にてご導入いただいております。
このマニュアルでは、さくらの専用サーバ高火力シリーズ(NVIDIA社製GPU搭載モデル)に対してCUDA Toolkit、およびGPUカード用ドライバーをインストールする方法を説明します。
- ディープラーニング（深層学習）などの用途でNVIDIA社製GPUボードを利用する場合、ディープラーニング用フレームワーク等のソフトウェアを導入する前に下記のNVIDIA社製ソフトウェアを導入する必要があります。
- CUDA Toolkit
- GPUボード用ドライバーソフトウェア
- 追加のライブラリ(cuDNNなど)
- CUDA ToolkitにはGPUボード用ドライバーが同梱されており、CUDA Toolkitと同時にインストールできます。
- 本ページで対象とするCUDA Toolkitのバージョンは11.5以降です。
- CUDA 10 のインストールについてはこちらのページを参照ください。
- Ubuntu 18.04 / 20.04
- CUDA Toolkit：CUDA 11.5
注意事項
- ご利用のGPUモデル、導入されている最新OSバージョン、NVIDIA社から入手されたドライバーのバージョンなどにより、実際の手順や表示内容等が、本マニュアルでご案内している内容とは異なる場合があります。
- さくらインターネットでは、GPUカードのご利用方法について、ドライバーおよび関連ソフトェアの導入を含め、
全てお客様にお任せしております。
- さくらインターネットでは、GPUカードのご利用に関するサポートを行っておりません。
さくらの専用サーバ高火力シリーズ(NVIDIA社製GPU搭載モデル)にNVIDIA社提供ソフトウェアをインストールする前の事前準備として
Linux ディストリビューションパッケージのインストールを行います。
|
パッケージのアップデート
Ubuntu 18.04 / 20.04
# apt update
# apt upgrade
|
|
ソフトウェア開発パッケージのインストール
Ubuntu 18.04 / 20.04
# apt install build-essential
|
|
DKMSのインストール
UUbuntu 18.04 / 20.04
|
noveauモジュールがロードされている環境でドライバーのインストールに失敗することがあるため、モジュールのロードを抑制します。
nouveauモジュールがロードされている環境では、lsmodコマンドに出力があります。
# lsmod |grep nouveau
nouveau 1949696 0
mxm_wmi 16384 1 nouveau
video 49152 1 nouveau
ttm 106496 2 drm_vram_helper,nouveau
drm_kms_helper 184320 2 nvidia_drm,nouveau
drm 491520 7 drm_kms_helper,drm_vram_helper,nvidia,nvidia_drm,ttm,nouveau
i2c_algo_bit 16384 2 igb,nouveau
wmi 32768 2 mxm_wmi,nouveau
|
blacklistコンフィグの作成
# sh -c "cat << EOF > /etc/modprobe.d/blacklist-nouveau.conf
blacklist nouveau
options nouveau modeset=0
EOF"
|
|
initeramfsの更新
|
|
サーバー再起動
|
CUDA Toolkitは、NVIDIA社製GPUカードを汎用的な数値計算目的で利用したい場合に必要となるソフトウェアです。CUDA Toolkitの利用には対応するドライバーのインストールが必要です。
このマニュアルでは、CUDA Toolkitに同梱されるドライバーを利用し、高火力GPUサーバーへのインストールを行います。
|
CUDA Toolkitの入手
CUDA Toolkitは、以下URLから入手します。
以下項目について選択することで、インストールに使用する.runファイルのダウンロード手順が表示されます。
選択項目
| Operating System |
Linux |
| Architecture |
x86_64 |
| Distribution / Version |
Ubuntu 18.04
Ubuntu 20.04 |
| Installer Type |
runfile [local] |
表示される.runファイルのダウンロード手順に従い取得した.runファイルを、SCPなどの手段でご利用の高火力GPUサーバーにコピーしてください。
|
|
CUDA Toolkit / ドライバーをインストールする
.runファイルからCUDA Toolkit / ドライバーをインストールする手順を示します。
1.runファイルを実行します。
# chmod +x cuda_11.5.0_495.29.05_linux.run
# ./cuda_11.5.0_495.29.05_linux.run --toolkit --samples --samplespath=/usr/local/cuda/cuda-samples --no-opengl-libs
2ライセンス(EULA)への同意確認に対し、acceptを入力します。
End User Licence Agreement
--------------------------
<中略>
Do you accept the above EULA? (accept/decline/quit):
accept
3インストールメニューが表示されるのでInstallを選択します。
CUDA Installer
- [X] Driver
[X] 495.29.05
+ [X] CUDA Toolkit 11.5
[X] CUDA Samples 11.5
[X] CUDA Demo Suite 11.5
[X] CUDA Documentation 11.5
Options
Install
4symlinkの作成についての表示がある場合、Yesを選択します。
A symlink already exists at /usr/local/cuda. Update to this installation?
5環境変数を設定するファイルを作成します。
/etc/profile.d/cuda.sh
export CUDA_HOME="/usr/local/cuda"
export PATH="$CUDA_HOME/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/lib:$CUDA_HOME/lib64:$LD_LIBRARY_PATH"
export CPATH="/usr/local/include:$CUDA_HOME/include:$CPATH"
export INCLUDE_PATH="$CUDA_HOME/include"
/etc/profile.d/cuda.csh
setenv CUDA_HOME "/usr/local/cuda"
setenv PATH "$CUDA_HOME/bin:$PATH"
setenv LD_LIBRARY_PATH "/usr/local/lib:$CUDA_HOME/lib64:$LD_LIBRARY_PATH"
setenv CPATH "/usr/local/include:$CUDA_HOME/include:$CPATH"
setenv INCLUDE_PATH "$CUDA_HOME/include"
6設定を反映するため、一度ログアウトし、再度サーバーにログインします。
|
|---|
NVIDIA社が提供するcuDNNは、ディープラーニング向けのアルゴリズムを高速化するためのライブラリです。
cuDNNの詳細およびダウンロードについては以下をご確認ください。
|
cuDNNのダウンロード
cuDNN ダウンロードページを開き、目的のバージョンのcuDNNを選択します。CUDA 11.5を利用している場合は、「 for CUDA 11.5 」と書かれたバージョンから、フレームワークが対応している cuDNN バージョンを選択します。このマニュアルでは、例として cuDNN v8.3.1 [November 22nd, 2021],for CUDA 11.5をインストールする場合の手順を説明します。
I Agree To the terms of the cuDNN Software License Agreementにチェックを入れます。
「 Download cuDNN v8.3.1 [November 22nd 2021] for CUDA 11.5 」
「 Local Installers for Windows and Linux, Ubuntu(x86_64,armsbsa) 」
「Local Installer for Linux x86_64（Tar)」のリンクからファイルをダウンロードします。
ダウンロードしたファイルは、SCPなどを用いて高火力GPUサーバーに転送します。
|
|
cuDNNのインストール
GPUサーバー上で、cuDNNをインストールします。
# tar -xvf cudnn-linux-x86_64-8.3.1.22_cuda11.5-archive.tar.xz
# cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda/include
$ cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda/lib64
$ chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*
以上でcuDNNのインストールは終了です。
cuDNNは、cuDNNに対応したディープラーニング用フレームワークから利用されます。
|
|---|
ここまでの作業が完了すると、CUDA、GPUカード用ドライバー、およびcuDNNがインストールされ、
利用可能な状態となっています。
nvidia-smiコマンドを実行し、GPUカードが正しく動作していることを確認してください。
$ nvidia-smi
Wed Dec 19 20:13:12 2018
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 410.79 Driver Version: 410.79 CUDA Version: 10.0 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 Tesla V100-PCIE... Off | 00000000:02:00.0 Off | 0 |
| N/A 36C P0 36W / 250W | 0MiB / 16130MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| No running processes found |
+-----------------------------------------------------------------------------+
ドライバーによって正しい数量のGPUカードが認識されていることをご確認ください。
NVIDIA社製ソフトウェアのインストール時にOpenGL関連ファイルをインストールすると、X Window Systemベースのデスクトップ環境への
コンソールログインに支障をきたす場合があります（ログイン画面で正しいユーザ名／パスワードを入力してもデスクトップ環境が起動しない、など）。
この問題を避けるには、NVIDIA社製ソフトウェアのインストール時に下記オプションを付加します。
CUDA Toolkit: --no-opengl-libs
./NVIDIA Driver: --no-opengl-files --no-libglx-indirect
なお、さくらの専用サーバ高火力シリーズ(NVIDIA社製GPU搭載モデル)では、IPMIコンソールを介してのデスクトップ環境利用を保証しておりません。
IPMIコンソールを介してデスクチップ環境をご利用の場合は、ご自身の責任にてお願いします。
