@@ -169,7 +169,7 @@ You can use computing resources effectively by executing multiple programs simul

 You can execute multiple programs simultaneously as a single job by describing multiple execution commands in a shell script and executing the shell script.

 ※This method is for a sequential program or a program that is thread-parallelized by OpenMP or automatic parallelization functions.

-※It is not possible to execute multiple MPI programs simultaneously as a single job.

+※To execute multiple MPI programs simultaneously as a single job, please refer to [How to execute multiple programs simultaneously (MPMD)](#mpmd).

 An example of each script is shown below.

@@ -286,3 +286,56 @@ case $SLURM_PROCID in

 esac

 ```

+

+## How to execute multiple programs simultaneously (MPMD)

+

+** Job script to be executed by sbatch command (MPI) **

+

+※The following script is a sample to execute 3 MPI program (4 cores and 4 threads per process) that requires 4 processes concurrently.

+

+```nohighlight

+#!/bin/bash

+#============ SBATCH Directives =======

+#SBATCH -p gr19999b

+#SBATCH -t 2:0:0

+#SBATCH --rsc p=12:t=4:c=4:m=3G

+#SBATCH -o %x.%j.out

+#============ Shell Script ============

+srun --multi-prog multiprocess.conf

+```

+

+* Specify the queue with the -p option.

+* Specify the resource to be used with the --rsc option as follows.

+    * The argument p is the number of processes to be used.

+         * Specify the number of programs you want to execute concurrently.(If you want to execute 3 MPI programs that use 4 processes concurrently, specify 12 from 4 x 3)

+    * The argument c is the number of cores to be used per process (program) .

+         * The program is a 4-thread execution, so specify 4.

+    * The argument t is the number of threads to be used per process (program) used.

+         * The program is a 4-thread execution, so specify 4.

+    * The argument m is the amount of memory per process (program) to be used.

+* The srun command is specified with the following options.

+    * In the multi-prog, enter the path to the configuration file (multiprocess.conf) describing the execution of the MPI program to be created below. 

+

+** configuration file(multiprocess.conf) **

+

+```nohighlight

+## Execute as a 4-process MPI program

+0-3  ./aaa.out

+4-7  ./bbb.out

+8-11 ./ccc.out

+```

+

+* In the first column, enter the range of process ID used by the MPI program. (Note that process ID must begin with zero.)

+* In the second column, enter the path (absolute path or relative path) of the MPI program to be executed with the process ID specified in the first column.

+

+The number of processes used can be changed for each MPI program.

+For example, if you want the program a1.out to use 4 processes and a2.out to use 8 processes,

+you can create the following configuration file.

+However, the number of cores, threads, and memory per process are automatically set to the values specified by the --rsc option, so they cannot be customized for each MPI program.

+

+```nohighlight

+## Execute as a 4-process MPI program

+0-3  ./aaa.out

+## Execute as a 8-process MPI program

+4-11 ./bbb.out

+```

@@ -176,8 +176,9 @@ srun ./a.out ${SLURM_ARRAY_TASK_ID}.data

 1つのジョブの中で、複数のプログラムを同時に実行させることによって、計算資源を有効に利用することができます。

 複数のプログラムを1つのジョブとして同時に実行させるためには、シェルスクリプト中に複数の実行コマンドを記載し、そのシェルスクリプトを実行するようにします。

-※本手法の対象は、逐次プログラムもしくはOpenMPや自動並列化機能でスレッド並列化したプログラムです。

-※複数のMPIプログラムを1つのジョブとして同時に実行させることはできません。

+※本手法の対象は、逐次プログラムもしくはOpenMPや自動並列化機能でスレッド並列化したプログラムです。<br>

+※複数のMPIプログラムを1つのジョブとして同時に実行する場合は、[複数のプログラムを同時に実行する方法(MPMD)](#mpmd)を

+ご参照下さい。

 各スクリプトの例を以下に記します。

@@ -294,3 +295,63 @@ case $SLURM_PROCID in

 esac

 ```

+

+## 複数のプログラムを同時に実行する方法(MPMD){#mpmd}

+

+** sbatchコマンドで実行するジョブスクリプト(MPI) **

+

+※下記のスクリプトは、4プロセスを必要とするMPIプログラム(1プロセスあたり4コア、4スレッド)を

+3つ同時に実行する場合のサンプルです。

+

+```nohighlight

+#!/bin/bash

+#============ SBATCH Directives =======

+#SBATCH -p gr19999b

+#SBATCH -t 2:0:0

+#SBATCH --rsc p=12:t=4:c=4:m=3G

+#SBATCH -o %x.%j.out

+#============ Shell Script ============

+srun --multi-prog ./multiprocess.conf

+```

+

+* キューを -p オプションで指定します。

+* 使用するリソースを --rsc オプションで下記の通り指定します。

+    * 引数pには使用するプロセス数。

+         * 同時に実行したいプロセス数の合計(4プロセスを使用するMPIプログラムを3つ同時に実行したい場合は、4×3から12を指定)

+    * 引数cには利用するプロセス（プログラム）あたりに使用するコア数。

+         * プログラムは４スレッド実行ですので、4を指定します。

+    * 引数tには利用するプロセス（プログラム）あたりに使用するスレッド数。

+         * プログラムは4スレッド実行ですので、4を指定します。

+    * 引数mには利用するメモリのプロセス（プログラム）辺りの容量。

+* srunコマンドには以下のオプションを指定します。

+<!--

+    * -n には同時に実行したいプロセス数の合計を記載。$SLURM_DPC_NPROCSという環境変数を記載することで --rscオプションで指定したプロセス数を読み出すことができますので、基本的には変更不要。

+    * -c には利用するプロセス(プログラム)あたりに使用するコア数を記載。$SLURM_DPC_CPUSという環境変数を記載することで --rscオプションで指定したコア数を読み出すことができますので、基本的には変更不要。

+-->

+    * --multi-prog には以下で作成するMPIプログラムの実行に関する内容を記述した設定ファイル(multiprocess.conf)へのパスを記載。

+

+

+** 設定ファイル(multiprocess.conf) **

+

+```nohighlight

+## 4プロセスを使用してMPIプログラムを実行

+0-3  ./aaa.out 

+4-7  ./bbb.out

+8-11 ./ccc.out

+```

+

+* 1列目には、MPIプログラムが使用するプロセスIDのレンジを記載して下さい。(プロセスIDは、0始まりであることに注意)

+* 2列目には、1列目で指定したプロセスIDで実行するMPIプログラムのパス(絶対パス、相対パスの何れにも対応)を記載して下さい。

+

+なお、使用するプロセス数はMPIプログラムごとに変更することができます。

+例えば、a1.outというプログラムでは4プロセスを使用し、a2.outというプログラムでは8プロセスを使用したいと

+いった場合は、以下のような設定ファイルを作成することで実現することが可能です。

+ただし、1プロセスあたりのコア数、スレッド数、メモリ量については、--rscオプションで指定した値が自動的に

+設定されるため、MPIプログラムごとにカスタマイズをすることはできません。

+

+```nohighlight

+## 4プロセスを使用してMPIプログラムを実行

+0-3  ./aaa.out

+## 8プロセスを使用してMPIプログラムを実行

+4-11 ./bbb.out

+```

@@ -88,35 +88,35 @@ Intel MPI のコンパイラでは、 [Intelコンパイラのオプション](/

     -static_mpi |  MPIライブラリを静的にリンクします。

 -->

-### 実行{#exec}

+### 実行方法{#exec}

-コンパイルしたMPIプログラムを実行するためには、 会話型処理では **tssrun** コマンドを、バッチ処理では **srun** コマンドを使用します。会話型実行、バッチ実行ともに、並列数は --rsc オプションの引数 p で指定します。詳細は、 [サンプル](#sample) をご覧ください。

+コンパイルしたMPIプログラムを実行するためには、 会話型処理またはバッチ処理を利用し、計算ノード上でプログラムを起動する必要があります。

+詳細は、 [プログラム実行例](#sample) をご覧ください。

-**実行例（会話型）**

-```nohighlight

-$ tssrun --rsc p=2 ./a.out

-```

-## サンプル{#sample}

-### 会話型でのMPIプログラム実行{#tss}

-会話型実行の詳細については、 [会話型処理](/run/interactive) のページをご覧ください。

+## プログラム実行例{#sample}

+

+### 会話型処理の実行例{#tss}

+会話型処理は ** tssrun ** コマンドを使用することで簡易に実行可能です。--rsc オプションにより、確保するリソース量を調整することが可能です。

+tssrunコマンドの詳細については、 [会話型処理](/run/interactive) のページをご覧ください。

-* **8並列で実行**

+** MPIプログラムを8プロセスで実行する場合 **

 ```nohighlight

 $ tssrun --rsc p=8 ./a.out

 ```

-* **スレッド並列と組み合わせて実行（MPI 4並列、OpenMP 8並列）**

+** ハイブリッド並列の場合（MPI 4プロセス、OpenMP 8スレッド） **

 ```nohighlight

 $ tssrun --rsc p=4:t=8:c=8 ./a.out

 ```

-### バッチでのMPIプログラム実行{#slurm}

-バッチ実行の詳細については、 [バッチ処理](/run/batch) のページをご覧ください。

+### バッチ処理の実行例{#slurm}

+バッチ処理は、Slurmのオプションと処理内容を記載したジョブスクリプトを用意し、sbatchコマンドで処理を依頼する必要があります。

+以下に例を示しますが、オプション等の詳細については、 [バッチ処理](/run/batch) のページをご覧ください。

-* **8並列で実行**

+** MPIプログラムを8プロセスで実行する場合**

 ```nohighlight

 $ cat sample.sh

@@ -132,7 +132,7 @@ srun ./a.out

 $ sbatch sample.sh

 ```

-* **スレッド並列と組み合わせて実行（MPI 4並列、OpenMP 8並列）**

+** ハイブリッド並列の場合（MPI 4プロセス、OpenMP 8スレッド） **

 ```nohighlight

 $ cat sample.sh

@@ -44,19 +44,85 @@ astunparse                   1.6.3

 | Python    | 対象システム| 種別   | パッケージ  |  バージョン | ライブラリ | モジュールファイル                       | 補足事項

 |---        |---          |---     | ---         | ---         | ---        | ---                                      | ---

-| python3.8 | A/B/C         | CPU    | TensorFlow  |  2.11.0     | MKL 2022.3 | tensorflow/2.11.0.py38_intel-2022.3      | Intel Optimized AVX512版

-| python3.8 | A/B/C         | CPU    | MXNet       |  1.6.0      | MKL 2022.3 | mxnet/1.6.0.py38_intel-2022.3            | MKL対応版

-| python3.8 | A/B/C         | CPU    | PyTorch     |  2.0.1     | MKL 2022.3 | pytorch/2.0.1.py38_intel-2022.3        | intel extension for pytorch あり

-| python3.8 | A/B/C         | CPU    | PyTorch     |  1.13.1     | MKL 2022.3 | pytorch/1.13.1.py38_intel-2022.3         | intel extension for pytorch あり

+| python3.8 | A/B/C       | CPU    | TensorFlow  |  2.11.0     | MKL 2022.3 | tensorflow/2.11.0.py38_intel-2022.3      | Intel Optimized AVX512版

+| python3.8 | A/B/C       | CPU    | MXNet       |  1.6.0      | MKL 2022.3 | mxnet/1.6.0.py38_intel-2022.3            | MKL対応版

+| python3.8 | A/B/C       | CPU    | PyTorch     |  2.0.1      | MKL 2022.3 | pytorch/2.0.1.py38_intel-2022.3          | intel extension for pytorch,  Intel oneCCL Bindings for Pytorch

+| python3.8 | A/B/C       | CPU    | PyTorch     |  1.13.1     | MKL 2022.3 | pytorch/1.13.1.py38_intel-2022.3         | intel extension for pytorch,  Intel oneCCL Bindings for Pytorch

 | python3.8 | G           | GPU    | TensorFlow  |  2.11.0     | CUDA 11.2  | tensorflow/2.11.0.py38_cuda-11.2         | GPU版 TensorRT利用可

 | python3.8 | G           | GPU    | MXNet       |  1.9.1      | CUDA 11.7  | mxnet/1.9.1.py38_cuda-11.7               | GPU版

 | python3.8 | G           | GPU    | PyTorch     |  1.13.1     | CUDA 11.7  | pytorch/1.13.1.py38_cuda-11.7            | GPU版

-#### Intel Extension for PyTorch

+#### Intel Extension for PyTorch の参考資料

 * [Documentation](https://intel.github.io/intel-extension-for-pytorch/cpu/latest/index.html)

 * [Examples](https://intel.github.io/intel-extension-for-pytorch/cpu/latest/tutorials/examples.html)

+#### システムA/B/C 向けの pytorch に関する補足

+

+システムA/B/C 向けの pytorch は、Intel Extension for Pytorch は Intel oneCCL Bindings for Pytorch を利用します。

+以下にサンプルプログラムと、ジョブスクリプトを例を記載していますので、参考にしてください。

+各ソフトウェアの使い方の詳細は公式マニュアルをご参照ください。

+

+##### サンプルプログラム

+

+```python

+#!/usr/bin/python3.8

+

+# Reference source

+# https://github.com/intel/torch-ccl#usage

+

+import os

+import torch.nn.parallel

+import torch.distributed as dist

+import oneccl_bindings_for_pytorch

+import intel_extension_for_pytorch

+

+os.environ['MASTER_ADDR'] = str(os.environ.get('TORCH_MASTER_ADDR', '127.0.0.1'))

+os.environ['MASTER_PORT'] = str(os.environ.get('TORCH_MASTER_PORT', '29500'))

+os.environ['RANK'] = str(os.environ.get('PMI_RANK', 0))

+os.environ['WORLD_SIZE'] = str(os.environ.get('PMI_SIZE', 1))

+

+backend = 'ccl'

+dist.init_process_group(backend)

+my_rank = dist.get_rank()

+my_size = dist.get_world_size()

+print("my rank = %d  my size = %d" % (my_rank, my_size))

+

+x = torch.ones([2, 2])

+y = torch.ones([4, 4])

+with torch.autograd.profiler.profile(record_shapes=True) as prof:

+    for _ in range(10):

+        dist.all_reduce(x)

+        dist.all_reduce(y)

+dist.barrier()

+print(prof.key_averages(group_by_input_shape=True).table(sort_by="self_cpu_time_total"))

+```

+

+##### ジョブスクリプト

+

+```bash

+#!/bin/bash

+#============ SBATCH Directives =======

+#SBATCH -p gr10001b

+#SBATCH -t 1:0:0

+#SBATCH --rsc p=4:t=1:c=1

+#SBATCH -o %x.%A.out

+

+#============ Shell Script ============

+

+. /usr/share/Modules/init/bash

+module load pytorch/2.0.1.py38_intel-2022.3

+module list

+

+set -x

+

+export CCL_WORKER_COUNT=${OMP_NUM_THREADS}

+export CCL_WORKER_AFFINITY=$(numactl -s |grep physcpubind: | sed -e 's/physcpubind: //'  -e 's/ *$//' -e 's/ /,/g')

+export TORCH_MASTER_ADDR=${SLURMD_NODENAME}-ib0

+

+srun python3.8 -u profiling.py

+```

+

 ## ANACONDA DISTRIBUTION

 Pythonのパッケージ群が利用可能なANACONDA DISTRIBUTION をインストールしています。

@@ -221,13 +221,10 @@ $ tssrun ansys222 [options] -i input-file > output-file

 バッチジョブで実行するためには、バッチファイルを用意する必要があります。  

 スクリプト内でコマンドラインで実行するのと同様にコマンドを記述し、sbatch コマンドでジョブを投入します。

-ansysの実行コマンドは、コマンドの内部で mpiexec を自動で呼び出すので、srun コマンドは不要です。

-

-

 #### ジョブスクリプトの例1: SMP

 ```nohighlight

 #!/bin/bash

-#============ LSF Options ============

+#============ Slurm Options ============

 #SBATCH -q gr19999b

 #SBATCH -t 1:00:00

 #SBATCH --rsc p=1:t=4:c=4

@@ -235,13 +232,14 @@ ansysの実行コマンドは、コマンドの内部で mpiexec を自動で呼

 module load ansysmcfd/2022R2

 ansys222 -j test_${SLURM_JOBID} -b -smp -np ${SLURM_DPC_THREADS} -i test.dat

 ```

+※ ANSYSの実行コマンドは、コマンドの内部で mpiexec を自動で呼び出すので、srun コマンドは不要です。<br>

 ※ ANSYSのバージョンにより実行コマンド名の語尾(バージョン番号)が異なります。

 #### ジョブスクリプトの例2: MPI

 ```nohighlight

 #!/bin/bash

-#============ LSF Options ============

+#============ Slurm Options ============

 #SBATCH -q gr19999b

 #SBATCH -t 1:00:00

 #SBATCH --rsc p=4:t=1:c=1

@@ -249,10 +247,22 @@ ansys222 -j test_${SLURM_JOBID} -b -smp -np ${SLURM_DPC_THREADS} -i test.dat

 module load ansys

 ansys222 -j test_${SLURM_JOBID} -b -dis -np ${SLURM_DPC_NPROCS} -i test.dat

 ```

+※ ANSYSの実行コマンドは、コマンドの内部で mpiexec を自動で呼び出すので、srun コマンドは不要です。<br>

 ※ ANSYSのバージョンにより実行コマンド名の語尾(バージョン番号)が異なります。

+#### ジョブスクリプトの例3: ANSYS Fluent

+処理リスト化したファイル(journal.jou)を用意し、3dの倍精度ソルバーで解析を実行する例です。

+```nohighlight

+#!/bin/bash

+#============ Slurm Options ============

+#SBATCH -q gr19999b

+#SBATCH -t 1:00:00

+#SBATCH --rsc p=1:t=4:c=4

+#============ Shell Script ============

+module load ansysmcfd/2022R2

-

+srun fluent -g 3ddp -i journal.jou

+```

 ## 参考資料{#references}