前システムからの移行

2022年度に更新されたシステムへ、それ以前のシステムから移行する方向けの情報です。

ホスト名（ラウンドロビン）およびログイン方法は、前システムから変更はありません。 なお、ログインノードへラウンドロビンを経由せず直接ログインする場合は、個別のホスト名が変更となっておりますのでシステムへの接続方法を参照してください。

下記のようなメッセージが出て接続できない場合は、known_hosts情報を削除する必要があります。

@@@  WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!   @@@
IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!
Someone could be eavesdropping on you right now (man-in-the-middle attack)!
It is also possible that a host key has just been changed.
The fingerprint for the RSA key sent by the remote host is
c0:30:d6:93:b2:d8:06:4a:6f:9c:d5:00:cc:c5:69:58.
Please contact your system administrator.
Add correct host key in /home/xxx/.ssh/known_hosts to get rid of this
message.
Offending RSA key in /home/xxx/.ssh/known_hosts:3
RSA host key for laurel.kudpc.kyoto-u.ac.jp has changed and you have
requested strict checking.
Host key verification failed.

known_host情報の削除は下記のいずれかの手順で行います。

  • ssh-keygenコマンドを使う
    (例) laurel の known_hosts を削除する 
    $ ssh-keygen -R laurel.kudpc.kyoto-u.ac.jp
  • known_hostファイルを直接編集する
    1. エディタなどで%homepath%\.ssh\known_hosts(Windows)、/Users/(ユーザ名)/.ssh/known_hosts(Mac、Linux)ファイルを開きます
    2. 中身を消去して保存します

  1. MobaXtermを終了します。
  2. エディタなどで%appdata%\MobaXterm\MobaXterm.iniを開きます
  3. [SSH_Hostkeys] の該当のホストの情報を削除します。 
    ssh-ed25519@22:laurel.kudpc.kyoto-u.ac.jp=0xd152edcd(以下略)
  4. MobaXtermを起動します。

前システムからモジュールの構成やアプリケーションの配置場所、環境変数などが変更となっています。前システムで.bashrcをカスタマイズしてご利用いただいていた方は、必要に応じて.bashrcの修正をお願いします。
また、以下のように /etc/skel/.bashrc を ホームディレクトリにコピーすることで、.bashrcを初期化することができます。
なお、ログインができない状態の場合は、お問合せフォームよりその旨お知らせいただけましたら、管理者権限でシェルの設定ファイルを初期化いたします。

  • ホームディレクトリに/etc/skel/.bashrcをコピーする場合 
    $ cp /etc/skel/.bashrc $HOME

現システムより、SSHの公開鍵を利用者ポータルで一括して管理する運用に変更しました。これに伴い、ホームディレクトリ（$HOME）の.sshディレクトリは$HOME/DOTFILES_20221108/ 以下に移動しました。不要であれば削除してください。

前システムに保存されていたユーザーデータは、全て自動で移行されています。

/LARGE2は/LARGE0に、/LARGE3は/LARGE1に集約されました。/LARGE2は/LARGE0へ、/LARGE3は/LARGE1へリンクを貼り、従来のパスでアクセスできるように設定しますが、将来的に設定は削除しますので、パスの更新を行ってください。

また、大容量ストレージのquota管理がGroup QuotaからProject Quotaに変更になりました。 これに伴い、容量管理はファイルが所属するグループではなく、大容量ストレージの グループのパス単位で行われます。

新システムのファイルシステム構成の詳細については、 ファイルシステムの利用 をご覧ください。

PCへのファイル転送中の中断などが起きにくいよう配慮し、各システムのログインノードのCPU時間とメモリ量を拡張しています。

システム CPU時間(標準) CPU時間(最大) メモリ量(標準)
前システム 4時間 24時間 8GB
新システム 4時間 24時間 16GB

OSがCLE/RHEL 7からRHEL 8に変更になります。

コンパイラは、Intel、NVIDIA HPC SDK、GNUを提供します。Crayコンパイラは提供されなくなります。

ジョブスケジューラがPBSからSlurmに変更になります。

動作 PBS Slurm
ジョブを投入するキューを指定する -q QUEUENAME -p QUEUENAME
ジョブの実行グループを指定する -ug GROUPNAME 不要になりました
経過時間上限値を指定する -W HOUR : MIN -t HOUR:MIN
・ プロセス数を指定する
・ プロセスあたりスレッド数を指定する
・ プロセスあたりCPUコア数を指定する
・ プロセスあたりメモリサイズを指定する		 -A p=X:t=X:c=X:m=X --rsc p=X:t=X:c=X:m=X
標準出力ファイル名を指定する -o FILENAME 変更なし
標準エラー出力ファイル名を指定する -e FILENAME 変更なし
標準出力・エラー出力をまとめる -j oe(標準出力に出力) / eo(標準エラーに出力) 変更なし　
メール送信 -m a(ジョブ中断時) / b(開始時) / e(終了時) --mail-type=BEGIN(開始時)/END(終了時)/FAIL(ジョブ中断時)/REQUEUE(再実行時)/ALL(全て)
メールアドレスを指定する -M MAILADDR --mail-user=MAILADDR
障害発生時のジョブ再実行の禁止を指定 -r n --no-requeue

動作 PBS Slurm
ジョブを投入できるキューを確認する qstat -q spartition
ジョブをキューに投入する qsub sbatch
ジョブの状態を確認する qstat squeue
投入したジョブをキャンセルする qdel scancel
ジョブの詳細情報を確認する qs sacct -l

内容 PBS Slurm
ジョブID QSUB_JOBID SLURM_JOBID
ジョブを投入したキューの名称 QSUB_QUEUE SLURM_JOB_PARTITION
ジョブを投入したカレントディレクトリ QSUB_WORKDIR SLURM_SUBMIT_DIR
ジョブ実行時の割当プロセス数 QSUB_PROCS SLURM_DPC_NPROCS
ジョブ実行時のプロセスあたりの割当スレッド数 QSUB_THREADS SLURM_DPC_THREADS
ジョブ実行時のプロセスあたりの割当CPUコア数 QSUB_CPUS SLURM_DPC_CPUS
ジョブ実行時のプロセスあたりの割当メモリ量上限値 QSUB_MEMORY ー
ジョブ実行時のノード当たり配置プロセス数 QSUB_PPN ー

pbs2slurm コマンドを利用することで、PBSの環境で使用していたジョブスクリプトのコマンドやオプションをSlurm向けに変換することができます。

pbs2slurm input_script [output_script]

[b59999@camphor1 script]$ cat pbs.sh
#!/bin/bash
#======Option========
#QSUB -q gr19999b
#QSUB -A p=1:t=1:c=1:m=1G
#QSUB -W 12:00
#QSUB -r n
#QSUB -M kyodai.taro.1a@kyoto-u.ac.jp
#QSUB -m be
#====Shell Script====
mpiexec.hydra ./a.out

[b59999@camphor1 script]$ pbs2slurm pbs.sh slurm.sh

[b59999@camphor1 script]$ cat slurm.sh
#!/bin/bash
#======Option========
#SBATCH -p gr19999b
#SBATCH --rsc p=1:t=1:c=1:m=1G
#SBATCH -t 12:00
#SBATCH --no-requeue
#SBATCH --mail-user=kyodai.taro.1a@kyoto-u.ac.jp
#SBATCH --mail-type=BEGIN,END
#====Shell Script====
srun ./a.out

pbs2slurmコマンドでは、以下のオプションの変換に対応しています。 以下に含まれていないオプションについては、個別に修正をお願いします。

変換前 変換後 内容
#QSUB -q #SBATCH -p キューの指定
#QSUB -A #SBATCH --rsc リソースの指定
#QSUB -W #SBATCH -t 経過時間の指定
#QSUB -N #SBATCH -J ジョブ名の指定
#QSUB -o #SBATCH -o 標準出力の書き出し先の指定
#QSUB -e #SBATCH -e 標準エラー出力の書き出し先の指定
#QSUB -m #SBATCH --mail-type メールの送信タイミングの指定
#QSUB -M #SBATCH --mail-user メールの送信先の指定
#QSUB -r n #SBATCH --no-requeue ジョブの再実行禁止
#QSUB -J #SBATCH -a アレイジョブの指定
mpiexec srun MPIの実行(オプションがある場合は手動で削除が必要です)
mpiexec.hydra srun MPIの実行(オプションがある場合は手動で削除が必要です)