ストレージの利用 | スパコンマニュアル

English Show Source

ストレージの利用

すべてのユーザーは、各々のホームディレクトリを利用できます。また、パーソナル、グループ、専用クラスタコースを利用の方は、大容量ストレージを利用できます。パーソナル、グループ、専用クラスタコースで計算に大規模なファイルを扱う場合は、大容量ストレージをご利用ください。データの読み書きが多いプログラムをご利用の場合は、高速ストレージをご利用いただくことで、性能が向上する可能性があります。

ホームディレクトリのパスは、次の構成になっています。自身で利用するソフトウェアのインストール先としてもご利用いただけます。

利用可能な容量は100GBです。(User Quota)
「b」の部分は利用者番号の先頭のアルファベットが入ります。
週に1回程度の頻度で定期的にバックアップを取得しています。

パーソナル、グループ、専用クラスタコースでは、大容量ストレージを利用できます。多数のストレージドライブで構成することで高い性能を有していますので、大容量のファイルや並列計算におけるファイルアクセスは大容量ストレージをご利用ください。

パーソナルコースで利用可能な大容量ストレージは、次の構成になっています。

利用可能な容量は全部で3TBになります。
2つのファイルシステムに分割して構成しています。
初期設定では、/LARGE1 をバックアップ領域としています。

グループコース、専用クラスタで利用可能な大容量ストレージは次の構成になっています。グループ用のディレクトリの配下にユーザごとのディレクトリを作成するなどしてお使いください。

利用可能な容量はお申し込みの計算資源やストレージの追加容量に応じたサイズになります。
2つのファイルシステムに分割して構成しています。
初期設定では、/LARGE1 をバックアップ領域としています。

パーソナルコースの利用者本人またはグループコースのグループ管理者であれば、大容量ストレージのバックアップ設定を変更することが可能です。データの冗長性を重視する場合は、バックアップを有効にし、使える容量を重視する場合はバックアップを無効に設定してください。バックアップの頻度は、小規模な利用であれば週1回程度、数千万ファイルを持つような大規模なグループの場合は月1回程度を目標としています。

設定手順はバックアップ設定をご覧ください。

前システムでは、/LARGE0, /LARGE1, /LARGE2, /LARGE3 の4つで構成していましたが、今回のシステムでは /LARGE0, /LARGE1 の2つに変更になりました。 /LARGE2のデータは/LARGE0 に、/LARGE3のデータは/LARGE1 に集約しておりますが、従来のパスでファイルアクセスが可能なようにシンボリックも設定しています。

将来的にシンボリックリンクを削除する可能性がありますので、適宜パスの更新を行ってください。

$ ls -ld /LARGE?
drwxr-xr-x 201 root root 12288 Nov 18 11:46 /LARGE0
drwxr-xr-x 202 root root 12288 Nov  7 18:17 /LARGE1
lrwxrwxrwx   1 root root     7 Nov  8 10:30 /LARGE2 -> /LARGE0
lrwxrwxrwx   1 root root     7 Nov  8 10:31 /LARGE3 -> /LARGE1

パーソナル、グループ、専用クラスタコースでは、高速ストレージを利用できます。高速ストレージは、全てSSDで構成されているため、高いスループットを有している一方で、容量はそこまで大きくありません。

高いスループットを活用して頂くためにも、データの長期的な保存用に使うのは避けていただき、演算の入出力にご活用ください。計算結果の保存が必要な際には、大容量ストレージ（LARGE）に移動させる等、高速ストレージの容量と性能を活かせるよう工夫してご利用をお願いします。

2024年度はお試し期間として、パーソナルコースの方は1人あたり500GB、グループコースの方は1ノードあたり400GB～1000GB（タイプにより変動）、ご利用いただけます。利用可能な容量の詳細は quota -p でご確認ください。

高速ストレージは次の構成になっています。

利用可能な容量はお申込みの計算資源や大容量ストレージの追加容量に応じたサイズになります。

高速ストレージ（FAST）では、バックアップは取得しません。ご自身で適宜バックアップを行ってください。また、システム更新時にデータ移行の対象にはなりません。

現在のディスク使用状況は quota コマンドで確認できます。

kbytes: 使用中のファイル容量（KB）
quota: ファイル容量／数の制限値（ソフトリミット）
limit: ファイル容量／数の絶対的制限値（ハードリミット）
grace: 制限値越え（ソフトリミット超過）の許容期間
files: 使用中のファイル数

$ quota -u b59999
Disk quotas for user b59999 (uid 59999):
  Filesystem       kbytes         quota         limit grace    files     quota     limit grace
       /home     17859980     100000000     110000000     -    69218   1000000   1100000     -

LARGEはProject Quotaで容量を制限しています。 quota コマンドに -p オプションを指定して実行してください。

$  quota -p
Disk quotas for project gr19999 (pid 19999):
  Filesystem       kbytes        quota        limit grace    files    quota    limit grace
     /LARGE0   2088651052   8000000000   8050000000     -    90543 16000000 16100000     -
     /LARGE1   1967559464   8000000000   8050000000     -    90544 16000000 16100000     -
     /FAST   762012   500000000   505000000     -    4544 16000000 16100000     -