---
 title: ストレージの利用
 taxonomy:
     category:
         - docs

 media_order: 'cross_mount.png,file_access.jpg,filesystem_05.png,filesystem_06.png,filesystem_07.png,filesystem_08.png'

 ---
 
 [toc]
 

 ## ホームディレクトリと大容量ストレージと高速ストレージ{#home_and_large}

 
 すべてのユーザーは、各々のホームディレクトリを利用できます。また、パーソナル、グループ、専用クラスタコースを利用の方は、大容量ストレージを利用できます。
 パーソナル、グループ、専用クラスタコースで計算に大規模なファイルを扱う場合は、大容量ストレージをご利用ください。

 データの読み書きが多いプログラムをご利用の場合は、高速ストレージをご利用いただくことで、性能が向上する可能性があります。
 

 <!--

 ! 2023年9月より、高速ストレージの試験提供を開始しました。2023年度はお試し期間とし、パーソナルコースをご利用の方は、1人あたり500GB、グループコースをご利用の方は1ノードあたり500GB分、無償でご利用いただけます。

 -->

 
 ## ホームディレクトリ{#home}
 
 ホームディレクトリのパスは、次の構成になっています。
 自身で利用するソフトウェアのインストール先としてもご利用いただけます。
 
 ![](filesystem_05.png?resize=400)
 
 - 利用可能な容量は100GBです。(User Quota)
 - 「b」の部分は利用者番号の先頭のアルファベットが入ります。
 - 週に1回程度の頻度で定期的にバックアップを取得しています。
 
 ## 大容量ストレージ（LARGE）{#large}
 
 パーソナル、グループ、専用クラスタコースでは、大容量ストレージを利用できます。
 多数のストレージドライブで構成することで高い性能を有していますので、大容量のファイルや並列計算におけるファイルアクセスは大容量ストレージをご利用ください。
 

 <!--

 ! 2022年度の試験運転中のストレージ容量の上限値は、2022年度前期の制限値を継承しています。

 -->

 
 ### パーソナルコースの場合{#personal}
 
 パーソナルコースで利用可能な大容量ストレージは、次の構成になっています。
 ![](filesystem_06.png?resize=300)
 
 - 利用可能な容量は全部で3TBになります。
 - 2つのファイルシステムに分割して構成しています。
 - 初期設定では、/LARGE1 をバックアップ領域としています。
 
 ### グループコース、専用クラスタの場合{#group}
 グループコース、専用クラスタで利用可能な大容量ストレージは次の構成になっています。グループ用のディレクトリの配下にユーザごとのディレクトリを作成するなどしてお使いください。
 ![](filesystem_07.png?resize=300)
 
 - 利用可能な容量はお申し込みの計算資源やストレージの追加容量に応じたサイズになります。
 - 2つのファイルシステムに分割して構成しています。
 - 初期設定では、/LARGE1 をバックアップ領域としています。
 
 ### バックアップ設定 {#large_backup}
 パーソナルコースの利用者本人またはグループコースのグループ管理者であれば、大容量ストレージのバックアップ設定を変更することが可能です。
 データの冗長性を重視する場合は、バックアップを有効にし、使える容量を重視する場合はバックアップを無効に設定してください。
 バックアップの頻度は、小規模な利用であれば週1回程度、数千万ファイルを持つような大規模なグループの場合は月1回程度を目標としています。
 
 設定手順は [バックアップ設定](/group#group_backup) をご覧ください。
 
 ### 前システムからの変更点 {#old_large}
 前システムでは、/LARGE0, /LARGE1, /LARGE2, /LARGE3 の4つで構成していましたが、今回のシステムでは /LARGE0, /LARGE1 の2つに変更になりました。
 /LARGE2のデータは/LARGE0 に、/LARGE3のデータは/LARGE1 に集約しておりますが、従来のパスでファイルアクセスが可能なようにシンボリックも設定しています。
 
 将来的にシンボリックリンクを削除する可能性がありますので、適宜パスの更新を行ってください。
 
 ```bash
 $ ls -ld /LARGE?
 drwxr-xr-x 201 root root 12288 Nov 18 11:46 /LARGE0
 drwxr-xr-x 202 root root 12288 Nov  7 18:17 /LARGE1
 lrwxrwxrwx   1 root root     7 Nov  8 10:30 /LARGE2 -> /LARGE0
 lrwxrwxrwx   1 root root     7 Nov  8 10:31 /LARGE3 -> /LARGE1
 ```
 

 ## 高速ストレージ（FAST）{#fast}
 パーソナル、グループ、専用クラスタコースでは、高速ストレージを利用できます。
 高速ストレージは、全てSSDで構成されているため、高いスループットを有している一方で、容量はそこまで大きくありません。
 
 高いスループットを活用して頂くためにも、データの長期的な保存用に使うのは避けていただき、演算の入出力にご活用ください。
 計算結果の保存が必要な際には、[大容量ストレージ（LARGE）](#large) に移動させる等、高速ストレージの容量と性能を活かせるよう工夫してご利用をお願いします。
 

 ! 2024年度はお試し期間として、パーソナルコースの方は1人あたり500GB、グループコースの方は1ノードあたり400GB～1000GB（タイプにより変動）、ご利用いただけます。利用可能な容量の詳細は [quota -p](#group_quota) でご確認ください。

 
 高速ストレージは次の構成になっています。
 ![](filesystem_08.png?resize=550)
 * 利用可能な容量はお申込みの計算資源や大容量ストレージの追加容量に応じたサイズになります。
 
 ### バックアップについて{#fast_backup}
 高速ストレージ（FAST）では、バックアップは取得しません。ご自身で適宜バックアップを行ってください。また、システム更新時にデータ移行の対象にはなりません。
 

 ## 使用状況の確認（quotaコマンド）{#quota_command}
 
 現在のディスク使用状況は **quota** コマンドで確認できます。
 
 - kbytes: 使用中のファイル容量（KB）
 -  quota: ファイル容量／数の制限値（ソフトリミット）
 -  limit: ファイル容量／数の絶対的制限値（ハードリミット）
 -  grace: 制限値越え（ソフトリミット超過）の許容期間
 -  files: 使用中のファイル数
 
 ### HOMEディレクトリの使用状況{#user_quota}
 ```nohighlight
 $ quota -u b59999
 Disk quotas for user b59999 (uid 59999):
   Filesystem       kbytes         quota         limit grace    files     quota     limit grace
        /home     17859980     100000000     110000000     -    69218   1000000   1100000     -
 ```
 

 ### 大容量ストレージ（LARGE）/高速ストレージ（FAST）の使用状況確認{#group_quota}

 LARGEはProject Quotaで容量を制限しています。 quota コマンドに -p オプションを指定して実行してください。
 
 ```nohighlight
 $  quota -p
 Disk quotas for project gr19999 (pid 19999):
   Filesystem       kbytes        quota        limit grace    files    quota    limit grace
      /LARGE0   2088651052   8000000000   8050000000     -    90543 16000000 16100000     -
      /LARGE1   1967559464   8000000000   8050000000     -    90544 16000000 16100000     -

      /FAST   762012   500000000   505000000     -    4544 16000000 16100000     -

 ```
 
 <!--
 ### グループコースでのファイル作成について{#group_permission}
 
 グループコースでは、大容量ディスクの使用量を、グループ所有権が当該グループ名に設定されているファイルをカウントすることで算出しています。
 一方、ユーザが作るファイルのグループ所有権は、デフォルトではユーザ名となっています。
 この状態では、グループのファイルとしてはカウントされません。
 利便性のために、この状態でも大容量ディスクにファイルを作成できますが、全ユーザに一律で容量制限(1TB)をかけております。
 
 大容量ディスクでグループ所有権がユーザ名となっているファイルの総量を確認するには、`quota -p`コマンドを使用します。
 
 ```nohighlight
 $ quota -p
 (中略)
 Disk quotas for grp b59999 (gid 59999):
   Filesystem       blocks        quota        limit grace    files    quota    limit grace
        /home      6758940            0            0     -    87549        0        0     -
      /LARGE0   1112134124   1000000000   1050000000     -     3018  1000000  1100000     -
 ```
 
 この例では、w00001ユーザについて、グループ所有権がユーザ名となっているファイルがLARGE0にどれだけ置かれているかが表示されています。
 blocksが既にquotaを超過しているため、これ以上グループ所有権がユーザ名のファイルは置けない状況です。
 -->
 
 <!---
 
 ## ファイルI/O{#file_io}
 
 ### Lustreストライピングの設定{#stripe}
 Lustreは並列のファイルシステムで、複数のディスクデバイスやI/Oサーバを論理的に束ねて、ひとつのファイルシステムを構成しています。デフォルトの状態では、ストライピングは行わない設定になっています。ストライピングの設定を行うことで、シングルプロセス―シングルファイルI/Oで、複数のディスクデバイスに分散させることで高速化できる場合があります。
 
 **ストライプ設定**
 
 ・例）st04（ファイル名）のストライピング設定変更（4WAYストライピング）
 
 ```nohighlight
 $ lfs setstripe -s 1048576 -o -1 -c 4 st04
 ```
 
 |オプション名 |説明|
 |-|-|
 |-c |ストライプ数、ストライプ幅を指定します。|
 |-o |オフセットを指定します。|
 |-s |ストライピングサイズを指定します。|
 
 **ストライプ設定表示**
 
 ・例）st04（ファイル名）のストライピング設定表示
 
 ```nohighlight
 $ lfs getstripe -v st04
 ```
 
 -->