--- title: ネットワークストレージサービス published: true taxonomy: category: - docs external_links: process: true no_follow: true target: _blank mode: active media_order: 'portal_afterlogin.png,WinSCP_FTPinit.png,Cyberduck_FTPinit.png,generate_passwd.png,request_passwd.png,Cyberduck_S3Connect.png' --- [toc] ## 概要 2022年5月より、研究データの保存環境ならびにデータ収集基盤の拡充を目的として、ネットワークストレージサービスの試行を開始しました。 [利用者ポータル](https://web.kudpc.kyoto-u.ac.jp/portal) から利用開始処理を行っていただくことでご利用いただけます。 試行期間中は、予告なくメンテナンスの実施ならびにサービス内容の見直しを行うことがありますので、予めご了承ください。 ### 活用例 * [学認RDM](https://rdm.nii.ac.jp/)とのストレージ連携による研究データ共有 * IoT機器などのデータ収集 * スパコンストレージのバックアップ ## システム構成 スーパーコンピュータシステムとは独立したネットワークに接続した小規模なネットワークストレージクラスタです。 項目 | 内容 -----|------------- 機器 | DELL EMC isilon A200 x 4台<br>DELL EMC PowerScale F200 x 4台 ストレージ容量 | 260TB フロントエンドネットワーク | 5Gbps ## サービス提供内容 大型計算機システム利用者番号 (アカウント)をお持ちの方は、以下のサービスを無償でご利用いただけます。 **<span style="color:red">本サービスは、システム管理者による利用者のデータバックアップは行いません。</span>利用される際は、登録したデータの消失等に備え、バックアップ等の対策を必要に応じて実施してください。** 項目 | 内容 -----| ------- 対応プロトコル | FTPS ならびに S3 (Amazon S3互換、パス形式) ストレージ容量 | 100GB 転送量 | 無制限 バックアップ | なし FTPアカウント | 1つ S3アカウント | 1つ S3バケット数 | 1つ S3リクエスト数 | 無制限 S3オブジェクト数 | 無制限 機器のタイムゾーン | UTC ## 利用開始処理 1. [利用者ポータル](https://web.kudpc.kyoto-u.ac.jp/portal) にアクセスし、大型計算機システム利用者番号でログインしてください。 1. 左カラムの「ネットワークストレージサービス」を押下してください。 ![portal_afterlogin](portal_afterlogin.png) 1. FTPで使用するパスワードを発行する場合は赤色、S3のシークレットキーを発行する場合は青色で囲まれたドロップダウンリストから、「生成(再生成)する」を選択し、同意事項に同意いただいた上で、「送信」ボタンを押下してください。 ![request_passwd](request_passwd.png) 1. 正常にパスワード/シークレットキーが発行されましたら、画面上部にパスワード情報が表示されます。パスワード情報は ** 1度しか表示されません ** ので、ご注意ください。 ![generate_passwd](generate_passwd.png) ## 接続方法(S3) #### 接続情報 項目|内容 -------| ----------------------------------- 接続先 | s3.kudpc.kyoto-u.ac.jp:443 アクセスキー | 利用者ポータルをご確認ください シークレットキー | 利用者ポータルをご確認ください バケット名 | 利用者ポータルをご確認ください ### awscliを使用する場合 #### インストール方法 [公式マニュアル](https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/getting-started-install.html)をご覧ください。 なお、スーパーコンピュータシステムではモジュールファイルを用意しています。詳細は[こちら](../oss#awscli)をご覧ください。 #### 初期設定 ```nohighlight $ aws configure --profile kudpc AWS Access Key ID [None]: ## 利用者ポータルで発行したアクセスキーを入力 AWS Secret Access Key [None]: ## 利用者ポータルで発行したシークレットアクセスキーを入力 Default region name [None]: ## 入力せずEnter Default output format [None]: ## 入力せずEnter ``` #### ファイルの操作方法 ```nohighlight # 基本的なコマンド体系 $ aws --profile kudpc --endpoint-url=https://s3.kudpc.kyoto-u.ac.jp s3 [Command] ## ファイルの一覧を取得 $ aws --profile kudpc --endpoint-url=https://s3.kudpc.kyoto-u.ac.jp s3 ls s3://b59999 ## ファイルをアップロード $ aws --profile kudpc --endpoint-url=https://s3.kudpc.kyoto-u.ac.jp s3 cp sample.sh s3://b59999 ## ファイルをダウンロード $ aws --profile kudpc --endpoint-url=https://s3.kudpc.kyoto-u.ac.jp s3 cp s3://b59999/sample.sh ./ ## ファイルをネットワークストレージから削除 $ aws --profile kudpc --endpoint-url=https://s3.kudpc.kyoto-u.ac.jp s3 rm s3://b59999/sample.sh ## ローカルのフォルダをネットワークストレージに同期させる場合 $ aws --profile kudpc --endpoint-url=https://s3.kudpc.kyoto-u.ac.jp s3 sync ./ s3://b59999 ``` ### s3fsを使用する場合 #### インストール方法 [公式マニュアル](https://github.com/s3fs-fuse/s3fs-fuse/blob/master/README.md)をご確認ください。 なお、スーパーコンピュータシステムではモジュールをロードすることなくご利用いただけます。 #### 初期設定 ```nohighlight ## ネットワークストレージをマウントするディレクトリを作成 $ mkdir ./kudpc-s3 ## S3の認証情報を作成 $ echo "{アクセスキー}:{シークレットキー}" > ${HOME}/.passwd-s3fs $ chmod 600 ${HOME}/.passwd-s3fs ``` #### 接続方法 ```nohighlight ## マウント $ s3fs b59999 ./kudpc-s3 -o use_path_request_style,url=https://s3.kudpc.kyoto-u.ac.jp,uid=$(id -u),gid=$(id -g) ## アンマウント $ fusermount -u ./kudpc-s3 ``` ### Cyberduckを使用する場合 #### インストール方法 [公式サイト](https://cyberduck.io/)よりダウンロードしてご利用下さい。 #### 接続方法 1. Cyberduckを起動してください。 2. 画面上部の「新規接続」を押下してください。 3. 以下の表の通りセッション情報を入力し、「接続」ボタンを押下してください。 項目 | 設定内容 ---- | --------- プロトコル選択画面 | Amazon S3 サーバ | s3.kudpc.kyoto-u.ac.jp ポート | 443 アクセスキーID | S3のアクセスキー シークレットアクセスキー | S3のシークレットキー ![Cyberduck_S3Connect](Cyberduck_S3Connect.png) ## 接続方法(FTP) #### 接続情報 項目|内容 -------| ----------------------------------- 接続先 | s3.kudpc.kyoto-u.ac.jp アカウント名 | 利用者ポータルをご確認ください パスワード | 利用者ポータルをご確認ください ### WinSCPを使用する場合 #### インストール方法 [WinSCPのインストール](../install/winscp)をご覧ください。 #### 接続方法 1. WinSCPを起動してください。 1. 以下の表の通りセッション情報を入力し、「ログイン」ボタンを押下してください。 項目 | 設定内容 -----| ---------- 転送プロトコル|FTP 暗号化|明示的なTLS/SSL 暗号化 ホスト名|s3.kudpc.kyoto-u.ac.jp ポート番号|21 ユーザ名| FTPのアカウント名 パスワード| FTPのパスワード ![WinSCP_FTPinit](WinSCP_FTPinit.png "WinSCP_FTPinit") 1. 成功するとWinSCPの画面が表示され、ファイル転送が可能になります。 ### Cyberduckを使用する場合 #### インストール方法 [公式サイト](https://cyberduck.io/)よりダウンロードしてご利用下さい。 #### 接続方法 1. Cyberduckを起動してください。 1. 画面上部の「新規接続」を押下してください。 1. 以下の表の通りセッション情報を入力し、「接続」ボタンを押下してください 項目 | 設定内容 -----| ---------- プロトコル選択画面|FTP(ファイル転送プロトコル) サーバ|s3.kudpc.kyoto-u.ac.jp ポート|21 ユーザ名| FTPのアカウント名 パスワード|FTPのパスワード ![Cyberduck_FTPinit](Cyberduck_FTPinit.png "Cyberduck_FTPinit") <!-- ### FTPコマンドを使用する場合 #### 接続方法 ```nohighlight ## 接続 $ ftp s3.kudpc.kyoto-u.ac.jp Name (s3.kudpc.kyoto-u.ac.jp:b59999): #FTPのアカウント名を入力 Password: #FTPのパスワードを入力 ``` #### ファイルの操作方法 ```nohighlight ## ファイルの一覧を取得 #> ls ## 接続元端末のカレントディレクトリを表示 #> lcd ## ファイルをアップロード #> put sample.sh ./ ## ファイルをダウンロード #> get sample.sh ./ ## ファイルをネットワークストレージから削除 #> delete sample.sh ``` -->