ネットワークストレージサービス

2022年5月より、研究データの保存環境ならびにデータ収集基盤の拡充を目的として、ネットワークストレージサービスの試行を開始しました。 利用者ポータル から利用開始処理を行っていただくことでご利用いただけます。 試行期間中は、予告なくメンテナンスの実施ならびにサービス内容の見直しを行うことがありますので、予めご了承ください。

  • 学認RDMとのストレージ連携による研究データ共有
  • IoT機器などのデータ収集
  • スパコンストレージのバックアップ

スーパーコンピュータシステムとは独立したネットワークに接続した小規模なネットワークストレージクラスタです。

項目 内容
機器 DELL EMC isilon A200 x 4台
DELL EMC PowerScale F200 x 4台
ストレージ容量 260TB
フロントエンドネットワーク 5Gbps

大型計算機システム利用者番号 (アカウント)をお持ちの方は、以下のサービスを無償でご利用いただけます。 本サービスは、システム管理者による利用者のデータバックアップは行いません。利用される際は、登録したデータの消失等に備え、バックアップ等の対策を必要に応じて実施してください。

項目 内容
対応プロトコル FTPS ならびに S3 (Amazon S3互換、パス形式)
ストレージ容量 100GB
転送量 無制限
バックアップ なし
FTPアカウント 1つ
S3アカウント 1つ
S3バケット数 1つ
S3リクエスト数 無制限
S3オブジェクト数 無制限
機器のタイムゾーン UTC

  1. 利用者ポータル にアクセスし、大型計算機システム利用者番号でログインしてください。
  2. 左カラムの「ネットワークストレージサービス」を押下してください。 portal_afterlogin
  3. FTPで使用するパスワードを発行する場合は赤色、S3のシークレットキーを発行する場合は青色で囲まれたドロップダウンリストから、「生成(再生成)する」を選択し、同意事項に同意いただいた上で、「送信」ボタンを押下してください。 request_passwd
  4. 正常にパスワード/シークレットキーが発行されましたら、画面上部にパスワード情報が表示されます。パスワード情報は 1度しか表示されません ので、ご注意ください。 generate_passwd

項目 内容
接続先 s3.kudpc.kyoto-u.ac.jp:443
アクセスキー 利用者ポータルをご確認ください
シークレットキー 利用者ポータルをご確認ください
バケット名 利用者ポータルをご確認ください

公式マニュアルをご覧ください。 なお、スーパーコンピュータシステムではモジュールファイルを用意しています。詳細はこちらをご覧ください。

$ aws configure --profile kudpc
AWS Access Key ID [None]:     ## 利用者ポータルで発行したアクセスキーを入力
AWS Secret Access Key [None]: ## 利用者ポータルで発行したシークレットアクセスキーを入力
Default region name [None]:   ## 入力せずEnter
Default output format [None]: ## 入力せずEnter

# 基本的なコマンド体系
$ aws --profile kudpc --endpoint-url=https://s3.kudpc.kyoto-u.ac.jp s3 [Command]

## ファイルの一覧を取得
$ aws --profile kudpc --endpoint-url=https://s3.kudpc.kyoto-u.ac.jp s3 ls s3://b59999

## ファイルをアップロード
$ aws --profile kudpc --endpoint-url=https://s3.kudpc.kyoto-u.ac.jp s3 cp sample.sh s3://b59999

## ファイルをダウンロード
$ aws --profile kudpc --endpoint-url=https://s3.kudpc.kyoto-u.ac.jp s3 cp s3://b59999/sample.sh ./

## ファイルをネットワークストレージから削除
$ aws --profile kudpc --endpoint-url=https://s3.kudpc.kyoto-u.ac.jp s3 rm s3://b59999/sample.sh

## ローカルのフォルダをネットワークストレージに同期させる場合
$ aws --profile kudpc --endpoint-url=https://s3.kudpc.kyoto-u.ac.jp s3 sync ./ s3://b59999

公式マニュアルをご確認ください。 なお、スーパーコンピュータシステムではモジュールをロードすることなくご利用いただけます。

## ネットワークストレージをマウントするディレクトリを作成
$ mkdir ./kudpc-s3

## S3の認証情報を作成
$ echo "{アクセスキー}:{シークレットキー}" > ${HOME}/.passwd-s3fs
$ chmod 600 ${HOME}/.passwd-s3fs

## マウント
$ s3fs b59999 ./kudpc-s3 -o use_path_request_style,url=https://s3.kudpc.kyoto-u.ac.jp,uid=$(id -u),gid=$(id -g)
## アンマウント
$ fusermount -u ./kudpc-s3

公式サイトよりダウンロードしてご利用下さい。

  1. Cyberduckを起動してください。
  2. 画面上部の「新規接続」を押下してください。
  3. 以下の表の通りセッション情報を入力し、「接続」ボタンを押下してください。
項目 設定内容
プロトコル選択画面 Amazon S3
サーバ s3.kudpc.kyoto-u.ac.jp
ポート 443
アクセスキーID S3のアクセスキー
シークレットアクセスキー S3のシークレットキー

Cyberduck_S3Connect

項目 内容
接続先 s3.kudpc.kyoto-u.ac.jp
アカウント名 利用者ポータルをご確認ください
パスワード 利用者ポータルをご確認ください

WinSCPのインストールをご覧ください。

  1. WinSCPを起動してください。

  2. 以下の表の通りセッション情報を入力し、「ログイン」ボタンを押下してください。

    項目 設定内容
    転送プロトコル FTP
    暗号化 明示的なTLS/SSL 暗号化
    ホスト名 s3.kudpc.kyoto-u.ac.jp
    ポート番号 21
    ユーザ名 FTPのアカウント名
    パスワード FTPのパスワード

    WinSCP_FTPinit

  3. 成功するとWinSCPの画面が表示され、ファイル転送が可能になります。

公式サイトよりダウンロードしてご利用下さい。

  1. Cyberduckを起動してください。
  2. 画面上部の「新規接続」を押下してください。

  3. 以下の表の通りセッション情報を入力し、「接続」ボタンを押下してください

    項目 設定内容
    プロトコル選択画面 FTP(ファイル転送プロトコル)
    サーバ s3.kudpc.kyoto-u.ac.jp
    ポート 21
    ユーザ名 FTPのアカウント名
    パスワード FTPのパスワード

    Cyberduck_FTPinit