Amazon FSx for Lustreの自動エクスポート後のファイルは自動でリリースまでされるのか確認してみた
自動エクスポート後もLustreに残り続けるのか気になる
こんにちは、のんピ(@non____97)です。
皆さんはAmazon FSx for Lustre(FSxL)を使用していて、自動エクスポート後もLustreに残り続けるのか気になったことはありますか? 私はあります。
自動エクスポート機能を設定することで、FSxLに書き込んだファイルが自動的にS3バケットに連携されます。
ここで気になるのでは、自動エクスポート後もLustreに残り続けるのかです。要するにリリースまでやってくれるのかです。
リリースをしなければFSxLにデータが残り続けてしまいます。
AWS公式ドキュメントには特にリリースについての言及はありませんでした。
実際に試して確認をしてみます。
いきなりまとめ
- Amazon FSx for Lustreの自動エクスポート後のファイルは自動でリリースまで実施されない
- 適宜リリースをしよう
やってみた
検証環境
検証環境は以下のとおりです。
現在のFSxLのデータリポジトリのインポート/エクスポートオプションは以下のように、全ての条件でインポート/エクスポートするようになっています。
検証用のファイルの作成
検証用のファイルを作成します。
まずはLustreのクライアントをインストールします。
$ sudo dnf install -y lustre-client
Last metadata expiration check: 0:00:59 ago on Mon Sep 22 08:59:58 2025.
Dependencies resolved.
.
.
(中略)
.
.
Install 1 Package
Total download size: 755 k
Installed size: 2.4 M
.
.
(中略)
.
.
Installed:
lustre-client-2.15.6-21.amzn2023.x86_64
FSxLをマウントします。
$ sudo mkdir -p /mnt/fsxl
$ sudo mount -t lustre -o relatime,flock fs-08f39a643ead3068f.fsx.us-east-1.amazonaws.com@tcp:/rl3albuv /mnt/fsxl
$ df -hT -t lustre
Filesystem Type Size Used Avail Use% Mounted on
172.31.37.91@tcp:/rl3albuv lustre 1.2T 7.5M 1.2T 1% /mnt/fsxl
自動エクスポートするパスに対してddで4GiB分書き込みを行います。
$ sudo dd if=/dev/urandom of=/mnt/fsxl/s3/random_pattern_binary_block_4GiB bs=1M count=4096
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 17.3966 s, 247 MB/s
エクスポートされたことを確認
自動エクスポートによってエクスポートされたことを確認します。
$ lfs hsm_state /mnt/fsxl/s3/random_pattern_binary_block_4GiB
/mnt/fsxl/s3/random_pattern_binary_block_4GiB: (0x00000003) exists dirty, archive_id:1
exists dirtyとなっていることからまだエクスポートが完了していないようです。
1分ほど待つと、exists archivedとなっていました。
$ lfs hsm_state /mnt/fsxl/s3/random_pattern_binary_block_4GiB
/mnt/fsxl/s3/random_pattern_binary_block_4GiB: (0x00000009) exists archived, archive_id:1
自動エクスポートがされていそうですね。
S3バケット上のオブジェクトを確認すると、確かにFSxLに書き込んだファイルがエクスポートされていることを確認できました。
このまま30分ほど待ちました。
$ lfs hsm_state /mnt/fsxl/s3/random_pattern_binary_block_4GiB
/mnt/fsxl/s3/random_pattern_binary_block_4GiB: (0x00000009) exists archived, archive_id:1
$ lfs df -h
UUID bytes Used Available Use% Mounted on
rl3albuv-MDT0000_UUID 32.7G 9.1M 32.7G 1% /mnt/fsxl[MDT:0]
rl3albuv-OST0000_UUID 1.1T 4.0G 1.1T 1% /mnt/fsxl[OST:0]
filesystem_summary: 1.1T 4.0G 1.1T 1% /mnt/fsxl
はい、exists archivedのままですね。
lfs df -hの結果からもFSxLファイルシステム上にファイルが残っていることを確認できました。
ということで自動エクスポートされたファイルは自動でリリースまではやってくれなさそうであることが分かりました。
手動もしくは定期的にリリースが必要ですね。
リリース
実際にリリースをしてみましょう。
lfs hsm_releaseでリリースします。
$ sudo lfs hsm_release /mnt/fsxl/s3/random_pattern_binary_block_4GiB
$ lfs hsm_state /mnt/fsxl/s3/random_pattern_binary_block_4GiB
/mnt/fsxl/s3/random_pattern_binary_block_4GiB: (0x0000000d) released exists archived, archive_id:1
$ lfs df -h
UUID bytes Used Available Use% Mounted on
rl3albuv-MDT0000_UUID 32.7G 9.2M 32.7G 1% /mnt/fsxl[MDT:0]
rl3albuv-OST0000_UUID 1.1T 7.5M 1.1T 1% /mnt/fsxl[OST:0]
filesystem_summary: 1.1T 7.5M 1.1T 1% /mnt/fsxl
released exists archivedとなり、リリースされたことが分かりました。
実データを保存しているオブジェクトストレージターゲット(OST)の使用量が4.0GBから7.5GBになっていることから、正常にリリースがされていることが分かります。
リリースしたファイルの読み込み
せっかくなので、リリースしたファイルを複数回読み込みしてみて、読み込み速度の確認をしてみます。
$ dd if=/mnt/fsxl/s3/random_pattern_binary_block_4GiB of=/dev/null bs=1M
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 41.2265 s, 104 MB/s
$ lfs hsm_state /mnt/fsxl/s3/random_pattern_binary_block_4GiB
/mnt/fsxl/s3/random_pattern_binary_block_4GiB: (0x00000009) exists archived, archive_id:1
$ lfs df -h
UUID bytes Used Available Use% Mounted on
rl3albuv-MDT0000_UUID 32.7G 9.2M 32.7G 1% /mnt/fsxl[MDT:0]
rl3albuv-OST0000_UUID 1.1T 4.0G 1.1T 1% /mnt/fsxl[OST:0]
filesystem_summary: 1.
105MBpsでした。
また、読み込み前はreleased exists archivedでしたが、exists archivedとなっていることを確認できました。OSTサイズも4.0GBとなっていますね。
それではもう一度読み込みます。
$ dd if=/mnt/fsxl/s3/random_pattern_binary_block_4GiB of=/dev/null bs=1M
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 10.0081 s, 429 MB/s
429MBpsでした。爆速ですね。4倍ほど速度が改善されています。
自動エクスポート機能はFSxLのストレージサイズコスト削減に直接的に関係しない
Amazon FSx for Lustreの自動エクスポート後のファイルは自動でリリースまでされるのか確認してみた。
結論、されません。「自動エクスポートをしているからS3にどんどんデータが退避されていくのでFSxLのストレージサイズは小さくてもOK」という訳ではありません。適宜リリース処理を行いましょう。
この記事が誰かの助けになれば幸いです。
以上、クラウド事業本部 コンサルティング部の のんピ(@non____97)でした!
