Amazon EFS Archive でコストを最大 97% 削減 #AWSreInvent

re:Invent 2023 の Breakout セッションの 1 つ「Lower costs by up to 97% with Amazon EFS Archive」のレポートです。個人的な見どころを中心に紹介します。ご興味あれば公開されているセッション動画をご視聴ください。

公式セッション紹介（日本語訳）

機械翻訳です。

Amazon EFS Archiveは、年に数回アクセスされる長寿命のファイルデータ向けにコスト最適化された新しいストレージクラスです。Amazon EFS Archiveを使用すると、データ分析、機械学習トレーニング、SaaSアプリケーションなどの大規模なファイルベースのデータセットを、既存のAmazon EFS Standardストレージクラスよりも最大97%低いコストで効率的に共有できます。本セッションでは、この新しい Amazon EFS Archive ストレージクラスと既存のコスト最適化機能および自動データ階層化を組み合わせることで、大規模なファイルベースのワークロードのデータ共有コストを最適化する方法についてご紹介します。

オンデマンド動画

個人的な見どころまとめ

コスト削減するために、ストレージサイズ、パフォーマンスニーズを判断し正確にプロビジョニングすることに取り組むが、なぜこの取り組みが難しいのか？

未来を予測するのは難しい。

不足したプロビジョニングならコストを下げることはできるが、アプリケーションの速度を落とすことになる。（上の図）逆に過剰なプロビジョニングならば遊休リソースにコストを払うことになる。（下の図）

EFS はプランニング、プロビジョニングについて考える必要がなくなります。

コスト削減のために、非アクティブデータ、コールデータをコールドストレージに移動を試みるが、アクセスパターンは継続的に変化するため難しい。

EFS は自動的にコスト削減できるストレージクラスを提供している。re:Invent 2023 で 2 つの改善を発表した。

• 低頻度アクセス（IA）のストレージコストを 36%引き下げた
• 年に数回のアクセスを想定した EFS アーカイブクラスの提供開始

新登場： EFS アーカイブ

• 通常の EFS と変わらないスループットパフォーマンス、可用性
• シングルネームスベースでアクティブデータからコールドデータまで扱える
• コストは低頻度アクセスクラスの半額

• EFS はアクセスパターンに基づいたストレージクラスを提供中
• アクセスパターンの監視はユーザーがする必要はない
• どのストレージクラスであってもシングルネームスベースでアクセス可能

128KiB より小さいファイルも低頻度アクセスクラス、アーカイブクラスへ移すことができるようになった。ただし、128KiB より小さくても 128KiB のサイズとして請求される。

おわりに

動画の序盤はここ 1 年のほどの EFS のアップデートの振り返りでした。EFS のアップデートを追えていなかった方にとっては、最新のアップデート情報も含め復習に丁度良い動画です。

EFS が誕生して 7 年で見てきた典型的なファイルシステムでは、保存してあるデータに対するアクセス頻度は以下の様に分布しているとのことです。具体的な数字があり興味深かったです。それらに適したストレージクラスが提供されており、顧客ニーズをしっかりと反映されている様子が伺えました。

• アクティブデータ: 5-10% → 標準ストレージクラス
• 非アクティブデータ: 10-20% → 低頻度アクセスクラス
• コールドデータ: 70-80% → アーカイブクラス

新たな発見としては、128KiB より小さいファイルも Inteligent-Tiering のライフサイクル管理対象になったということをこのセッションを見て知りました。最新のドキュメントを確認してみたところ 128 KiB に関する記述はたしかに削除されていました。日本語訳のドキュメントは私が確認した時点では古いものであったため、以前の仕様について記載が残っていました。

この様な細いアップデート情報を仕入れるためにも最新のセッション動画は確認しておいた方が良いですね。