re:Invent 2023 HPC 関連アップデート情報をまとめて紹介 #AWSreInvent
2023.12.11re:Invent 2023 前後で発表された HPC 関連のアップデート情報を整理してまとめました。
HPC
Research and Engineering Studio on AWS
Research and Engineering Studio on AWS のリリース
Research and Engineering Studio on AWS (RES) は、Web UI で仮想デスクトップの管理ができるポータルサイトを提供する OSS です。
- 仮想デスクトップ（NICE DCV）の管理ポータルサービス
- 用意された CloudFormation テンプレートを実行して AWS アカウントに必要なリソースをデプロイ
- 注意: ELB、EC2、NAT Gateway などのリソースが起動するためランニングコストはそこそこかかります
構成図
Architecture overview - Research and Engineering Studio
Compute Services
EC2
Graviton4 チップ & R8g インスタンス(プレビュー)
Graviton4 の登場と、新チップを搭載した R8g インスタンスが発表されました。HPC ワークロードでも Arm のチップを活用して計算コスト削減したいものです。
- AWS が開発した Arm ベースの CPU、 Graviton が発表されてから 5 周年を迎えました
- 計算性能は Graviton3 と比べて最大 30% 向上
- vCPU とメモリは R7g と比べて、3 倍の vCPU と、75% 増加したメモリ帯域幅を提供
ハイメモリインスタンス U7i 登場（プレビュー）
次世代のハイメモリインスタンスが発表されました。ゲノム解析のワークロードでメモリが多く要求される解析処理に利用できるのではないでしょうか。
- 1 インスタンスで最大メモリ 3.2 TB 搭載
- サポートされている OS は Red Hat Enterprise Linux および SUSE Enterprise Linux Server のみ
- ユースケースは SAP HANA、Oracle、SQL Server などのインメモリデータベースの利用用途
ENA Express
対象インスタンス拡大
EC2 間のレイテンシを大幅に削減できる ENA Express の対象インスタンスが増えました。
- TCP、UDP プロトコルを使用する従来のネットワークアプリケーションに対して AWS が開発した SRD プロトコルを使用
- SRD プロトコルを使用することにより、ENA Express を利用可能な EC2 間の通信におけるレイテンシを削減できる
- 密結合なワークロードで効果を発揮
Storage Services
EFS
データの長期保存に適した EFS Archive ストレージクラス追加
現在の推奨モードである Elastic スループットモードにデータの長期保存向けの新しいストレージクラスが追加されました。従来からあるバーストスループットモード、プロビジョニングスループットではご利用できませんのでご注意ください。
- 既存の低頻度アクセス（IA）ストレージクラスと比べて 50% 安価にデータ保存できる
- 低頻度アクセス（IA）の利用方法と同じくライフサイクル管理から設定可能
- 新ストレージクラスのアーカイブは Elastic スループットモードのみ利用可能
Elastic スループットモードの最大 IOPS 性能が向上
Elastic スループットモードの性能が向上しました。こちらも従来からあるバーストスループットモード、プロビジョニングスループットモードの性能は据え置きです。
- Read の最大 IOPS が 4.5 倍向上し、Write の最大 IOPS も 2 倍向上しました
- 標準ストレージクラスの最大 IOPS は Read 250,000、Write 50,000 です
- 性能が向上したのは Elastic スループットモードでの利用のみ
低頻度アクセス（IA）ストレージクラスの利用料引き下げ
標準ストレージの低頻度アクセス(IA)ストレージクラスがお安くなりました。1 ゾーンの低頻度アクセス（IA）ストレージクラスの価格は据え置きです。
- 低頻度アクセス(IA)の保存単価が 36% 引き下がりました
- 今までの保存単価は $0.0272 GB/月 でした
- アップデート後は $0.02 GB/月 になり、１GB あたり $0.0072 安くなりました
※ 保存単価は執筆時点の東京リージョンの価格です。
ライフサイクル管理で 128KiB 未満のファイルサイズをサポート
128KiB 未満の小さなファイルでも安価なストレージクラスを利用できるようになりました。公のアナウンスはなかったと記憶しているのですが、re:Invent 2023 のセッション内で本件が取り上げられていました。
- 従来は 128KiB 未満のファイルサイズはライフサイクル管理対象外でした
- 128KiB 未満のファイルも「低頻度アクセス」「アーカイブ」クラスへ階層の移動が可能になりました
- 注意: 128KiB 未満のファイルサイズでも 128 KiB のファイルサイズとして換算されて請求されます
レプリケーションのフェイルバックをサポート
フェイルオーバー後、フェイルバックし、フェイルオーバー後の変更点を反映できるようになりました。切り戻すときの手順を事前に用意しておきましょう。
- EFS のレプリケーション機能は 2022 年 1 月のアップデートで追加されています
- レプリケーション機能を利用したフェイルオーバー後のフェイルバックに対応しました
- ファイルバックは全自動ではなく、逆方向レプリケーションの設定を追加して実現します
S3
S3 Express One Zone
S3 Standard より最大 10 倍速い新しいストレージクラスが提供されました。Athena からの検索や、計算途中の中間ファイルの一時退避先として有用な選択肢になるのではないでしょうか。
- S3 Standard と比べて最大 10 倍優れたパフォーマンスを提供
- S3 Standard と比べてリクエスト料金が 50% 安い
- S3 Standard と比べて保存単価は約 7 倍高い $0.18 GB/月
合わせて読みたい
Mountpoint for Amazon S3 が S3 Express One Zone をサポート
S3 Express One Zone のディレクトリバケットも EC2 にマウントできます。
FSx for NetApp ONTAP
スケールアウトファイルシステム
Single-AZ のファイルシステムにおいて、クラスターを複数の HA ペアで構成できるようになり、性能上限が大幅に向上させることができるようになりました。ハイパフォーマンスなストレージが必要なら FSx for Lustre と比較検討してみても良いのではないでしょうか。
- 最大 IOPS: 1,200,000
- 最大 Read スループット: 36GiBps
- 最大 Write スループット: 6.6GiBps
FSx for OpenZFS
スナップショットのオンデマンドレプリケーション機能追加
OpenZFS ネィティブの送受信機能を利用してスナップショットのデータ転送ができるようになりました。今後もマネージドな FSx for OpenZFS で便利な機能がサポートされていくと嬉しいですね。
- スナップショットを他アカウントや、リージョンを跨いで効率的に転送できるようになった
- ユースケースは同一データを使った環境の複製が容易にできる
- 本番データを使用した開発環境、テスト環境や、並行して様々なテストをしたいとき同一の環境を複数用意するなど
おわりに
今年はストレージサービスのアップデートが多かったです。なかでも EFS の Elastic スループットモードに関しては機能追加、性能改善が多かったです。EFS は Elastic スループットモードを使ってくださいというメッセージなのかなと思いながらアップデートを眺めていました。個人的にはそろそろ Graviton チップを活用した大規模な演算環境に取り組みたいところです。
最後に昨年のアップデートも振り返ってみるのはいかがでしょうか？使おうと思って忘れていたサービスや、今や常用しているサービスがないかと見てみると楽しめるかと思います。
