この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
みなさん、こんにちは！
福岡オフィスの青柳です。
みなさん、温泉入ってますかー？（挨拶
先週末、大分県別府市・鉄輪温泉で開催された「JAWS-UG大分」の勉強会に参加・登壇してきました。
「少人数での現地参加」＋「全国からのオンライン参加」という ハイブリッド 勉強会として開催されたイベントです。
全体レポートはJAWS-UG大分の運営メンバーである平野文雄さんが執筆すると思いますので、私が発表した登壇内容についてご紹介します。
登壇しました
「re:Invent 2021のS3アップデート紹介 ＆ Glacier Instant Retrieval試してみた」と題して発表しました。
前半はre:Invent 2021で発表されたS3関連のアップデート紹介、後半はAWS Blogsにインスパイアされて「やってみた」内容を紹介しました。
S3関連のアップデート (一部を紹介)
re:Invent 2021の開催前後で、S3関連の以下のアップデートが発表されました。(漏れがあるかもしれません)
- Glacierに新しいクラスが追加されました
- Glacierの「バルク取り出し」料金が無料になりました
- S3 Intelligent-Tierに新しい階層が追加されました
- S3の「ACL」を無効化できるようになりました
- S3バケットポリシー作成時にIAM Access Analyzerのセキュリティチェックを受けられるようになりました
- S3のオブジェクトレベルのイベントがEventBridgeへ直接送信できるようになりました
- AWS BackupがS3に対応しました (プレビュー)
これらのうち、S3・Glacierの「ストレージクラス」に関するアップデート内容について紹介しました。
新しいストレージクラス「Glacier Instant Retrieval」
Glacierに新しいストレージクラス「Glacier Instant Retrieval」が追加され、従来のGlacierは「Glacier Flexible Retrieval」と改名されました。
S3・Glacier共に年々のアップデートによりストレージクラスが細分化されており、それらの違いが分かり辛いという方もいらっしゃるのではないかと思い、簡単な比較表を作ってみました。
常時アクセスを前提とした「S3」と、アーカイブ用途の「Glacier」に大別されますが、今回追加された「Glacier Instant Retrieval」の位置付けは上表のようになります。
注目して頂きたいのは、「Glacier Instant Retrieval」はアーカイブ用途である「Glacier」の名前が付いていながら、ストレージに格納されたファイルを即時 (ミリ秒単位) に読み出すことができる点です。
これまで、Glacierは安価なアーカイブとして重宝されていた半面、「アクセスが必要な際に『復元』操作が必要で、すぐにアクセスできない」という制約があったため、使いどころが限定されていた面もあったかと思います。
しかし、アーカイブ用途でも即時アクセスが可能な「Glacier Instant Retrieval」が登場したことで、アクセス性・コストに応じたアーカイブストレージの選択肢が増えたことになります。
「S3 Intelligent-Tier」の階層も追加
また、ファイルの利用頻度に応じてストレージクラスを自動的に選択してくれる「S3 Intelligent-Tier」についても、「Glacier Instant Retrieval」に相当する「Archive Instant Access Tier」が追加されました。
こちらも、「Archive」という名前が付いているものの、従来の「Archive Access Tier」「Deep Archive Access Tier」とは異なり「Frequent Access Tier」「Infrequent Access Tier」を補完するTierの位置付けとなっています。
これらのことから、「Glacier Instant Retrieval」は従来のGlacierの「安い代わりに取り出しに時間がかかるアーカイブ」というイメージを払拭するための戦略的な新機能としてリリースされたのではないかという印象を受けました。
「Glacier Instant Retrieval」の活用例
「Glacier InstantRetrieval」の活用方法として、AWS公式ブログ (英語) にこんな記事がありました。
動画などのメディアコンテンツをストレージに保管する際、S3・Glacierのストレージクラスを使い分けることでコストを最適化しましょうという話です。
上図は「AWS Step Functions」と「AWS Elemental MediaConvert」を使って、動画ファイルの変換を行い、変換前・変換後のファイルをS3・Glacierに格納する処理の概念を示しています。(AWS Blogsに掲載されている図を引用しました)
変換元の画像、例えば「取材時の動画素材」など、頻繁に必要ではないが長期に保管しておく必要があるファイルについて、これまでは以下のいずれかの選択を行う必要がありました。
- Glacier (現：Glacier Flexible Retrieval)、Glacier Deep Archive へ保管
- 保管費用を安価に抑えられる代わりに、必要な時にすぐに取り出せない制約がある
- S3 (Standard、Standard-IA、One Zone-IA) へ保管
- 必要な時にすぐにアクセスできるが、保管費用が高くつく
しかし、今回の「S3 Glacier Instant Retrieval」の登場によって、コストをある程度抑えつつ、必要時に即時アクセス可能という要件を両立させることができるようになります。
実際に試してみた
AWS Blogsに掲載されていたのは、前述の「概念図」のみで、具体的なリソース構成や構築手順などについては言及されていませんでした。
Step FunctionsとMediaConvertを組み合わせて処理を行うというところに興味が湧いたので、「よっしゃ、いっちょやってみるかー」と試してみることにしました。
調べてみると、図にあるようにStep FunctionsとMediaConvertとS3/Glacierのみで仕組みが実現できる訳ではなく、「EventBridge」「Lambda」などとの連係が必要であり、IAMによるアクセス権限の設定も必要だということが判りました。
また、「S3からStep Functionsへの連係」「Step FunctionsからS3への連係」それぞれについて、最近のアップデートによって、より簡単に連係ができるようになっていることも判りました。
S3からStep Functionsへの連係は、これまでは「S3」→「CloudTrail」→「EventBridge」→「Step Functions」という連係が必要であったのが、CloudTrailを介さずに「S3」→「EventBridge」へ直接連係ができるようになっています。
Step FunctionsからS3への連係は、これまでは「Step Functions」→「Lambda」→「S3」と連係が必要であったのが、Lambdaを介さずに「Step Functions」→「S3」へ直接連係できるようになっています。
「Glacier Instant Retrieval試してみるか～」と思ってやってみましたが、結果的にStep Functionsに係わる最新機能を使ってみたり、MediaConvertがどんなものなのか知ることができたり、勉強になりました。
勉強会で「動作デモ」を披露しました！ が、、、
構築した「動画ファイル変換＆アーカイブ処理」の仕組みを使って、勉強会の会場で動作デモを行ってみました。
スマホで会場の様子を動画で撮影して、動画ファイルをS3バケットにアップロードして、、、これでEventBridge経由でStep Functionsが起動されて、動画ファイル変換＆アーカイブ処理が行われるはずです。
結果は・・・
上手く行きませんでした (´･ω･`)
MediaConvertの変換ジョブがエラーで失敗していました。
おかしいなぁ～、事前に試した時には上手く行ったんですが、スマホで撮影した動画ファイルがどこかフォーマット等で問題があったのでしょうか、、、
ということで残念な結果になってしまいましたが、ちゃんと原因を調べて動作するように改善したいと思います。
登壇スライドの最後にも書きましたが、ちゃんと動作するように手順が整理できましたら、またブログで紹介したいと思います。
おわりに
オフラインで勉強会に参加するのは約2年ぶりということもあり、懐かしい雰囲気の中で和気あいあいとしたイベントだったと思います。
久しぶりにお会いする大分在住の参加者の方や、九州各県や東京などから参加された方とリアルで会話できたのは嬉しかったです。
また、少し心配だったオンライン参加者の方々とのコミュニケーションも、進行や配信など運営スタッフの方々の頑張りもあって、盛り上がったのではないでしょうか。
(途中ちょっと配信が止まったりアクシデントもありましたが、そこがイベントの醍醐味でもあります！笑)
地方コミュニティの「あるある」ですが、「AWSに興味があるんですが、何からやればいいのか・・・」といった初参加の方に対して、みんなでいろいろアドバイスしている場面も見られて「あぁ、これがJAWS-UGだよなぁ～」と感慨にふけったりもしました。
まだまだ大人数で集まったりすることに十分に考慮が必要な期間が続くのではないかと思いますが、状況を見ながら、またこのような「ハイブリッド勉強会」に参加したり、開催できるといいなと思いました。
25
