[レポート] Amazon S3 による Shutterstock のクラウド ストレージ革命 #STG003 #reinvent

アノテーション テクニカルサポートの川崎です。

本記事は AWS re:Invent 2022 のセッションレポートとなります。

概要

データが増え続ける中、企業は低遅延配信を維持しながら大規模なストレージを管理するためのベスト プラクティスを積極的に模索しています。 この講演では、革新的なブランドやメディア企業向けの世界的なクリエイティブ プラットフォームをリードする Shutterstock から、Amazon S3 と S3 Intelligent-Tiering を使用して IT を変革しながら、ストレージ コストを 60% 以上節約した方法について聞いてください。 200 万人以上の寄稿者のコミュニティと協力して、Shutterstock のカタログが 4 億 2000 万以上の画像と 2500 万以上のビデオに成長した方法を聞いてください。 Shutterstock は、2015 年に始まるオンプレミスからクラウドへの進化を記録し、AWS がこの動的な変革をどのように支援したかを詳しく説明します。

セッション動画

• Shutterstock のEdge Compute and Delivery のディレクター
• プラットフォーム サービス チーム
• モダンなサーバーレス・テクノロジとトポロジを使用
• 開発者がコードとコンテンツをエッジに配置できるよう支援

アジェンダ

• アーキテクチャと AWS への移行
• Shutterstock の Amazon S3 の進化とアクセス パターン
• Amazon S3 Intelligent-Tiering によるコスト削減
• 進行中の開発と将来の状態

Shutterstock ストレージのユースケース

• 4 億 2000 万枚の画像
• 2500 万本の動画
• 何百万の MP3、効果音、および 3D モデル
• マルチ PB データレイク
• カタログは毎日最大 20万枚の画像が増加

2015年 オンプレミス拠点

• Strangler Fig パターンのアプリケーション・デザイン
• 4 PB の画像
• 5千台の物理ドライブを備えた 4 つのデータ センター
• 暴走する維持費

2020年 Amazon S3 による節約の推進

• 顧客コンテンツを 4 PB から 16 PB に拡張 (40 PB 以上のデータレイク)
• 1つのアカウントから数百のアカウントまで拡張
• アプリケーションは、コンテンツ配信と取り込みに S3 を直接活用
• インフラストラクチャ チームは、保守作業のうち作業時間の 20 ～ 50% を省力化
• Amazon CloudFront はジャストインタイムの画像トランスコーディングを実行し、1 日あたり 10 億のリクエストを S3 にオフロード

Amazon S3 Intelligent-Tiering

• Shutterstock の平均オブジェクト サイズは 2 MB
• S3 Intelligent-Tiering で 40 PB 以上
• パフォーマンスに影響を与えることなく、ほとんどアクセスされないデータに対して自動的に最小コストを提供
• ストレージ最適化のための「ボタン」
• サービスコントロールポリシーによる保護

Amazon S3 ストレージ クラスによる配布

Amazon S3 Intelligent-Tiering のコスト削減

• S3 Standard ストレージ クラスから 53% のコスト削減
• コンシューマ リクエストのレイテンシには影響なし
• 割引は、5 か月間のコンテンツの取り込みと成長を通じて維持される

2022年以降

• アプリケーションの近くに複数の S3 アクセス ポイント
• Strangler Fig の抽象化はソフトウェア ライブラリに移動
• 数百のアカウントにある数千のバケット
• 将来のスケーラビリティに対する自信

Amazon S3 と Intelligent-Tiering の Tips

• S3 Storage Lens を使用して、オブジェクトのサイズを認識する
• 常に S3.PUT オブジェクトメタデータを使用
• オプトイン層を恐れない
• Amazon CloudFront または ELB のアクセス ログから始める

詳細については、AWS Storage ブログ チャンネルの Shutterstock ブログをご覧ください