Amazon S3 Storage Lens 高度なメトリクスとレコメンデーションでダッシュボードを作成したが、表示されないプレフィックスがあるので対処法を教えてください

2022.09.16

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

困っていること

Amazon S3 Storage Lens 高度なメトリクスとレコメンデーションでダッシュボード「sample-test」を作成しました。
S3 バケット名および、プレフィックスは以下です。

  • S3 バケット名:cm-sample
  • プレフィックス:depth1/depth2/depth3/depth4/depth5

上記プレフィックスの合計データサイズを確認したいのですが、ダッシュボードのプレフィックスタブに表示されません。
また、プレフィックスの一覧にも表示されません。対象となるプレフィックスのデータサイズを確認するためにはどうすれば良いか解らず困っています。対処法を教えてください。

どう対応すればいいの?

はじめに

高度なメトリクスとレコメンデーションでダッシュボードを作成した場合、グラフにデータが表示されるまでダッシュボードを作成してから 48 時間待つ必要があります。まずはこちらをご確認ください。

事象が解消されない場合

48 時間待っても、プレフィックスの一覧にも表示されない場合は以下の設定について確認してください。
S3 Storage Lens においてプレフィックスの集約を行う場合には、公式ドキュメント に記載の通り、「プレフィックスのしきい値」と「プレフィックスの深さ」を指定可能です。 こちらを変更することで事象が解決される可能性があります。

a. S3 Storage Lens がこのダッシュボードのために収集するのに対象となる最小サイズのプレフィックス閾値を選択します。たとえば、プレフィックスの閾値を 5% とした場合は、バケットでストレージのサイズが 5% 以上を占めるプレフィックスが集約されます。
b. プレフィックスの深度を選択します。この設定は、プレフィックスが評価される階層レベルの最大数を示します。プレフィックスの深度は、10 未満で指定する必要があります。

  • プレフィックスのしきい値
    バケットの全体ストレージサイズに対して、設定したしきい値以上のサイズを占めるプレフィックスを記録するようになります。

例)
バケットの全体ストレージサイズが 100 KB、しきい値は 5 と設定
この場合は、バケットでストレージのサイズが 5 %(5 KB)以上を占めるプレフィックスのみが集約されます。
なお、しきい値の最小は 1 % ですので、対象のプレフィックスがバケット全体サイズの 1 % のサイズに満たない場合には表示ができませんので注意してください。

  • プレフィックスの深さ
    メトリクスが生成されるプレフィックスの階層 (レベル) 数を設定できます。

例)
プレフィックス:depth1/depth2/depth3/depth4/depth5
階層レベル数(最大 9): → → → → → /depth9

以上より、各種パラメータを変更(しきい値を低い値、深度を大きめの値)されて、対象のプレフィックスが表示されるかご確認ください。

補足

対象のプレフィックスがバケット全体サイズの 1 % のサイズに満たない場合の確認方法として、
1. S3 のマネジメントコンソールを表示
2. プレフィックスを選択
3. 「アクション」 ⇒ 「合計サイズを計算する」

上記の操作方法を参考に、対象プレフィックスの合計サイズを確認することが可能ですので、代替案としてお試しいただければ幸いです。

参考資料