いわさです。
Amazon OpenSearch Serverless の性能は OpenSearch Compute Units (OCU) というもので管理されており、最大 OCU には上限があります。
また、コレクションで扱えるインデックスサイズも最大値が決まっています。
たまーにアップデートで、この OCU とインデックスサイズが更新されるのですが、また更新されました。
ただ、アップデートアナウンスの日付と公式ドキュメントの日付が異なっていてちょっと混乱します。
本アップデートに伴う AWS CLI や API の更新通知がなく、どのタイミングで更新されたのかが確認出来ませんでした。
- アップデートアナウンス： 2024 年 3 月 7 日
- 公式ドキュメント変更日付：2023 年 11 月 29 日
OCU は全コレクションが最大 200 に
OCU については、今回は全コレクションを対象に 200 OCU まで拡張されました。
Amazon OpenSearch Serverless では本日時点で 3 つのコレクションタイプが選択可能で、それぞれのタイプで OCU やインデックスサイズの上限が異なっていました。
変更前後のコレクションタイプごとの最大 OCU を以下にまとめてみました。
どーん。
| コレクションタイプ | 変更前 | 変更後 |
|---|---|---|
| 時系列 | 100 OCU | 200 OCU |
| 検索 | 100 OCU | 200 OCU |
| ベクトル検索 | 20 OCU | 200 OCU |
前回の OCU アップデート時には時系列コレクションと検索コレクションのみが上限拡張されていたのですが、今回はベクトル検索も含んで全コレクションの OCU が拡張されたようです。
インデックスサイズは時系列のみ更新、10 TiBへ
一方でインデックスサイズの拡張は今回は時系列コレクションのみとなっています。
インデックスサイズが 10 TiB に拡張されました。
これでコレクションごとのインデックスサイズは次のようになりました。
| コレクションタイプ | 変更前 | 変更後 |
|---|---|---|
| 時系列 | 6 TiB | 10 TiB |
| 検索 | 1 TiB | 1 TiB |
| ベクトル検索 | 1 TiB | 1 TiB |
最大 OCU の設定を見直そう
インデックスサイズについては特に設定する必要はありませんが、最大 OCU はインデックス作成と検索でそれぞれ設定しているはずです。
こちらで以前までの上限 100 OCU を設定している方は最大値の変更を行うか確認してみてください。
次のように 200 OCU (RAM: 6 GB/OCU * 200 OCU = 1200 GB) まで設定出来るはずです。
また、この上限値 200 OCU についてはサービスクォータからも確認が出来ますが、こちらから上限緩和申請は出来ません。
ただし、公式ドキュメントには特定のユースケースで 200 OCU を超える場合について次のように言及されています。
次元数の多いベクトルが数百万 (またはそれ以上) あり、200 を超える OCU が必要な場合は、AWS サポートに問い合わせて、アカウントの最大 OpenSearch Compute Units (OCU) を引き上げてください。
さいごに
本日は Amazon OpenSearch Serverless の最大 OCU が全コレクションタイプで 200 に、時系列コレクションのインデックスデータサイズ上限が 10 TiB に拡張されていたのでどれがどの程度変わったのか整理してみました。
使用状況に応じて勝手にスケールする部分ではありますが、最大 OCU の設定については明示的に指定している場合がありますので、こちらだけは既存環境を確認しておくと良さそうです。
21
