Amazon Bedrock でのモデル呼び出し時にクォータ未満であるにもかかわらずスロットリングが発生する理由を教えてください

困っていた内容

Amazon Bedrock のモデルの使用中に少量のリクエストでもスロットリングが発生しました。
使用中のモデルのクォータを確認しましたが、リクエスト量はクォータ未満でした。

Amazon Bedrock でのモデル呼び出し時にクォータ未満であるにもかかわらずスロットリングが発生する理由を教えてください。

どう対応すればいいの？

オンデマンドモードの場合には共有キャパシティプールが利用されるため、クォータ未満でもスロットリングが発生する可能性があります。
そのため、エクスポネンシャルバックオフでの再試行をご検討ください。
Amazon Bedrock オンデマンドリソースに関連する 429 Throttling エラーのトラブルシューティング | AWS re:Post

オンデマンドモードを使用する場合、Amazon Bedrock は複数の顧客に対し、共有キャパシティプールを使用します。サービスの需要が高い時期には、リクエストがアカウントのクォータ以内の場合も、スロットリングが発生する可能性があります。なお、サービスはすべてのユーザーに対するキャパシティ割り当てを自動的に管理します。

参考資料

• Amazon Bedrock endpoints and quotas - AWS General Reference
• Amazon Bedrock オンデマンドリソースに関連する 429 Throttling エラーのトラブルシューティング | AWS re:Post