Amazon Bedrock Anthropic Claude v2.1 で「throttling_exception: Too many requests」が発生した時の対処方法
困っていた内容
Amazon Bedrock Anthropic Claude v2.1 を1人のみで利用していますが、下記のエラーが発生しました。 対処方法を教えてください。
throttling_exception: Too many requests, please wait before trying again. You have sent too many requests. Wait before trying again.
どう対応すればいいの?
max_tokens_to_sample
を大きい値に設定した際に、throttling_exception: Too many requests
が発生いたします。
max_tokens_to_sample
の制限は 4096 となります。
4096 より大きい値を設定した場合、throttling_exception: Too many requests
が発生するため、この値を設定する際には、上限値をご確認の上、設定いただくようにお願いいたします。
max_tokens_to_sample Default : 200 Minimum : 0 Maximum : 4096