
Azure Service Busの重複検出で二重処理は防げる?同じMessageIdの再送と再配信を試した
どうも!オペ部の西村祐二です!
Azure Service Busのキューで注文登録を非同期化するとき、「重複検出を有効にすれば、注文が二重に登録される心配はない」と考えてよいのでしょうか。
実機で確かめたところ、同じ MessageId で再送すると、送信は成功しても2件目はキューに入りませんでした。一方、受信アプリが完了を通知する前に受信をやめると、同じメッセージがもう一度届きました。重複検出が防ぐのは送信の重複です。受信アプリが同じ注文を繰り返し処理しても結果が二重にならない設計は、別に用意する必要があります。
送信の再送と受信後の再配信を分けて、2026年11月10日に東日本リージョンに作ったStandardの名前空間で試しました。Azure CLI 2.91.0、Python 3.13、azure-servicebus 7.15.0を使っています。
試した結果の一覧
| 試したこと | 結果 |
|---|---|
| Basicの名前空間で、重複検出を有効にしたキューを作る | 作成できない(RequiresDuplicateDetection は Basic では設定できない) |
同じ MessageId で2回送る |
2回とも送信は成功。キューに入ったのは1件目だけ |
同じ注文で、MessageId を変えて別の操作(キャンセル)を送る |
受け付けられた |
送るたびにランダムな MessageId を付けて2回送る |
2件とも受け付けられた |
1件目を受信して完了した後、時間窓の中で同じ MessageId を送る |
送信は成功したが、捨てられた |
時間窓(1分)の外で同じ MessageId を送る |
受け付けられた |
| PeekLockで受信し、完了を通知しないまま受信をやめる | ロックの期限が過ぎた後の受信で、同じメッセージが再配信された(Python SDKの delivery_count が 0 → 1) |
Basicでは作れず、Standardで時間窓1分のキューを用意した
重複検出を利用できるのはStandardとPremiumです。Basicの名前空間で、重複検出を有効にしたキューを作ろうとすると、エラーになりました。
SubCode=40000. The property 'RequiresDuplicateDetection' cannot be set when creating a Queue because the namespace '<namespace>' is using 'Basic' tier.
Standardの名前空間に、重複検出を有効にしたキュー orders を作りました。結果を早く見るため、重複検出の時間窓は1分、ロックの期間は30秒にしています。パーティションは無効です。
az group create --name <resource-group> --location japaneast
az servicebus namespace create --resource-group <resource-group> --name <namespace> --location japaneast --sku Standard
az servicebus queue create --resource-group <resource-group> --namespace-name <namespace> --name orders \
--enable-duplicate-detection true --duplicate-detection-history-time-window PT1M \
--lock-duration PT30S --enable-partitioning false
# 送受信に使う接続文字列(名前空間の RootManageSharedAccessKey)を環境変数に入れる
export SB_CONN="$(az servicebus namespace authorization-rule keys list --resource-group <resource-group> \
--namespace-name <namespace> --name RootManageSharedAccessKey --query primaryConnectionString -o tsv)"
送受信は、Pythonのazure-servicebusで行いました。記事に載せるスクリプトは、実際に使ったものからログの整形を省いたものです。
同じMessageIdの再送は、送信が成功しても捨てられた
送信側は、応答が返らないなど、送れたかどうか分からないときに同じ依頼を再送します。その再送を模して、同じ MessageId(order-300/register)で2回送りました。
import os
from azure.servicebus import ServiceBusClient, ServiceBusMessage
with ServiceBusClient.from_connection_string(os.environ["SB_CONN"]) as client:
with client.get_queue_sender("orders") as sender:
for body in ["register order-300 (1st send)", "register order-300 (retry)"]:
sender.send_messages(ServiceBusMessage(body, message_id="order-300/register"))
2回とも例外は出ず、送信は成功しています。約17秒後にキューの件数を確かめると、1件でした。
az servicebus queue show --resource-group <resource-group> --namespace-name <namespace> --name orders \
--query '{active:countDetails.activeMessageCount, dup:requiresDuplicateDetection, window:duplicateDetectionHistoryTimeWindow}'
{
"active": 1,
"dup": true,
"window": "PT1M"
}
ポータルのキューの概要でも、重複データ検出が有効で、アクティブなメッセージは1件でした(赤枠は追記)。

重複検出の公式説明でも、Service Busはキューやトピックに送られたメッセージの MessageId を、時間窓のあいだ記録するとされています。その間に同じIDで再送されたメッセージは、送信側に成功を返したうえで破棄されます。本文を比べて同じ注文かを判断する仕組みではありません。パーティションを有効にした場合は、MessageId と PartitionKey の組で判定されます(今回は無効で試しました)。
Service Busの重複検出は、Amazon SQSのFIFOキューの重複排除IDに近い仕組みです。SQSのドキュメントでも、同じIDの後続のメッセージは受け付けられるが、コンシューマーには配信されないとされています。時間窓の長さ(SQSは5分)や設定の場所は異なるので、考え方の例えとしてだけ挙げておきます。
IDの付け方で、重複の扱いが変わった
この検証より前に、空のキューで、IDの付け方を変えて試していました。次の5つを送り終えてからキューのメッセージを受信すると、取り出せたのは4件でした(受信したメッセージはすべて完了を通知)。
| 送ったメッセージ | MessageId | 結果 |
|---|---|---|
| order-123 の登録(1回目) | order-123/register |
受け付けられた |
| order-123 の登録(再送) | order-123/register |
捨てられた |
| order-123 のキャンセル | order-123/cancel |
受け付けられた |
| order-456 の登録(1回目) | ランダムなID | 受け付けられた |
| order-456 の登録(再送) | 別のランダムなID | 受け付けられた(重複として扱われない) |
再送のたびに新しいランダムなIDを振ると、Service Busからは別のメッセージに見えます。同じ注文登録の再送では、order-123/register のように同じIDを保つ必要があります。反対に、同じ注文でも「登録」と「キャンセル」は別の依頼なので、注文番号だけを共通のIDにすると、必要なメッセージまで捨てられるおそれがあります。
受信した後でも、時間窓の中なら捨てられた
キューを空にした直後(最初の送信から約13秒後)に、同じ order-123/register をもう一度送りました。送信は成功しましたが、その後の受信で取り出せたのは、時間窓が過ぎてから(最初の送信から73秒後に)送った1件だけでした。ログの時刻は日本時間です。
01:49:28 send ok: order-123/register | register order-123 (1st send)
01:49:41 drained: 4
01:49:41 send ok: order-123/register | register order-123 (resend after consumed)
01:49:43 peek: 0 message(s) []
01:50:41 send ok: order-123/register | register order-123 (resend after window)
01:50:44 peek: 1 message(s) [('order-123/register', 'register order-123 (resend after window)')]
01:50:47 drained: 1
drained は、受信して完了を通知した件数です。peek(中身を取り出さずに見る操作)は1回で全件を返すとは限らないので、件数の根拠には drained の数を使いました。
Service Busは、1件目が処理された後も、時間窓のあいだ同じIDを覚えています。公式の説明では、時間窓はデフォルトで10分、最小20秒、最大7日です。重複検出を有効にすることと時間窓の大きさはスループットに影響し、時間窓は小さいほど影響が少ないとされています。時間窓の長さは、再送しうる期間と負荷を踏まえて決める必要があります。
完了を通知しないと、同じメッセージがもう一度届いた
PeekLockでは、受信時にメッセージをロックし、処理が終わったら Complete(Python SDKでは complete_message)で完了を通知します。受信モードを指定しなければ、Python SDKの受信はPeekLockになります。
order-789/register を送ってPeekLockで受信し、complete_message を呼ばないまま受信側を閉じました。35秒待って、もう一度受信しています。
import os, time
from azure.servicebus import ServiceBusClient
with ServiceBusClient.from_connection_string(os.environ["SB_CONN"]) as client:
with client.get_queue_receiver("orders", max_wait_time=5) as receiver:
m = receiver.receive_messages(max_message_count=1)[0]
print(m.message_id, m.delivery_count, m.locked_until_utc)
# complete_message を呼ばずに受信側を閉じる
time.sleep(35)
with client.get_queue_receiver("orders", max_wait_time=10) as receiver:
m = receiver.receive_messages(max_message_count=1)[0]
print(m.message_id, m.delivery_count)
receiver.complete_message(m)
ログの時刻は日本時間で、locked_until だけがUTCです(日本時間では01:51:19、受信の30秒後)。
01:50:49 received: order-789/register delivery_count: 0 locked_until(UTC): 16:51:19
01:50:49 simulate crash: close receiver without Complete
01:51:26 received again: order-789/register delivery_count: 1 | register order-789
01:51:26 completed
ロックの期限が過ぎた後の受信で、同じ order-789/register がもう一度届き、delivery_count は 0 から 1 に増えていました。送信側は何も送り直していません。重複検出は送信時の仕組みなので、この再配信は防げません。
今回は、受信側の接続を閉じることで、受信アプリが処理の途中で止まった状態を模しました。プロセスの異常終了やネットワークの切断は試していません。また、ロックの期限が来る前に受信できるかも試していないので、受信側を閉じた時点でロックが解放されたのか、期限まで待ったのかは切り分けていません。
DBへの注文登録とService Busへの完了通知(Complete)は、別の操作です。注文登録が成功した直後、Complete がService Busに届く前に受信アプリが止まると、ロックが切れた後に同じメッセージが届き、注文登録がもう一度走る可能性があります。処理が長いときはロックを更新して期限を延ばせますが、DB更新の直後にアプリが止まると、更新する処理そのものがなくなるので、ロックは期限で切れて再配信されます。
次の図は自作した概念図で、公式の構成図ではありません。送信側の重複検出と、受信側の再配信の境界を示しています。

受信側には、同じ依頼を再処理しても結果が重複しない性質、つまり冪等性が必要です。
注文登録では、IDの一貫性とDBの確定範囲を考える
Idempotent Consumerパターンでは、処理済みIDと業務上の更新を同じトランザクションで確定する方法が示されています。単に「処理済みか調べる」だけでは、並行処理や途中停止に対処できません。
注文登録で考えるなら、次の4点が設計の確認対象になります。送信側の1行目は今回の結果から、受信側の3行は公式のパターンに基づく設計例で、特定のDBで動作確認した実装ではありません。
| 確認点 | 注文登録での考え方 | 避けたい状態 |
|---|---|---|
| 再送でも同じ依頼を同じIDで送れるか(送信側) | order-123/register のように、注文と操作を組み合わせたIDを再送でも保つ |
再送のたびにランダムなIDを振る。注文番号だけをIDにする |
| 同じ依頼を識別できるか(受信側) | 再配信されても変わらない、注文登録操作のIDを使う(今回の再配信でも MessageId は同じだった) |
受信するたびに別IDを作る |
| 同じメッセージを二つの処理が同時に扱っても、二重登録を防げるか(受信側) | 処理済みIDに一意制約などを設ける | 両方が「未処理」と判定して登録する |
| 業務更新と処理済み記録が一緒に確定するか(受信側) | 注文の登録と処理済み記録を同じDBトランザクションに含める | 登録だけ成功し、記録前に停止する |
この形なら、再配信されたときに処理済みの記録を見て、同じ注文登録を繰り返さずに Complete できます。逆に、DB更新の前に処理済みの記録だけを確定すると、その直後に止まったときに、未登録の注文を読み飛ばすことになります。
処理済みの記録をいつ消すかも別の判断です。Service Busの送信側の時間窓に合わせるだけでは足りません。受信の再試行が続く期間に加えて、最大配信数(今回は10)を超えたメッセージなどを退避するデッドレターキューから運用者が再投入する時期も考える必要があります。
外部の決済APIやメール送信は、通常、そのDBトランザクションには含められません。注文DBで二重登録を防げても、外部呼び出しまで1回で済むとは限りません。呼び出し先の冪等性キーや、結果が分からないときの照合と復旧の方法は、別に設計する必要があります。
まとめ
重複検出は送信の再送を捨てますが、受信後の再配信は止めません。今回も、同じ MessageId の再送は時間窓の中で捨てられ、完了を通知しないまま受信をやめたメッセージは、ロックの期限が過ぎた後の受信で再配信されました。
設計レビューでは、二つの境界を分けて確認するのが良さそうです。送信側では「結果が分からず再送したとき、同じ依頼を同じIDで送れるか」を、受信側では「業務更新の直後に止まっても、処理済みの記録と業務更新を一緒に確定して、次の受信で結果を重複させないか」を確認します。







