ちょっと話題の記事

Amazon SNSがメッセージフィルタに対応し柔軟なpub-subが可能に!

quiver

2017.11.27

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

AWS のメッセージングサービス Amazon Simple Notification Service（Amazon SNS）は pub-sub に対応し、SNSトピックにメッセージを送信(publish)すると、トピックを購読(subscribe)しているsubscriberにメッセージが一斉配信されます。

ここで注意すべきことは subscriber は publisher が送信したすべてのメッセージに興味があるとは限らないことです。

そのため subscriber 側でメッセージを確認し、不要なメッセージは破棄するなどの処理を入れていました。この処理を行うのは Lambda だったり、SQS のワーカーだったりします。

運用するにつれて振り分けルールが増える傾向にあり、振り分けロジックは各 subscriber に散らばっているため、運用コストは高くなりがちでした。

SNS にメッセージフィルタ機能が追加されたことにより、メッセージ送信時に付与した属性によって、対応する subscriber にだけメッセージが送信されるようになり、 subscriber にあったフィルタ処理は不要になりました。

RabbitMQ のような AMQP 系メッセージキューを使ったことがある方には、トピック・エクスチェンジが実装されたと言えば、イメージしやすいかもしれません。

Amazon SNS メッセージフィルタリング機能の関連ドキュメント

メッセージフィルタリング機能に関して、現時点で3つのドキュメントが存在します。

1.How to Filter Messages Published to Amazon SNS Topics - AWS

管理コンソールでの操作をメインとした pub-sub チュートリアル

2.Simplify Your Pub/Sub Messaging with Amazon SNS Message Filtering | AWS Compute Blog

Python SDK での操作をメインとした pub-sub チュートリアル

3.AWS Documentation » Amazon SNS » Developer Guide » Filtering Messages with Amazon SNS

Amazon SNSのメッセージフィルタ機能に限定したAPIドキュメント

ウォークスルー

このブログでは2つ目のドキュメント「管理コンソールでの操作をメインとした pub-sub チュートリアル」を AWS CLI から操作し、別角度から理解を深めます。

最終型

架空の保険見積もり(insurance quote)サイトで、保険の種類に応じて、配信先を振り分けます。

見積もり依頼は Amazon SNS トピック "Insurance-Quote-Requests" に保険の種類情報とともに publish されます。 SNS トピックには3つの Amazon SQS キューが購読しており、保険の種類によって対応する以下のキューに配信されます

All-Quotes : すべての見積もり
Vehicle-Insurance-Quotes : 乗り物保険(vehicle insurance)の見積もり
Life-Insurance-Quotes : 生命保険(life insurance)の見積もり

ウォークスルーの流れ

Amazon SNS トピックの作成
Amazon SQS キューの作成
SQS キューを SNS トピックに購読させる
SNS 購読にフィルタポリシーを設定
トピックにメッセージ配信
キューにメッセージ配信されていることを確認

1. Amazon SNS トピックの作成

保険の見積もり(quote)依頼があったときに、メッセージを publish する SNS トピックを作成します。

$ aws sns create-topic --name Insurance-Quote-Requests
{
    "TopicArn": "arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests"
}

2. Amazon SQS キューの作成

保険の種類ごとにシステムが別れており、各システムは対応する Amazon SQS のキューをポーリングします。

このキューを作成します。

作成するキューは3つあります

All-Quotes : すべての見積もり
Vehicle-Insurance-Quotes : 乗り物保険の見積もり
Life-Insurance-Quotes : 生命保険の見積もり

順に作成します。

$ aws sqs create-queue --queue-name All-Quotes
{
    "QueueUrl": "https://ap-northeast-1.queue.amazonaws.com/123456789012/All-Quotes"
}
$ aws sqs get-queue-attributes --queue-url https://ap-northeast-1.queue.amazonaws.com/123456789012/All-Quotes --attribute-names All
{
    "Attributes": {
        "ApproximateNumberOfMessagesNotVisible": "0",
        "MessageRetentionPeriod": "345600",
        "ApproximateNumberOfMessagesDelayed": "0",
        "MaximumMessageSize": "262144",
        "CreatedTimestamp": "1511575422",
        "ApproximateNumberOfMessages": "0",
        "ReceiveMessageWaitTimeSeconds": "0",
        "DelaySeconds": "0",
        "VisibilityTimeout": "30",
        "LastModifiedTimestamp": "1511575422",
        "QueueArn": "arn:aws:sqs:ap-northeast-1:123456789012:All-Quotes"
    }
}
$ aws sqs create-queue --queue-name Vehicle-Insurance-Quotes
{
    "QueueUrl": "https://ap-northeast-1.queue.amazonaws.com/123456789012/Vehicle-Insurance-Quotes"
}
$ aws sqs create-queue --queue-name Life-Insurance-Quotes
{
    "QueueUrl": "https://ap-northeast-1.queue.amazonaws.com/123456789012/Life-Insurance-Quotes"
}

3. SQS キューを SNS トピックに購読させる

SNS トピックにメッセジが publish されたときに、SQS キューにメッセージがブロードキャストされるように、購読します。

--protocol には sqs を指定し、 --notification-endpoint には SQS の ARN を指定します。

$ aws sns subscribe --topic-arn arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests \
 --protocol sqs \
 --notification-endpoint arn:aws:sqs:ap-northeast-1:123456789012:All-Quotes
{
    "SubscriptionArn": "arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests:22564e62-b642-456e-8c1a-60726b11c574"
}
$ aws sns subscribe --topic-arn arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests \
 --protocol sqs \
 --notification-endpoint arn:aws:sqs:ap-northeast-1:123456789012:Vehicle-Insurance-Quotes
{
    "SubscriptionArn": "arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests:20ae8621-e33b-4a6e-952c-62fa92bac171"
}
$ aws sns subscribe --topic-arn arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests \
 --protocol sqs \
 --notification-endpoint arn:aws:sqs:ap-northeast-1:123456789012:Life-Insurance-Quotes
{
    "SubscriptionArn": "arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests:a43d756e-74ab-4a39-bbc8-7ef31d70d0d6"
}

subscribe 状況を確認

SNS トピック Insurance-Quote-Requests に作成した3つのキューが購読状況を確認します。

$ aws sns list-subscriptions-by-topic --topic-arn arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests
{
    "Subscriptions": [
        {
            "Owner": "123456789012",
            "Endpoint": "arn:aws:sqs:ap-northeast-1:123456789012:Vehicle-Insurance-Quotes",
            "Protocol": "sqs",
            "TopicArn": "arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests",
            "SubscriptionArn": "arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests:20ae8621-e33b-4a6e-952c-62fa92bac171"
        },
        {
            "Owner": "123456789012",
            "Endpoint": "arn:aws:sqs:ap-northeast-1:123456789012:Life-Insurance-Quotes",
            "Protocol": "sqs",
            "TopicArn": "arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests",
            "SubscriptionArn": "arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests:a43d756e-74ab-4a39-bbc8-7ef31d70d0d6"
        },
        {
            "Owner": "123456789012",
            "Endpoint": "arn:aws:sqs:ap-northeast-1:123456789012:All-Quotes",
            "Protocol": "sqs",
            "TopicArn": "arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests",
            "SubscriptionArn": "arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests:ad2b679a-0495-4a72-8faf-5ee0665e0bab"
        }
    ]
}

4. SNS 購読にフィルタポリシーを設定

次にフィルタ設定を行います。

All-Quotes キュー : 全てのメッセージを配信するため、フィルタ設定は行わない
Vehicle-Insurance-Quotes キュー : insurance_type が car または boat のときにを配信するフィルタ設定
Life-Insurance-Quotes キュー : insurance_type が life のときにを配信するフィルタ設定

利用API

購読の属性設定 API : set-subscription-attributes
購読の属性設定確認 API : set-subscription-attributes

--subscription-arn には購読 ARN を指定し、--attribute-name には FilterPolicy を指定し、 --attribute-name にはフィルタルールを JSON で指定します。

例)

--attribute-name

{
  "insurance_type": [
    "car",
    "boat"
  ]
}

All-Quotes キュー

なにもしない

Vehicle-Insurance-Quotes キュー

$ aws sns set-subscription-attributes \
  --subscription-arn arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests:20ae8621-e33b-4a6e-952c-62fa92bac171 \
  --attribute-name FilterPolicy \
  --attribute-value '{"insurance_type":["car", "boat"]}'
$ aws sns get-subscription-attributes \
  --subscription-arn arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests:20ae8621-e33b-4a6e-952c-62fa92bac171
{
    "Attributes": {
        "Endpoint": "arn:aws:sqs:ap-northeast-1:123456789012:Vehicle-Insurance-Quotes",
        "Protocol": "sqs",
        "RawMessageDelivery": "false",
        "ConfirmationWasAuthenticated": "true",
        "FilterPolicy": "{\"insurance_type\":[\"car\", \"boat\"]}",
        "Owner": "123456789012",
        "SubscriptionArn": "arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests:20ae8621-e33b-4a6e-952c-62fa92bac171",
        "TopicArn": "arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests"
    }
}

Life-Insurance-Quotes キュー

$ aws sns set-subscription-attributes \
  --subscription-arn arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests:a43d756e-74ab-4a39-bbc8-7ef31d70d0d6 \
  --attribute-name FilterPolicy \
  --attribute-value '{"insurance_type":["life"]}'

$ aws sns get-subscription-attributes \
  --subscription-arn arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests:a43d756e-74ab-4a39-bbc8-7ef31d70d0d6
{
    "Attributes": {
        "Endpoint": "arn:aws:sqs:ap-northeast-1:123456789012:Life-Insurance-Quotes",
        "Protocol": "sqs",
        "RawMessageDelivery": "false",
        "ConfirmationWasAuthenticated": "true",
        "FilterPolicy": "{\"insurance_type\":[\"life\"]}",
        "Owner": "123456789012",
        "SubscriptionArn": "arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests:a43d756e-74ab-4a39-bbc8-7ef31d70d0d6",
        "TopicArn": "arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests"
    }
}

5. トピックにメッセージ配信

保険の見積もりサイトから見積もり依頼があったと見立てて、SNS トピックにメッセージ配信を行います。

メッセージフィルタの動作確認のために、保険の種類を変えて複数のメッセージを送信します。

# insurance_type = car
$ aws sns publish --topic-arn arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests \
  --subject "Insurance Quote Request #1" \
  --message "2017 Volvo S60, Montreal" \
  --message-attributes '{"insurance_type": { "DataType" : "String", "StringValue" : "car"}}'
{
    "MessageId": "09d09c76-d890-5d8c-87f7-cee43c26e895"
}

# insurance_type = life
$ aws sns publish --topic-arn arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests \
  --subject "Insurance Quote Request #2" \
  --message "Male, 33 years old, Vancouver" \
  --message-attributes '{"insurance_type": { "DataType" : "String", "StringValue" : "life"}}'

# insurance_type = home
$ aws sns publish --topic-arn arn:aws:sns:ap-northeast-1:123456789012:Insurance-Quote-Requests \
  --subject "Insurance Quote Request #3" \
  --message "Townhouse, 1500 sq ft, Toronto " \
  --message-attributes '{"insurance_type": { "DataType" : "String", "StringValue" : "home"}}'

6. キューにメッセージ配信されていることを確認

最後に、保険の種類によってメッセージフィルタが動作して、対応する SQS キューに見積もり依頼が届いている(ルーティングされている)ことを確認します。

以下のようになっていれば OKです。

All-Quotes キュー : 全てのメッセージ
Vehicle-Insurance-Quotes キュー : insurance_type が car または boat のメッセージ
Life-Insurance-Quotes キュー : insurance_type が life のメッセージ

All-Quotes キュー

$ aws sqs receive-message --max-number-of-messages 5 \
  --queue-url https://sqs.ap-northeast-1.amazonaws.com/123456789012/All-Quotes | jq -r ".Messages[].Body"
{
  "Type" : "Notification",
  ...
  "Subject" : "Insurance Quote Request #1",
  "Message" : "2017 Volvo S60, Montreal",
  ...
  "MessageAttributes" : {
    "insurance_type" : {"Type":"String","Value":"car"}
  }
}
{
  "Type" : "Notification",
  ...
  "Subject" : "Insurance Quote Request #3",
  "Message" : "Townhouse, 1500 sq ft, Toronto ",
  ...
  "MessageAttributes" : {
    "insurance_type" : {"Type":"String","Value":"home"}
  }
}

Life-Insurance-Quotes キュー

$ aws sqs receive-message --max-number-of-messages 5 \
  --queue-url https://sqs.ap-northeast-1.amazonaws.com/123456789012/Life-Insurance-Quotes | jq -r ".Messages[].Body"
{
  "Type" : "Notification",
  ...
  "Subject" : "Insurance Quote Request #2",
  "Message" : "Male, 33 years old, Vancouver",
  ...
  "MessageAttributes" : {
    "insurance_type" : {"Type":"String","Value":"life"}
  }
}

Vehicle-Insurance-Quotes キュー

$ aws sqs receive-message --max-number-of-messages 5 \
  --queue-url https://sqs.ap-northeast-1.amazonaws.com/123456789012/Vehicle-Insurance-Quotes
{
  "Type" : "Notification",
  ...
  "Subject" : "Insurance Quote Request #1",
  "Message" : "2017 Volvo S60, Montreal",
  ...
  "MessageAttributes" : {
    "insurance_type" : {"Type":"String","Value":"car"}
  }
}

注意事項

このメッセージフィルタにはいくつかの制限があります。

メッセージフィルタポリシーは JSON で指定します。
String 型もしくは String.Array 型のみ利用可能です。Number 型や Binary 型の場合は無視されます
大文字・小文字を区別します。
属性名(ウォークスルーでは insurance_typeに相当)は10個まで可能です
ポリシー設定の最大サイズは 256 KB です

まとめ

今回は Amazon SNS のメッセージフィルタ機能を AWS CLI から動作確認しました。

subscriber の責務だったメッセージの振り分けロジックを購読設定に寄せられるようになり、各コンポーネントは

Amazon SNS : メッセージ配信
購読 : メッセージのルーティング
Amazon SQS : メッセージの処理

ときれいに分離され、本業に専念できるようになりました。

AMQP のトピックエクスチェンジを Amazon SNS 上に頑張って実装していた人には朗報です。

Apache Kafka はトピックが実装されているので、Amazon Kinesis ファミリーもトピックに対応してくれると最高ですね。

Amazon SNSがメッセージフィルタに対応し柔軟なpub-subが可能に!

Amazon SNS メッセージフィルタリング機能の関連ドキュメント

ウォークスルー

最終型

ウォークスルーの流れ

1. Amazon SNS トピックの作成

2. Amazon SQS キューの作成

3. SQS キューを SNS トピックに購読させる

subscribe 状況を確認

4. SNS 購読にフィルタポリシーを設定

All-Quotes キュー

Vehicle-Insurance-Quotes キュー

Life-Insurance-Quotes キュー

5. トピックにメッセージ配信

6. キューにメッセージ配信されていることを確認

All-Quotes キュー

Life-Insurance-Quotes キュー

Vehicle-Insurance-Quotes キュー

注意事項

まとめ

参考

イベント

EVENT【4/23リモート】クラスメソッドのフリーランスエンジニア会社説明会〜AWS / システムアーキテクト案件特集〜を開催します

EVENT【5/28（火）】AWSを最大活用するための1dayカンファレンス

EVENT【5/17（金）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー

EVENT【5/14（火）】アノテーションの中途向けオンライン会社説明会を開催します

EVENT【5/23（木）】ユースケースに学ぶAWS運用のノウハウ～可視化から統制まで～

EVENT【5/16（木）】Snowflakeを触ってみよう！初めての方向けハンズオンセミナー

EVENT【5/10（金）名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【4/25（木）リモート】Google Cloudに携わるエンジニアのキャリア～クラスメソッド会社説明会～

EVENT【4/30（火）リモート】クラスメソッドの会社説明会を開催します

EVENT【5/9（木）】組織的なクラウド統制はじめの一歩

Amazon SNSがメッセージフィルタに対応し柔軟なpub-subが可能に!

Amazon SNS メッセージフィルタリング機能の関連ドキュメント

ウォークスルー

最終型

ウォークスルーの流れ

1. Amazon SNS トピック の作成

2. Amazon SQS キューの作成

3. SQS キューを SNS トピックに購読させる

subscribe 状況を確認

4. SNS 購読にフィルタポリシーを設定

All-Quotes キュー

Vehicle-Insurance-Quotes キュー

Life-Insurance-Quotes キュー

5. トピックにメッセージ配信

6. キューにメッセージ配信されていることを確認

All-Quotes キュー

Life-Insurance-Quotes キュー

Vehicle-Insurance-Quotes キュー

注意事項

まとめ

参考

イベント

EVENT【4/23リモート】クラスメソッドのフリーランスエンジニア会社説明会 〜AWS / システムアーキテクト案件特集〜 を開催します

EVENT【5/28（火）】AWSを最大活用するための1dayカンファレンス

EVENT【5/17（金）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー

EVENT【5/14（火）】アノテーションの中途向けオンライン会社説明会を開催します

EVENT【5/23（木）】ユースケースに学ぶAWS運用のノウハウ～可視化から統制まで～

EVENT【5/16（木）】Snowflakeを触ってみよう！初めての方向けハンズオンセミナー

EVENT【5/10（金） 名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【4/25（木）リモート】Google Cloudに携わるエンジニアのキャリア～クラスメソッド会社説明会～

EVENT【4/30（火）リモート】クラスメソッドの会社説明会を開催します

EVENT【5/9（木）】組織的なクラウド統制 はじめの一歩

1. Amazon SNS トピックの作成

EVENT【4/23リモート】クラスメソッドのフリーランスエンジニア会社説明会〜AWS / システムアーキテクト案件特集〜を開催します

EVENT【5/10（金）名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【5/9（木）】組織的なクラウド統制はじめの一歩