[新機能]Amazon Elasticsearch Serviceがリリースされました！

はじめに

AWS re:Invent 2015前にすごい新サービスが飛び出てきました！

• New – Amazon Elasticsearch Service
• Amazon Elasticsearch Service

なんと、フルマネージドなElasticsearchです。AWSでの全文検索サービスはCloudSearchがありますが、やはり全文検索システムとしてElasticsearchの人気が高い、ということでしょうね。「ElasticsearchはAWSのサービスではありません」と長年言われ続けていましたが、ついにサービスとして提供されました。

なお、Amazon Elasticsearch Serviceの略称はAmazon ESとのこと。若干ECSと紛らわしい感じもありますが、まぁそのままだと長いですからね。公式に略称が決まっているのは良いことです。

ということで、早速やってみました！

使ってみた

ドメインを作成する

AWS管理コンソールにログインすると、もうAmazon Elasticsearch Serviceコンソールが使えるようになっています！全リージョン同時リリースということで、もちろん東京リージョンでも使えます。早速[Get started]ボタンをクリックします。

[Create Elasticsearch domain]画面に遷移します。[Elasticsearch domain name]に適当な名前をつけて、[Next]ボタンをクリックします。

[Configure cluster]画面。インスタンスタイプやインスタンス数を設定します。[Enable dedicated master]をチェックすると、マスターノードはデータを持たず、マスターとしての役割のみ実行するようになります。[Enable zone awareness]をチェックすると、クラスタノードがAZ分散され可用性が確保されます。

ストレージはインスタンスストアかEBSが選択できます。また自動スナップショット機能も有しており、取得する時間を指定するだけで、勝手にスナップショットを取得してくれます。便利！

拡張オプションの設定。rest.action.multi.allow_explicit_indexはURL-based access controlの設定、indices.fielddata.cache.sizeはField dataの設定です。設定が完了したら[Next]ボタンをクリックします。

アクセスポリシーの設定。これがまたよく出来てます。[Select a template]ボタンを押すと...

以下のように、テンプレートが選択できます。[Allow access to the domain from specific IP(s)]をクリックすると...

こんな風にIPアドレスの入力が促されて...

以下のようにアクセスポリシーが出来上がります。便利！アクセスポリシーの設定が完了したら[Next]ボタンをクリックします。

最後に設定の確認画面が表示されます。問題なければ[Confirm and create]ボタンをクリックします。

すると、Domain statusが[Loading]となり...

はい、Activeになりました！お、Kibanaもセットになってます！

データを投入する

さて、とりあえずデータを投入したいと思います。今回はElasticsearchのドキュメントから参照されているテストデータを使いました。

上記で公開されているaccounts.jsonをbulkでPUTします。

$ curl -XPUT search-myes-hoge.ap-northeast-1.es.amazonaws.com/bank/account/_bulk --data-binary @accounts.json

すると、以下のようにデータが投入されたことがわかります。

Kibanaで表示させる

で、Amazon ESで最初から用意されているKibanaでデータを表示させてみます。管理コンソールのKibanaのリンクをクリックすると...

はい、普通にKibanaが使えます！ちゃんとKibana 4ですね。

CloudWatch Logsを連携させる

なんと、今回の機能拡張では、ClodWatch LogsをAmazon ESに連携させる機能が増えています！早速使ってみましょう。

CloudWatch Logsの画面にアクセスし、Log Groupを選択して[Actions]をクリックすると、[Subscribe to Lambda/Amazon ES]というアクションが増えています！

[Define filter]で、CloudWatch Logsに対するフィルターパターンを設定します。

このパターンはすでに公式で用意されています。

• VPC Flow Dashboard ... [version, account_id, interface_id, srcaddr, dstaddr, srcport, dstport, protocol, packets, bytes, start, end, action, log_status]
• Lambda Dashboard ... [timestamp=*Z, request_id="*-*", event]
• CloudTrail Dashboard ... JSON化されているのでパターン不要。

パターン設定画面の下部には、パターンをテストする画面も用意されています。問題なければ[Next]ボタンをクリック。

次にLambda Functionを設定します。CloudWatch LogsからAmazon ESへのデータ連携はLambdaによって実現するんですね。ここでAmazon ESのドメインを設定します。また必要なIAM Roleを設定します。ここで設定するIAM RoleはLambda Roleになります。設定完了後、[Next]ボタンをクリック。

最後に確認画面が表示されるので、問題なければ[Subscribe]ボタンをクリックします。

フィルターが作成されました！

すると、以下のようにAmazon ESにIndexが追加されます。ここで一つ問題。@timestampがlong型になっています...ここは最初からmappingを定義するなど、検討の余地がありそうですね。

当然Kibanaでも表示できます。以前VPC Flow LogsをElasticsearch + Kibana4で可視化するというブログ記事を書いたのですが、Amazon ESを使って簡単にできますね！

さいごに

Amazon ESはICU AnalysisとKuromojiをサポートしているとのことなので、日本語ももちろん問題ありません。商用プラグインであるShieldとMarvelは現時点ではサポートしておりませんが、代わりにIAMとCloudWatchで制御・監視が可能です。

これは、激アツなサービスですね！