この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
はじめに
AWS re:Invent 2015前にすごい新サービスが飛び出てきました！
なんと、フルマネージドなElasticsearchです。AWSでの全文検索サービスはCloudSearchがありますが、やはり全文検索システムとしてElasticsearchの人気が高い、ということでしょうね。「ElasticsearchはAWSのサービスではありません」と長年言われ続けていましたが、ついにサービスとして提供されました。
なお、Amazon Elasticsearch Serviceの略称はAmazon ESとのこと。若干ECSと紛らわしい感じもありますが、まぁそのままだと長いですからね。公式に略称が決まっているのは良いことです。
ということで、早速やってみました！
使ってみた
ドメインを作成する
AWS管理コンソールにログインすると、もうAmazon Elasticsearch Serviceコンソールが使えるようになっています！全リージョン同時リリースということで、もちろん東京リージョンでも使えます。早速[Get started]ボタンをクリックします。
[Create Elasticsearch domain]画面に遷移します。[Elasticsearch domain name]に適当な名前をつけて、[Next]ボタンをクリックします。
[Configure cluster]画面。インスタンスタイプやインスタンス数を設定します。[Enable dedicated master]をチェックすると、マスターノードはデータを持たず、マスターとしての役割のみ実行するようになります。[Enable zone awareness]をチェックすると、クラスタノードがAZ分散され可用性が確保されます。
ストレージはインスタンスストアかEBSが選択できます。また自動スナップショット機能も有しており、取得する時間を指定するだけで、勝手にスナップショットを取得してくれます。便利！
拡張オプションの設定。rest.action.multi.allow_explicit_indexはURL-based access controlの設定、indices.fielddata.cache.sizeはField dataの設定です。設定が完了したら[Next]ボタンをクリックします。
アクセスポリシーの設定。これがまたよく出来てます。[Select a template]ボタンを押すと...
以下のように、テンプレートが選択できます。[Allow access to the domain from specific IP(s)]をクリックすると...
こんな風にIPアドレスの入力が促されて...
以下のようにアクセスポリシーが出来上がります。便利！アクセスポリシーの設定が完了したら[Next]ボタンをクリックします。
最後に設定の確認画面が表示されます。問題なければ[Confirm and create]ボタンをクリックします。
すると、Domain statusが[Loading]となり...
はい、Activeになりました！お、Kibanaもセットになってます！
データを投入する
さて、とりあえずデータを投入したいと思います。今回はElasticsearchのドキュメントから参照されているテストデータを使いました。
上記で公開されているaccounts.jsonをbulkでPUTします。
$ curl -XPUT search-myes-hoge.ap-northeast-1.es.amazonaws.com/bank/account/_bulk --data-binary @accounts.jsonすると、以下のようにデータが投入されたことがわかります。
Kibanaで表示させる
で、Amazon ESで最初から用意されているKibanaでデータを表示させてみます。管理コンソールのKibanaのリンクをクリックすると...
はい、普通にKibanaが使えます！ちゃんとKibana 4ですね。
CloudWatch Logsを連携させる
なんと、今回の機能拡張では、ClodWatch LogsをAmazon ESに連携させる機能が増えています！早速使ってみましょう。
CloudWatch Logsの画面にアクセスし、Log Groupを選択して[Actions]をクリックすると、[Subscribe to Lambda/Amazon ES]というアクションが増えています！
[Define filter]で、CloudWatch Logsに対するフィルターパターンを設定します。
このパターンはすでに公式で用意されています。
- VPC Flow Dashboard ... [version, account_id, interface_id, srcaddr, dstaddr, srcport, dstport, protocol, packets, bytes, start, end, action, log_status]
- Lambda Dashboard ... [timestamp=*Z, request_id="*-*", event]
- CloudTrail Dashboard ... JSON化されているのでパターン不要。
パターン設定画面の下部には、パターンをテストする画面も用意されています。問題なければ[Next]ボタンをクリック。
次にLambda Functionを設定します。CloudWatch LogsからAmazon ESへのデータ連携はLambdaによって実現するんですね。ここでAmazon ESのドメインを設定します。また必要なIAM Roleを設定します。ここで設定するIAM RoleはLambda Roleになります。設定完了後、[Next]ボタンをクリック。
最後に確認画面が表示されるので、問題なければ[Subscribe]ボタンをクリックします。
フィルターが作成されました！
すると、以下のようにAmazon ESにIndexが追加されます。ここで一つ問題。@timestampがlong型になっています...ここは最初からmappingを定義するなど、検討の余地がありそうですね。
当然Kibanaでも表示できます。以前VPC Flow LogsをElasticsearch + Kibana4で可視化するというブログ記事を書いたのですが、Amazon ESを使って簡単にできますね！
さいごに
Amazon ESはICU AnalysisとKuromojiをサポートしているとのことなので、日本語ももちろん問題ありません。商用プラグインであるShieldとMarvelは現時点ではサポートしておりませんが、代わりにIAMとCloudWatchで制御・監視が可能です。
これは、激アツなサービスですね！