Elastic Cloud Enterprise を AWS 環境にデプロイしてみた

藤本真司

2016.12.03

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんにちは、藤本です。

このエントリは Elastic stack Advent Calendar 4日目の記事になります。

現地時間12/1に Elastic {ON} 2016 で発表された Elastic Cloud Enterprise のアルファ版がリリースされました。

Introducing Elastic Cloud Enterprise - Public Alpha

先日、Elastic Cloud Enterprise を紹介する記事をエントリしました。

【速報】Elastic Cloud Enterprise の Alpha版がリリースされました

本日は早速、AWS 環境に Elastic Cloud Enterprise をデプロイしてみました。

デプロイしてみた

環境

Elastic Cloud Enterprise はパブリッククラウド、プライベートクラウド、オンプレミスとプラットフォームを選ばず、構築することが可能です。今回は全ての Role を一台で持たせたシングル構成で AWS 環境にデプロイしてみました。Elastic Cloud Enterprise を利用する環境であれば、非冗長構成はほとんどないと思いますが、まずは使用感を確認したかったのでシングル構成でサクッと試してみました。

OS : CentOS 7
AMI : ami-6d1c2007
インスタンスタイプ : m4.large

システム要件は下記ページをご参照ください。

Plan Your Deployment

OSセットアップ

AMI から展開した OS を Elastic Cloud Enterprise をインストールするためにセットアップします。この手順は全てのホストで必要な設定となります。

kernel、xfsprogs のアップデート

kernel、xfsprogs の最新バージョンをインストールします。

$ sudo yum -y update kernel xfsprogs
:
Installed:
kernel.x86_64 0:3.10.0-327.36.3.el7

Dependency Installed:
linux-firmware.noarch 0:20150904-43.git6ebf5d5.el7

Complete!
# rpm -q kernel xfsprogs
kernel-3.10.0-327.10.1.el7.x86_64
kernel-3.10.0-327.36.3.el7.x86_64
xfsprogs-3.2.2-2.el7.x86_64

Docker インストール

Elastic Stack は Docker Container にデプロイされますので、Docker をイントールします。バージョンは 1.11 が要件になっています。

$ sudo tee /etc/yum.repos.d/docker.repo <<-'EOF'
[dockerrepo]
name=Docker Repository
baseurl=https://yum.dockerproject.org/repo/main/centos/7/
enabled=1
gpgcheck=1
gpgkey=https://yum.dockerproject.org/gpg
EOF

$ sudo yum install -y docker-engine-1.11.2
:
Installed:
docker-engine.x86_64 0:1.11.2-1.el7.centos

Dependency Installed:
docker-engine-selinux.noarch 0:1.12.3-1.el7.centos libtool-ltdl.x86_64 0:2.4.2-21.el7_2

Complete!

OS 設定

OS設定を投入します。

$ sudo vi /etc/default/grub
GRUB_CMDLINE_LINUX="console=tty0 crashkernel=auto console=ttyS0,115200 cgroup_enable=memory swapaccount=1"
$ sudo grub2-mkconfig -o "$(readlink /etc/grub2.conf)"
$ echo "vm.max_map_count=262144" | sudo tee -a /etc/sysctl.conf
$ echo "* soft nofile 1024000
* hard nofile 1024000
* soft memlock unlimited
* hard memlock unlimited
ubuntu soft nofile 1024000
ubuntu hard nofile 1024000
ubuntu soft memlock unlimited
ubuntu hard memlock unlimited
root soft nofile 1024000
root hard nofile 1024000
root soft memlock unlimited" | sudo tee -a /etc/security/limits.conf
$ cat << SETTINGS | sudo tee /etc/sysctl.d/70-cloudenterprise.conf
net.ipv4.tcp_max_syn_backlog=65536
net.core.somaxconn=32768
net.core.netdev_max_backlog=32768
SETTINGS

SELINUX の無効化は必須ではありませんが、今回は無効にしました。

$ sudo setenforce 0

Docker 設定

Elastic Cloud Enterprise の Container が利用するディスク領域の確保や、docker プロセスのパラメータ設定を実施します。

$ echo "net.ipv4.ip_forward = 1" | sudo tee -a /etc/sysctl.conf
$ sudo service network restart
$ sudo install -o $USER -g $USER -d -m 700 /mnt/data
$ sudo install -d -m 700 /mnt/data/docker
$ sudo mkdir /etc/systemd/system/docker.service.d
$ echo "[Service]
ExecStart=
ExecStart=/usr/bin/docker daemon -H fd:// -g /mnt/data/docker -s devicemapper --storage-opt dm.fs=xfs" | sudo tee -a /etc/systemd/system/docker.service.d/docker.conf
$ sudo systemctl daemon-reload
$ sudo systemctl start docker
$ sudo systemctl enable docker
Created symlink from /etc/systemd/system/multi-user.target.wants/docker.service to /usr/lib/systemd/system/docker.service.
$ sudo usermod -aG docker $USER
$ sudo reboot

ネットワーク設定

シングル構成の場合、最低限、下記ポートを開放する必要があります。

ローカル端末から
12400/tcp : Web管理コンソールへのアクセス
12300/tcp : APIによるアクセス
ホスト自身から
18000-20000/tcp : ZooKeeper へのアドバタイズ
12191-12301, 12898-12908, 13898-13908/tcp : ZooKeeper によるアクセス

今回はシングル構成なので必要ありませんが、Role 毎にホストを分ける場合、ホストを冗長構成とする場合、ホスト間で通信が発生するため、FW設定が必要となります。必要なFW設定に関してはこちらをご参照ください。

Elastic Cloud Enterprise のインストール

Elastic Cloud Enterprise のインストールはシェルを実行して、対話形式でパラメータを入力するだけでインストールできます。

設定キー	説明	デフォルト値
Installation ID	ホストを識別するID	runner-XXXXXX ランダムな英数字
Public Hostname	外部からアクセスするIPアドレス
Host IP	ホスト間でアクセスするIPアドレス
Availability Zone	ホストのグループ名例えば、AWSのAZ毎にホスト同一グループに配置することで、プライマリシャードと、レプリカシャードをAZレベルで分散できます	ece-region-1a
Capacity	Elastic Cloud Enterprise に割り当てるメモリ量（MB）	8192 ホストリソースで変動

$ curl -L -O https://elastic.github.io/cloud/docs/cloud-enterprise/elastic-cloud-enterprise-installer.sh

$ bash elastic-cloud-enterprise-installer.sh
Unable to find image 'docker.elastic.co/cloud-enterprise/elastic-cloud-enterprise:1.0.0-alpha4' locally
1.0.0-alpha4: Pulling from cloud-enterprise/elastic-cloud-enterprise
3690ec4760f9: Pull complete
e75fbff20467: Pull complete
27452c761733: Pull complete
9d462f6fefc4: Pull complete
5a6f258d5a07: Pull complete
f7709a62228d: Pull complete
372c8e49d9d5: Pull complete
b842b3af6efd: Pull complete
4ddb19818ffc: Pull complete
612cacd1b411: Pull complete
086709959c54: Pull complete
00b2f98d0080: Pull complete
ed5129fa9e4e: Pull complete
87564a518edc: Pull complete
5d75c5546571: Pull complete
0128589694c7: Pull complete
4f5091b95107: Pull complete
bf741c7a9a13: Pull complete
Digest: sha256:5df0d9c7a0af8bd31790e92b46194b6a7fa88955bf8c0dd831cc03979bf2eed4
Status: Downloaded newer image for docker.elastic.co/cloud-enterprise/elastic-cloud-enterprise:1.0.0-alpha4
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Elastic Cloud Enterprise Installer

Start setting up a new Elastic Cloud Enterprise installation by installing the software on your first host.
This first host becomes the initial coordinator and provides access to the Cloud UI, where you can manage your installation.
To learn more about the options you can specify, see the documentation.

NOTE: If you want to add this host to an existing installation, please specify the --coordinator-host flag
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
-- Please supply the following configuration details --
Installation ID: [runner-9JEW0I]
Public Hostname: 172.31.5.78
Host IP: 172.31.5.78
Availability Zone: [ece-region-1a]
Capacity: [8192]
-- All configuration details have been supplied --

-- Verifying Prerequisites --
Checking host storage path... PASSED
Checking docker version... PASSED

Checking internal hostname connectivity... PASSED
Checking internal ip connectivity... PASSED
Checking OS settings... PASSED
-- Completed Verifying Prerequisites --

- Running Bootstrap container
- Monitoring bootstrap process
- Loaded bootstrap settings
- Starting local runner
- Started local runner
- Waiting for runner container node
- Runner container node detected
- Waiting for coordinator candidate
- Detected coordinator candidate
- Detected pending coordinator, promoting coordinator
- Coordinator accepted
- Storing current platform version: 1.0.0-alpha4
- Storing Elastic Stack versions: [2.4.1,5.0.2]
- Creating Admin Console Elasticsearch backend
- Applying Elasticsearch index template
- Updating dynamic Admin Console settings with Elasticsearch cluster information
- Starting reindexing Admin Console data
- Shutting down bootstrapper
- Exiting bootstrapper
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Elastic Cloud Enterprise Installer Completed Successfully

Administration Console Details:
URL: http://54.197.xxx.xxx:12400 (See documentation for HTTPS details)
Username: root
Password: I74S7Cp9n43NVL1fL19Kq0MjiFsoKCdHgmTlYYhlSwc=

To add hosts to this Elastic Cloud Enterprise installation, include the following parameter when you install the software
on additional hosts: --coordinator-host 172.31.5.78
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

成功すると、上記が出力されます。

記載されている URL へアクセスします。

Log_in_–_Elastic_Cloud

ログイン画面が表示されました。Kibana の X-Pack のログイン画面にソックリですね。同じく記載されているユーザー名、パスワードでログインします。使用許諾契約書が表示されます。

Clusters_–_Elastic_Cloud

使用許諾契約書を Accept します。

ログインが完了すると、Elasticsarch クラスタが表示されます。Kibana 5系の UI に似ていますね。

Clusters_–_Elastic_Cloud 2

Elastic Cloud Enterprise の画面説明

詳細な設定は別の機会に説明するとして、今回はメニューレベルで説明します。

メニュー

Kibana 同様、左ペインにメニューがあります。上から、Elasticsearch/Kibanaクラスタ管理、Elastic Cloud基盤管理、設定履歴、ログアウト、メニューの開閉となります。

貼り付けた画像_2016_12_03_17_05

Elasticsearch / Kibana クラスタ管理

Elasticsearch クラスタの作成、設定、Kibana クラスタの設定を行います。

Elasticsarch クラスタ管理

Elasticsearch クラスタの一覧が表示されます。デプロイ時点で Elastic Cloud Enterprise の設定情報を管理する Elasticsearch クラスタが生成されています。

Clusters_–_Elastic_Cloud_2

Kibana クラスタ管理

Elasticsearch クラスタにおいて Kibana を有効化したクラスタが表示されます。デプロイ時点では Kibana はありません。

Elastic_Cloud

Elastic Cloud 基盤管理

リージョン管理

Elastic Cloud 基盤のリージョンが表示されます。 Allocator を割り当てているホスト数、Proxy を割り当てているホスト数が表示されます。今回はシングル構成で一つのホストに Allocator、Proxy の両方が割り当てられています。

Regions_–_Elastic_Cloud 2

設定履歴

設定履歴を表示できます。

Activity_Feed_–_Elastic_Cloud

Elasticsearch クラスタを作成する

Elasticsearch / Kibana クラスタ管理から [ Create Cluster ] をクリックします。

Clusters_–_Elastic_Cloud_2_のコピー

設定画面で設定項目を入力します。

設定キー	説明
Cluster name	クラスタを識別する名前
Elasticsearch version	作成する Elasticsearch のバージョンを指定します。現時点では「5.0.2」「2.4.1」のいずれかを選択できます。 Elastic Cloud 基盤管理から Docker Image 情報を追加することで追加できそうです。
Foult tolerance	シングル構成なので分かりませんが、拠点数を選択できます
Node count	Elasticsarch Node 数を選択できます。 Docker container 数になります。 Proxy からルーティング、負荷分散されます。
Dedicated master-eligibl nodes	Data Node、Master Node を分ける場合、有効化します。
Plugins	インストールするプラグインを選択します。現在表示されているプラグインだけではなく、 Elastic Cloud 基盤管理からプラグインを追加することができます。

Create_Cluster_–_Elastic_Cloud 2

設定キー	説明
Scripting	Inline Scriptsの有効／無効を設定できます。 Stored Scriptsの有効／無効を設定できます。 File Scriptsの有効／無効を設定できます。
Automatic index creation	存在しないインデックへのドキュメントのインデキシング時にインデックスの作成を許可するか設定できます。
Deletion requires name	ワイルドカード指定によるインデックスの削除を許可するか設定できます。

Create_Cluster_–_Elastic_Cloud 3

[ Create Cluster ] をクリックすると、クラスタの作成が開始されます。

Cluster_plans_–_Elastic_Cloud

5分ほどで作成が完了しました。画面上部に表示されているユーザー名、パスワードは X-Pack の Security のユーザー情報となりますので控えておいてください。Elasticsearch Web API にベーシック認証によりアクセスする際に必要となります。

Cluster_plans_–_Elastic_Cloud 3

Show Detail からログを確認して、Plan successfully constructed が出力されていれば、作成成功です。

非常に簡単に作成できました。

Elasticsearch クラスタへアクセスする

Elastic Cloud Enterprise の推奨構成は LoadBalancer を介した Proxy へのアクセスです。今回は分かりやすさを優先して、直接 Proxy へアクセスしています。

Elasticsearch クラスタ一覧に作成した「ece-test」が表示されています。リンクをクリックして詳細設定画面に遷移します。

Clusters_–_Elastic_Cloud 3

Endpoints のリンクが Elasticsearch クラスタへのアクセス URL となります。エンドポイントの URL は Proxy を通して 2台の Node へアクセスされます。

screenshot_2016-12-03_17_31_46

それではアクセスしてみます。エンドポイントの URL へ控えておいたユーザー情報をベーシック認証に指定し、アクセスします。

$ curl -k -u elastic https://99c9ec9d59a5435a8e1e62f22df5c821.172.31.5.78.xip.io:9243/
Enter host password for user 'elastic':
{
"name" : "instance-0000000001",
"cluster_name" : "99c9ec9d59a5435a8e1e62f22df5c821",
"cluster_uuid" : "8KGhh5ABR2OQ6Ym7abShaQ",
"version" : {
"number" : "5.0.2",
"build_hash" : "f6b4951",
"build_date" : "2016-11-24T10:07:18.101Z",
"build_snapshot" : false,
"lucene_version" : "6.2.1"
},
"tagline" : "You Know, for Search"
}

アクセスできました。

プラグインにも選択した analysis-icu、および analysis-kuromoji がインストールされています。

$ curl -k -u elastic https://99c9ec9d59a5435a8e1e62f22df5c821.172.31.5.78.xip.io:9243/_cat/plugins
Enter host password for user 'elastic':
instance-0000000001 analysis-icu 5.0.2
instance-0000000001 analysis-kuromoji 5.0.2
instance-0000000001 found-elasticsearch 5.0.2
instance-0000000001 repository-s3 5.0.2
instance-0000000001 x-pack 5.0.2
instance-0000000000 analysis-icu 5.0.2
instance-0000000000 analysis-kuromoji 5.0.2
instance-0000000000 found-elasticsearch 5.0.2
instance-0000000000 repository-s3 5.0.2
instance-0000000000 x-pack 5.0.2

Kibana クラスタを作成し、アクセスする

Elastic Cloud Enterprise の推奨構成は LoadBalancer を介した Proxy へのアクセスです。今回は分かりやすさを優先して、直接 Proxy へアクセスしています。

Elasticsearch クラスタはデフォルトで Kibana を利用できません。Kibana を利用するには Kibana を有効化する必要があります。

Elasticsearch クラスタの詳細画面から「Manage」ページへ遷移します。

Manage_cluster_–_Elastic_Cloud

Kibana を Enable から有効化します。

有効化されると、[ Go to Kibana ] のリンクが表示されます。[ Go to Kibana ] のリンクが Kibana クラスタへのアクセス URL となります。

screenshot_2016-12-03_18_15_46

Kibana のエンドポイント（Proxy）はプライベートIPアドレスで払い出されます。Proxy からクラスタへは名前ベースでルーティングしているため、インターネットからアクセスしたい場合、今回は /etc/hosts にエンドポイントで Proxy へアクセスするように設定しました。

エンドポイントへアクセスします。

Kibana

Kibana の X-Pack のログイン画面が表示されました。

Elasticsearch のユーザー名、パスワードでログインできます。

Kibana 2

ログインが成功し、Kibana の UI が表示されました。

まとめ

いかがでしたでしょうか？

Elastic Cloud Enterprise のデプロイも、Elasticsearch クラスタのデプロイも非常に簡単にできました。まだ簡単な操作しかしていませんが、今度はホストレベルの冗長化構成を試してみたいと思います。また試してみたエントリします。

Elastic Cloud Enterprise を AWS 環境にデプロイしてみた

デプロイしてみた

環境

OSセットアップ

kernel、xfsprogs のアップデート

Docker インストール

OS 設定

Docker 設定

ネットワーク設定

Elastic Cloud Enterprise のインストール

Elastic Cloud Enterprise の画面説明

メニュー

Elasticsearch / Kibana クラスタ管理

Elasticsarch クラスタ管理

Kibana クラスタ管理

Elastic Cloud 基盤管理

リージョン管理

設定履歴

Elasticsearch クラスタを作成する

Elasticsearch クラスタへアクセスする

Kibana クラスタを作成し、アクセスする

まとめ

イベント

EVENT【5/29（水）大阪】Alteryxの使い方から導入メリットまですべてがわかるセミナー＆ワークショップ

EVENT【5/15（水）リモート】クラスメソッドの会社説明会を開催します

EVENT【5/8リモート】クラスメソッドのフリーランスエンジニア会社説明会〜フィンテック / リテール業界案件特集〜を開催します

EVENT【5/28（火）】AWSを最大活用するための1dayカンファレンス

EVENT【5/17（金）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー

EVENT【5/14（火）】アノテーションの中途向けオンライン会社説明会を開催します

EVENT【5/23（木）】ユースケースに学ぶAWS運用のノウハウ～可視化から統制まで～

EVENT【5/16（木）】Snowflakeを触ってみよう！初めての方向けハンズオンセミナー

EVENT【5/10（金）名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【4/25（木）リモート】Google Cloudに携わるエンジニアのキャリア～クラスメソッド会社説明会～

Elastic Cloud Enterprise を AWS 環境にデプロイしてみた

デプロイしてみた

環境

OSセットアップ

kernel、xfsprogs のアップデート

Docker インストール

OS 設定

Docker 設定

ネットワーク設定

Elastic Cloud Enterprise のインストール

Elastic Cloud Enterprise の画面説明

メニュー

Elasticsearch / Kibana クラスタ管理

Elasticsarch クラスタ管理

Kibana クラスタ管理

Elastic Cloud 基盤管理

リージョン管理

設定履歴

Elasticsearch クラスタを作成する

Elasticsearch クラスタへアクセスする

Kibana クラスタを作成し、アクセスする

まとめ

イベント

EVENT【5/29（水）大阪】Alteryxの使い方から導入メリットまですべてがわかるセミナー＆ワークショップ

EVENT【5/15（水）リモート】クラスメソッドの会社説明会を開催します

EVENT【5/8リモート】クラスメソッドのフリーランスエンジニア会社説明会 〜フィンテック / リテール 業界案件特集〜 を開催します

EVENT【5/28（火）】AWSを最大活用するための1dayカンファレンス

EVENT【5/17（金）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー

EVENT【5/14（火）】アノテーションの中途向けオンライン会社説明会を開催します

EVENT【5/23（木）】ユースケースに学ぶAWS運用のノウハウ～可視化から統制まで～

EVENT【5/16（木）】Snowflakeを触ってみよう！初めての方向けハンズオンセミナー

EVENT【5/10（金） 名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【4/25（木）リモート】Google Cloudに携わるエンジニアのキャリア～クラスメソッド会社説明会～

関連記事

【Security Hub修復手順】[ES.1] Elasticsearch ドメインでは保存時の暗号化を有効にする必要があります

EVENT【5/8リモート】クラスメソッドのフリーランスエンジニア会社説明会〜フィンテック / リテール業界案件特集〜を開催します

EVENT【5/10（金）名古屋】クラスメソッドグループの会社説明会を開催します！