ログ分析ソリューションSplunk Enterpriseをパッケージを使って構築してみた

統合ログ分析ソリューションSplunk Enterprise をAWS上に構築してみたいと思います。

Splunk Enterpriseの構築方法は複数あり、MarketPlaceにあるセットアップ済みAMIの利用や、クイックスタートがありますが、今回はパッケージを使い手動で構築してみたいと思います。

その後、AWSと連携させるためのプラグイン（Splunk App for AWS）を導入し、AWSから取得したデータをSplunk上で表示してみたいと思います。

Splunkを使うとどんな事ができるの？という方は以下の記事を参照してください。

• 統合ログ分析ソリューションSplunkの凄さを公式チュートリアルで体感する

検証環境

本エントリでは以下の環境を利用しています。

• OS：RHEL-8.0.0_HVM-20190618-x86_64-1-Hourly2-GP2 (ami-09f31cc5d5eecca1a)
• Splunk Enterprise：8.0.0
• Splunk App for AWS version：5.1.0
• Splunk Add-on for Amazon Web Services version：4.4.0

前提

• インストール対象のEC2が構築済みであること
• Splunkアカウントが発行済みであること（フリートライアル版のダウンロードに利用）
  • Create Your Account

Splunk Enterprise構築

Splunk Enterpriseダウンロード

ダウンロードページより「Splunk Enterprise」をクリックします。（Splunk Accountでログインが必要です）

「Linux」を選択し「Download Now」をクリックします。ここではrpmパッケージを利用したいと思います。

ダウンロードが完了したら任意の方法で、インストール対象サーバにパッケージを配置します。

[ec2-user@ip-172-31-40-35 ~]$ ls -l
total 457756
-rw-rw-r--. 1 ec2-user ec2-user 468738833 Nov 27 01:42 splunk-8.0.0-1357bef0a7f6-linux-2.6-x86_64.rpm
[ec2-user@ip-172-31-40-35 ~]$

• 参考：Access the Trial version of the Splunk software

Splunk Enterpriseのインストール

インストールコマンドはrpm -i <パッケージ名>となります。パッケージを配置したディレクトリにてコマンドを実行します。

[ec2-user@ip-172-31-40-35 ~]$ sudo rpm -i splunk-8.0.0-1357bef0a7f6-linux-2.6-x86_64.rpm
warning: splunk-8.0.0-1357bef0a7f6-linux-2.6-x86_64.rpm: Header V4 RSA/SHA256 Signature, key ID b3cd4420: NOKEY
useradd: cannot create directory /opt/splunk
complete
[ec2-user@ip-172-31-40-35 ~]$ ls -l /opt/splunk
total 2896
drwxr-xr-x.  4 splunk splunk    4096 Nov 27 01:43 bin
-r--r--r--.  1 splunk splunk      57 Oct 19 02:20 copyright.txt
drwxr-xr-x. 15 splunk splunk    4096 Nov 27 01:44 etc
-rw-r--r--.  1 splunk splunk     467 Nov 27 01:44 ftr
drwxr-xr-x.  4 splunk splunk      62 Nov 27 01:43 include
drwxr-xr-x.  8 splunk splunk    4096 Nov 27 01:43 lib
-r--r--r--.  1 splunk splunk   56043 Oct 19 02:20 license-eula.txt
drwxr-xr-x.  3 splunk splunk      58 Nov 27 01:43 openssl
-r--r--r--.  1 splunk splunk     844 Oct 19 02:23 README-splunk.txt
drwxr-xr-x.  4 splunk splunk     108 Nov 27 01:43 share
-r--r--r--.  1 splunk splunk 2879058 Oct 19 03:16 splunk-8.0.0-1357bef0a7f6-linux-2.6-x86_64-manifest
[ec2-user@ip-172-31-40-35 ~]$

ここでは、インストール先は未指定なので、デフォルトのディレクトリ（/opt/splunk）にインストールされます。

• Install Splunk Enterprise

Splunk Enterprise起動

Splunkのbinディレクトリ（ここでは/opt/splunk/bin）に移動後、Splunkを起動します。初回起動時はライセンス規約が表示されるので内容を確認し同意します。

[ec2-user@ip-172-31-40-35 ~]$ cd /opt/splunk/bin
[ec2-user@ip-172-31-40-35 bin]$ sudo ./splunk start

SPLUNK SOFTWARE LICENSE AGREEMENT

This Splunk Software License Agreement ("Agreement") governs your use of
Splunk software.

(省略)

Splunk Software License Agreement 10.21.2019

Do you agree with this license? [y/n]: y

Splunk管理ユーザーの作成が求められますので任意のユーザを作成します。

This appears to be your first time running this version of Splunk.

Splunk software must create an administrator account during startup. Otherwise, you cannot log in.
Create credentials for the administrator account.
Characters do not appear on the screen when you type in credentials.

Please enter an administrator username:sakamaki

作成するユーザーのパスワードを設定します。

Password must contain at least:
   * 8 total printable ASCII character(s).
Please enter a new password:
Please confirm new password:

セットアップが開始されます。

Copying '/opt/splunk/etc/openldap/ldap.conf.default' to '/opt/splunk/etc/openldap/ldap.conf'.
Generating RSA private key, 2048 bit long modulus

(省略)

The Splunk web interface is at http://ip-172-31-40-35.ap-northeast-1.compute.internal:8000

Splunkが起動しました。

[ec2-user@ip-172-31-40-35 bin]$ sudo ./splunk status
splunkd is running (PID: 1382).
splunk helpers are running (PIDs: 1385 1401 1463 1485).
[ec2-user@ip-172-31-40-35 bin]$

Splunk Web（http://パブリックIP(or DNS名):8000）にアクセスします。（事前にセキュリティグループで該当ポートの許可が必要になります。）

• 参考：Launch Splunk Web

Splunk Webにアクセスできました。

自動起動設定

システム起動時にSplunkが起動するように設定しておきましょう。

[ec2-user@ip-172-31-40-35 bin]$ sudo /opt/splunk/bin/splunk enable boot-start -systemd-managed 1
Systemd unit file installed at /etc/systemd/system/Splunkd.service.
Configured as systemd managed service.

• 参考：Configure Splunk Enterprise to start at boot time

Splunk App for AWS構築

Splunkアプリ（Splunk App for AWS）追加

Splunk Enterpriseが構築できたので、AWS統合サービス（Splunk App for AWS）を追加したいと思います。以下ページよりそれぞれファイルをダウンロードします。

• Splunk App for AWS
  • 主にインプットされたデータからUIを提供する
• Splunk Add-on for Amazon Web Services
  • AWSからデータを取得するアドオン

ファイルダウンロード後、Splunk Webより「Appの管理」をクリックします。

「Install app from file」をクリックします。

ファイルを指定し「Upload」をクリックします。

更新を完了するため、Splunk Enterpriseを再起動します。

ダウンロードしたファイルそれぞれを、アップロード/反映するとアプリケーションが追加されていることが確認できます。

• 参考：Install the Splunk App for AWS on Splunk Enterprise

Splunk App for AWS設定

IAMロールアタッチ

AWSよりデータを取得するため、必要な権限をSplunk Enterpriseサーバに与えます。該当のEC2にIAMロールをアタッチし、必要な権限（ポリシー）を与えます。必要になる権限は取得するデータ(CloutTrail、CloudWatch Logsなど)により異なりますので、以下を参考にしてください。

• 参考：Configure AWS permissions for the Splunk Add-on for AWS

AWSサービスの事前設定

CloutTrailなど、ログを取得するサービスに対し、事前にAWS側で設定が必要になります。以下を参考に設定しておきましょう。

• 参考：Configure AWS services for the Splunk Add-on for AWS

Splunk Add-on for AWSデータ取得

ここでは、VPC Flow Logsのデータを取得してみたいと思います。「Splunk Add-on for AWS」より「追加」をクリックします。

「Create New Input」をクリックします。

「VPC Flow Logs」-「CloudWatch Logs」をクリックします。

EC2にアタッチしたロール等を指定します。

しばらく待った後にサーチ画面を確認すると、ソースタイプにaws:cloudwatchlogs:vpcflowが増えていたら、Splunkにデータが入力されています。

送信データが表示された後は、自由にログを検索できます。

さいごに

今回はパッケージを利用し、手動で構築しましたが、Splunk Enterpriseを利用するときはMarketPlaceの利用が簡易的かつ確実だと思いました。また、実際の案件では可用性等の検討等も必要になると思いますので、その際は、クイックスタートを参考にしてもよさそうです。そう考えだすとSplunk Cloudを利用した方が手堅いなのかなあとも思いました。

関連記事

• splunk – 特集カテゴリー –