Elastic Stack 5.0.0 GAがリリースされました【アップデート情報まとめ】
こんにちは、藤本です。
現地時間10/26に Elastic Stack 5.0.0 の GA がリリースされました。Beta 1 が一ヶ月ちょっと前、rc 1 が20日弱前とまだまだ rc のバージョンを積み重ねて来るかと思ったらもう GA リリースです!早い!
細かい機能の検証はおいおいやるとして、今回は Elastic Stack 5.0.0 の全体的なアップデート情報、および機能単位の情報で得ることができるリンクを集めてみました。Elastic Stack 5.0.0 のアップデートを追っていなかった人の参考になると幸いです。
Elastic Stack 5.0.0
まずはElastic Stack 5.0.0の全体的な大きなアップデートをサラッと拾い上げたいのであれば以下のURLが参考になります。
公式ブログ(日本語)
- Elastic Stack 5.0.0 GA リリース
https://www.elastic.co/jp/blog/elastic-stack-5-0-0-released
公式ブログ(英語)
- Elastic Stack 5.0.0 Released
https://www.elastic.co/blog/elastic-stack-5-0-0-released
Elastic 大谷さんのスライド
インストール
Elastic StackのプロダクトのYUMリポジトリ、Debianリポジトリが統合されました。一つのリポジトリ定義でどのプロダクトもインストールできます。
早速、Acroquest Technologyさんがブログアップされています。
ブログ
- Elastic Stack 5.0.0 GAリリース! 早速インストール!! #elasticsearch
http://acro-engineer.hatenablog.com/entry/2016/10/27/165342
インストールディレクトリの統一
RedHat系OSにRPMでインストールした場合、今までは/opt/配下や、/usr/share/配下と統一感がなかったインストールディレクトリが全て/usr/share/配下にまとめられました。
プラグインコマンドの統一
plugin
やkibana plugin
など各プロダクトの統一感がなかったプラグインコマンドが、elasticsearch-plugin
、kibana-plugin
、logstash-plugin
といったPRODUCTNAME-plugin
という命名規則で統一されました。
公式ドキュメント
Elasticsearch 5.0.0
Elaticsearchはパフォーマンス・安定性の向上、新機能と非常に多くのアップデートがありました。
公式ブログ(英語)
- Elasticsearch 5.0.0 released
https://www.elastic.co/blog/elasticsearch-5-0-0-released
変更内容
- Breaking changes in 5.0
https://www.elastic.co/guide/en/elasticsearch/reference/current/breaking-changes-5.0.html -
5.0.0 Combined Release Notes
https://www.elastic.co/guide/en/elasticsearch/reference/current/release-notes-5.0.0.html
Ingest Node
Elasticsearch で Logstash の Filter Plugin の一部が実装されました。Logstash を使わなくとも、Elasticsearch 側でデータの加工・変換が可能となりました。Logstash サーバ導入による SPOF になりがちな構成、データ集約による負荷集中を回避できます。またデータの加工・変換が乏しい Beats(主にFilebeat) を利用できなかった環境でも Ingest Node によって利用できるケースが多くなります。
公式ドキュメント
公式スライド
弊社ブログ
- ElasticsearchのIngest Nodeを試してみた
https://dev.classmethod.jp/server-side/elasticsearch/elasticsearch-ingest-node/ -
User Agentを解析するIngest Pluginを書いてみた
https://dev.classmethod.jp/server-side/elasticsearch/ingest-plugin-useragent/
Painless Scripting
Elasticsearch 2系まで Scripting のデフォルト言語は Groovy でしたが、Elasticsearch 5系から Groovy と構文が似た独自言語の Painless Scripting に変更されました。Painless Scripting を利用することで、セキュリティ、パフォーマンスを向上を図ることができました。
公式ブログ
- Painless: A New Scripting Language
https://www.elastic.co/blog/painless-a-new-scripting-language
公式ドキュメント
- Painless Scripting Language
https://www.elastic.co/guide/en/elasticsearch/reference/5.0/modules-scripting-painless.html
Kibana
Kibana はデザイン変更、一部 Plugin の標準実装、X-Packとのインテグレーションが進みました。CSVからの取り込みや、Ingest Nodeの設定は取り込まれなかったようです。
公式ブログ(英語)
- Kibana 5.0.0 released
https://www.elastic.co/blog/kibana-5-0-0-released
変更内容
- Breaking changes in 5.0
https://www.elastic.co/guide/en/kibana/current/breaking-changes-5.0.html -
5.0.0 Release Notes
https://www.elastic.co/guide/en/kibana/current/release-notes-5.0.0.html
デザイン変更
WebUIのデザインが大きく変更されました。グラフ、ダッシュボードに広く画面を利用できるようになったり、ダッシュボード内のグラフのサイズを4系より細かく調整する事ができるようになりました。
弊社ブログ
半年以上前のブログなのでだいぶ構成は異なりますが、、
- Kibana v5.0.0を触ってみた #elasticon
https://dev.classmethod.jp/server-side/elasticsearch/review-kibana-v5/
Timelion、Console(旧Sense)の標準実装
Kibana 4系ではオフィシャルプラグインとして提供されていた Timelion(Timeseries含む)、Console(旧Sense)が標準実装されました。
公式ドキュメント
- Timelion
https://www.elastic.co/guide/en/kibana/current/timelion.html -
Console
https://www.elastic.co/guide/en/kibana/current/console-kibana.html
Logstash
Logstash は Monitoring API の実装、Core の実装を JRuby から Java に書き換えることでパフォーマンスが向上しました。
公式ブログ(英語)
- Logstash 5.0.0 released
https://www.elastic.co/blog/logstash-5-0-0-released
変更内容
- Breaking changes
https://www.elastic.co/guide/en/logstash/current/breaking-changes.html -
Release Notes
https://www.elastic.co/guide/en/logstash/current/releasenotes.html
Monitoring API
Logstash のステータスを Web API で取得することができるようになりました。
公式ブログ(英語)
- Monitoring APIs
https://www.elastic.co/guide/en/logstash/current/monitoring.html
弊社ブログ
下記ブログ内で紹介しています。
- 【速報】Elastic Stack 5.0.0-alpha1がリリースされました
https://dev.classmethod.jp/server-side/elasticsearch/elastic-stack-5-0-0-alpha-1-released/
Logstash 設定ファイル
Logstash は今までプロセス起動時のオプションでアプリケーション設定を行っていましたが、設定ファイルで定義可能となりました。パイプラインの並列実行数や、ログ設定を可能となりました。てっきり Logstash のパイプライン構成ファイルが YAML形式で書けるようになったかと思っていました。
公式ドキュメント
Beats
Beats は Metricbeat のリリース、Apache Kafkaへのアウトプット対応、Filebeat の JSON対応などがありました。
公式ブログ(英語)
- Beats 5.0.0 released
https://www.elastic.co/blog/beats-5-0-0-released
変更内容
- Breaking Changes in 5.0
https://www.elastic.co/guide/en/beats/libbeat/current/breaking-changes-5.0.html -
Release Note
https://www.elastic.co/guide/en/beats/libbeat/current/release-notes-5.0.0.html
Metricbeatリリース
Topbeat が Metricbeat に名前変えてリリースされました。今までは名前の通り、top
コマンドで取得できるような OS レベルのリソース使用状況を採取していましたが、Metricbeat からは加えて、Apache、Nginx、MySQL、PostgreSQL、Redisなどといった著名なミドルウェア、Dockerコンテナのモニタリングできるようになりました。
公式ドキュメント
- Metricbeat Reference [5.0] - Overview
https://www.elastic.co/guide/en/beats/metricbeat/current/metricbeat-overview.html -
Monitoring Container Resource Usage with Metricbeat
https://www.elastic.co/blog/monitoring_container_resource_usage_with_metricbeat
ブログ
Acroquest Technologyさんのブログで少しご紹介されています。
- Elastic Stack 5.0 alpha 3で、いよいよ登場Metricbeat! #elasticsearch
http://acro-engineer.hatenablog.com/entry/2016/06/03/202042
Kafkaへのアウトプット追加
各種 Beats から Apache Kafka へのアウトプットがサポートされました。Beats から Elasticsearch へのデータ送信が数十、100台を超える環境では一度 Apache Kafka にバッファすることでデータのロストの防止、Elasticsearch の負荷調整を行うことができます。
公式ブログ
- Elastic Stackにちょうど良いKafka パート1(日本語)
https://www.elastic.co/jp/blog/just-enough-kafka-for-the-elastic-stack-part1 -
Elastic Stackにちょうど良いKafka パート2(日本語)
https://www.elastic.co/jp/blog/just-enough-kafka-for-the-elastic-stack-part2
Filebeat の JSONサポート
Filebeat が JSON 形式のログファイルをパースすることができるようになりました。
公式ブログ
- Structured logging with Filebeat
https://www.elastic.co/blog/structured-logging-filebeat
X-Pack
Elastic Stack 5.0.0 からサブスクリプションプロダクトが X-Pack として、統合されました。
公式ブログ
- X-Pack 5.0.0 Released
https://www.elastic.co/blog/x-pack-5-0-0-released
変更内容
弊社ブログ
最近、私が各プロダクトの新機能をまとめたブログをエントリしました。
- Elastic StackのX-Packを試す(インストール編)
https://dev.classmethod.jp/server-side/elasticsearch/elastic-stack-x-pack-install/ -
Elastic StackのX-Packを試す(Security編)
https://dev.classmethod.jp/server-side/elasticsearch/elastic-stack-x-pack-security/ -
Elastic StackのX-Packを試す(Monitoring編)
https://dev.classmethod.jp/server-side/elasticsearch/elastic-stack-x-pack-monitoring/ -
Elastic StackのX-Packを試す(Watcher編)
https://dev.classmethod.jp/server-side/elasticsearch/elastic-stack-x-pack-watcher/ -
Elastic StackのX-Packを試す(Reporting編)
https://dev.classmethod.jp/server-side/elasticsearch/elastic-stack-x-pack-reporting/
Graph編も執筆予定です。
ES-Hadoop
私が触ったことないのでよく分かっていないのですが、、、ロゴが可愛い!ステッカー欲しい!
Spark 2.0対応、Hive 1.0対応、Storm 1.0に対応しました。
公式ブログ
- Elasticsearch for Apache Hadoop 5.0.0
https://www.elastic.co/blog/es-hadoop-5-0-0-released
変更内容
- C. Breaking Changes
https://www.elastic.co/guide/en/elasticsearch/hadoop/current/breaking-changes.html -
D. Release Notes
https://www.elastic.co/guide/en/elasticsearch/hadoop/current/release-notes.html
まとめ
いかがでしたでしょうか?
Elastic Stack 5.0.0 は非常に多くのアップデートがあり、今回はほんの一部の私が気になった新機能のリンクだけを集めています。私は Elastic Stack 5.0.0 のアップデートを追いかけてるつもりでしたが、リンクをまとめる中で新しい発見が多くありました。是非一度、リンクを覗いてみて、欲しかった機能がないか探してみてください。