Fluentd Casual Talks #3 に参加してきた #fluentdcasual

#Fluentd

#イベントレポート

しんや

2013.12.15

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

複数台のサーバーやクラウド環境を組み合わせたサービス運用において非常に有用となる様々なログの収集手段を提供するfluentdに関する勉強会『Fluentd Casual Talks #3』が開催されたので参加してきました！

Fluentd: Open Source Log Management

『#3』とあるように、今回でこのイベントは3回目。過去2回も100人〜200人規模での参加があり、非常に盛り上がっているシリーズとなっているようです。以下に過去2回分の参加レポートなどのまとめを置いときます。

開催会場はDeNA＠渋谷。下の写真はヒカリエ11F受付前ですが、キラキラが何かもう必要以上にキラキラです...(ΦωΦ )w

発表者各者のスライド資料については、早い人は発表直後にUpされており終了〜当日内には粗方揃っている状態に。これは参加者が内容を確認しながら振り返る事が出来るので嬉しいところですね。また、タイムスケジュールや会場諸注意等も以下のように紙で配布・通知されていたのもこの規模の人数を対処する上では効果的だな〜と思いました。

開催プログラムは以下となります。飛び入り参加もあった今回の内容。資料参照とざっくりコメントで流して見て行きたいと思います。では以下メモ。

Session-01.fluent-plugin-norikra
Session-02.FluentdでShadowサーバ用意したら捗った話(と性能検証の話)
Session-03.Alternative Fluentd implementation in Go
Session-04.Windows版Fluentdで幸せになれますか
Session-05.Treasure Agent Monitoring Service
LT-01.large td-agent.conf with Chef
LT-02.Fluent as a Middleware Engine - Yamabiko
LT-03.ご家庭でFluentd
LT-04.OutputとBufferedOutputの間の何か
LT-05.What's new in v11 - Fluentd v11について

Session01.
fluent-plugin-norikra

発表：tagomoris(TwitterID:@tagomoris)さん

fluent-plugin-norikra #fluentdcasual

fluent-plugin-norikra #fluentdcasual from SATOSHI TAGOMORI

トップバッターは主催者@tagomorisさん作成のプラグイン紹介。フォーマットやフィールド(名)が多岐に亘る可能性があるログ出力環境にて、集計処理をフレキシブルに書きたい人にオススメのプラグインとなっております。従来の書き方でも若干煩雑になりがちな問合せの式を、このプラグインを使うことでとても分り易くシンプルに書く事が出来ます。詳しくはスライドをご参照。また、@tagomorisさんのブログエントリ各種もFluentdを学ぶ上では必見コンテンツです。

[fluent] - tagomorisのメモ置き場

Session02.
FluentdでShadowサーバ用意したら捗った話(と性能検証の話)

発表：そのっつ (SEO Naotoshi) (TwitterID:@sonots)さん

Shadow Server in Fluentd at Fluentd Casual Talks #3 from Naotoshi Seo

DeNAの中の人@sonotsさんが次いでの発表に。Haikanko(配管工)、Yohoushi(予報士)という2つのFluentd関連プロダクトをリリースされています。

事例発表の説明で"『世界最大級』のユーザー"ってどーん！と出て来たのでおお！さすが...と思ったら設定ファイルの話だったようでw これは死ねる...ww

うちの fluentd.conf は２万行あるぞ

— そのっつ (SEO Naotoshi) (@sonots) 2013, 9月 27

下記Shadowサーバの仕組みをFluentdでやりたい！というところから始まった取り組みの内容と、それらの性能検証に関する報告内容が続きました。

Go言語を含む複数種類の言語により実装されたソフトウェアのベンチマーク - Qiita [キータ]

Session03.
Alternative Fluentd implementation in Go

発表：Shinji Tanaka (TwitterID:@stanaka)さん

Alternative Fluentd implementation in Go // Speaker Deck

はてなCTOの@stanakaさんによる発表はGo言語でFluentd実装をやってみた、という話。LTSVをリリースが反響が大きく(相当バズった)、その話の流れで『はてなのなかで1000ブクマを取ったものだけが入れるグループがあるらしい』との事。何それ超興味ある...(笑)

氏自ら『Fluentdと言いながら割とGoの宣伝をするスライドとなっております』と言うように、中身はGo実装の解説が主な内容となっております。fluentd実装の名前は『ik』と書いて『アイケー』と読むのだそうです。

Session04.
Windows版Fluentdで幸せになれますか

発表：Masakiyo (TwitterID:@Masakiyo2)さん
発表：okahashi117 (TwitterID:@okahashi117)さん

会場参加者の大半がMacの中、Windows版Fluentdのご紹介。発表者のお二人は共にWindowsブランチのコミッタ。エンジン部分とプラグイン部分双方の面で対応を行い、現在絶賛動作検証中だそうです。駄目出し募集中とのこと。でも本番ではまだ使わないでください、という事でした。:-)

Session05.
Treasure Agent Monitoring Service

発表：Kazuki Ohta(TwitterID:@kzk_mover)さん

Treasure Agent Monitoring Service (ベータ)

Treasure Agent Monitoring Service (ベータ) from Treasure Data, Inc.

発表5本目は、Treasure Data社CTO、太田一樹氏が急遽参戦!!『Treasure Agent Monitoring Service』をイベント発表時間中にリアルタイムでリリースするというサプライズでした。公開時にパスワードを皆の目の前で入力しようとして危うく情報を晒しかねないという一面も(笑)