[レポート]ビッグデータオールスターズに参加してきました

Ryosuke IGARASHI

2015.08.04

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんにちは、入社ほやほやの五十嵐です。さて今回は、8/1(土)に行われた『ビッグデータオールスターズ』のレポートを、これまでビッグデータにはあまり馴染みのなかった私の視点から書いてみたいと思います。内容に不備などがありましたら、コメント等でお知らせ頂ければと思います。

今回参加した目的は、クラスメソッドでもビッグデータを使ったデータ分析などのお仕事を行っているため、社内の会話についていくための情報キャッチアップといったところで参加してみました。

このエントリーでは、まずはじめに全体の所感を述べて、その後で個々のセッションについて書いていきたいと思います。なお、パネルセッションについては非常にざっくばらんなお話が飛び交っていましたので、レポートは控えさせていただきます。

全体の所感

ビッグデータと一口に言っても、基盤を提供するクラウド事業者やサービス業者・ビッグデータをビジネスとして活用するサービス事業者・ビッグデータを分析する技術者など、係る人が多く、それぞれのレイヤーで最新の動向や事例などが紹介されました。

基盤を提供するクラウド事業者やサービス業者

クラウドの3巨人であるGoogle,MicroSoft,AWSとTreasureDataが登壇されました（敬称略）。クラウドのビッグデータ基盤については既に3社とも、『安く・早く・簡単に』ができて当たり前になっていて、その上で顧客のビジネスに対してどのようにアプローチするかをそれぞれが特色を出しておられるという感じでした。またTreasureDataについては、先に述べたようにクラウドのビッグデータ基盤は『簡単に』作れる環境ではありますが、とはいえ、技術を選択・採用する面では知識と経験が必要だったりします。そのような人材が会社にいればよいですが、そうはいかないのも現実としてありますので、そういう時にはTreasureDataのようなすべてワンセットで提供されるビッグデータ基盤を活用するという方法も良い選択だと思いました。

ビッグデータをビジネスとして活用するサービス事業者

サービス事業者からはYahoo!JAPANとLINEが登壇されました（敬称略）。どちらも日本トップクラスのビッグデータを扱われている企業であるため、現場で起きる問題点や解決へのアプローチが面白かったです。中でもLINEのKPI分析における異常値を自動検知する仕組み興味が深かったです。

ビッグデータを分析する技術者

ビッグデータ分析技術の紹介として、リクルートテクノロジーズとCyberAgent、GMOインターネットが登壇されました（敬称略）。技術寄りな内容で分からないことも結構ありましたが、3者とも共通していたことは「Apache Sparkを使っている」ということでした。私は「Spark」のことを名前を知っているレベルだったのですが、SparkのSQLやStreaming、MLlibなどを使うことで非常に簡単にビッグデータ分析の導入ができるという印象を持ちました。

セッションレポート

セッション①『ビッグデータ×クラウド』

『Googleが描く、MapReduceを超えたビッグデータの世界』

BigQueryの話をメインにされていました。

BigQueryはリレーショナルなデータ構造を持ち、SQLらしいシンプルな構文でビッグデータを高速に分析できるのが特徴ということでした。

なぜ高速に処理できるのかはいくつか理由があり、

カラム指向ストレージ（データを収納するストレージをカラム毎に分ける）
データセンターの数千台のサーバを並列で使っている
データを集約するネットワークもハードウェアレベルでGoogleが独自で開発している

ということでした。

試しに使いたい場合は、こちらから無料枠で体験できます。

Google BigQuery - フルマネージドのビッグデータ分析サービス — Google Cloud Platform

『Cortana さんが、Azure とやってくる!』

まずはじめに先日リリースされたWindows10の中から、Cortanaの紹介がありました。 Cortanaは自然言語での問い合わせでデータベースを検索できるということです。例えば、PowerBIの検索ボックスに"sales per month"と入力すると月間の売上データが返されました。 PowerBIは簡単に説明するとクラウド上にある巨大なExcelだということで、ビッグデータの分析結果をグラフなどでリアルタイムに表示することができます。

デモではAzureの機能を組み合わせて、Twitterのツイートをストリーミングデータとして入力しリアルタイムで分析してPowerBIに表示するまでを紹介していただきました。

Azureの構成は以下のとおりです。

EventHub: データのRead
StreamAnalytics: データのWrite
PowerBI: データのOutput

またこれらの機能をひとまとめにした『Cortana Analytics Suite』というサービスが近日公開されるということでした。

『AWS Lambdaがもたらすデータ処理の自動化とコモディティ化』

AWS Lambdaの話を中心にAWSを使ったビッグデータ処理についての紹介がありました。 Lambdaを使うことでイベントドリブンな処理が可能になりEC2などのインスタンスを持つ必要がないということです。

AWSを使ったビッグデータ処理の構成については

データの入力や収集: S3,Kinesis,DynamoDB
データの処理: Lambda, KCL Apps, Elastic MapReduce
データの分析: Elastic MapReduce, RedShift, Machine Leaning

などが挙げられていました。

また事例として、IoT（ラズパイ）を使った温度センサーや、ビッグデータではないですがLambdaでAuroraの性能試験を行う構成などの紹介がありました。

『Treasure Dataの作り方』

Treasure Dataはワンストップで使えるデータ分析のプラットフォームをクラウド上で提供されているサービスです。クラウドを使いつつも内部は独自で作られているものも多く、そこから生まれたものはOSSとして公開する文化があるということです。その1つとして、Fluentdなどがあります。

セッションの中では独自で開発されている部分のアーキテクチャや高速化の仕組みを紹介していただきました。

Session2 『ビッグデータ×ウェブビジネス』

『ビッグデータとウェブビジネス』

まずはじめにYahoo!JAPANで行われているライブテストのご紹介がありました。同社では常時40程度のライブテストを行っており、それらにまつわるノウハウが紹介されました。

インパクトの大きなテストをやった後は暫く時間を置く
デバイスごとにテスト設計を変える（例えば、デバイスごとに色味が異なる）
繁忙期などはユーザの行動が通常と違うので参考にならない
サービス関連系（例えば、検索結果からオークションサービスへ移動した時の表示順）もしている
テストの効率化（マルチレイヤー化）は今後の取り組み

次に検索エンジンから見る競合分析の事例を紹介いただきました。検索エンジンの履歴（ビッグデータ）を使うことで、どのようなユーザ層がどのような行動をしているのかが分かるということです。システム構成はHadoop+SolrCloudということです。

『グローバル化・多様化するウェブサービスに対峙する分析環境』

はじめにLINEのデータ分析基盤の紹介がありました。

ちょっと難しかったのでまとめだけ紹介しますと、以下の様な構成を使われているということでした。

データの収集: Fluentd, Hadoop
データの集計: Hive, Shib, Norikra
データの可視化: IBM Cognos, etc...
データの抽出: Presto, infiniDB, etc...

またもうひとつのテーマとして、サービスがグローバル化・多様化したことによる問題点と解決策の取り組みの紹介がありました。

問題点としては、サービスが成長するとともにKPIが激増し、その結果KPIの結果を見なくなるということが起きるそうです。そこで『KPI Monitoring』というKPIの結果を自動評価する仕組みを開発されたそうです。これは、統計処理・機械学習などにより、あらかじめKPIの結果値を予測し、実際の値とのズレがあればアラートを出す仕組みだということです。実際に予測と結果のグラフが紹介されましたが、かなり高い精度で予測がされていました。