Google Cloud ではじめるリアルタイム分析　〜ユースケースに合ったアーキテクチャやデザインパターンの解説〜＃GoogleCloudDay

こんにちは、アライアンス統括部のきだぱんです。
2022年4月19日~21日に開催された「Google Cloud Day: Digital ’22」に参加しました！
当記事では、Google Cloud Day: Digital ’22のセッションの中から、「Google Cloud ではじめるリアルタイム分析　〜ユースケースに合ったアーキテクチャやデザインパターンの解説〜」というセッションのレポートをお届けします。

それではいってみましょう！！

セッション概要

概要

「リアルタイム分析をしたい」、でも「データをリアルタイムに分析することで何ができるようになるのかがわからない」といった課題をお持ちではありませんか？このセッションでは、どのようなアーキテクチャが適しているのかがわからないと言った方に Google の分析デザインパターンをベースにアーキテクチャや用途について解説します。

登壇者は、Google Cloudの西村 哲徳氏です。

今回、取り上げられた主な Google Cloud 製品 / サービスは、BigQuely、Cloud Dateflow、Cloud Pub/Sub　の三点です。

アジェンダ

• リアルタイム分析のすすめ
• ユースケースから見るデザインパターン

リアルタイム分析とは

リアルタイム分析の必要性

• 機械損失を防ぐ
  • 競争優位を獲得
  • 変化の早い状況への適応
  • より適切なデータポイントの収集
• 誤った判断を防ぐ
  • 鮮度の高いデータでの意思決定
• タイムラグによる選択肢の減少を防ぐ
  • 低コストの打ち手が取れる
  • 余裕を持った変更への適用
  • 意思決定の鮮度を高める

リアルタイム分析の必要性として、大きく3つあります。
なるべく早いタイミングでデータを取っていくことでのアクションが非常に重要です。

業界での変革

リアルタイム分析は様々な業界に変革をもたらします！
例えば、製造業界でリアルタイム分析を導入する場合だと…

• リアルタイムの在庫最適化
• 予知保全とアラート
• スマートサプライチェーン
• フリート管理と分析

と活用できます！！
ほかにも、今回のセッションではヘルスケア、金融サービス、小売、通信の業界での例が挙げられました。
一方で、リアルタイム分析の難しさについても説明がありました。

リアルタイム分析の難しさ

• 無制限なデータに対するウィンドウ集計
  • 集計期間ウィンドウの種類
  • トリガー
  • イベント発生時間と処理時間の違い
  • 遅延データの取り扱い

増加し続けるデータソースの取り込みや、データ処理の拡張性や柔軟性の不足など従来のプラットホームではリアルタイム処理が難しい面もあります。

GoogleCloudが提供するリアルタイム分析ソリューション

GoogleCloudが提供するリアルタイム分析のソリューションには、以下のような特徴があります。

• 堅率なデータ収集サービス
• 統合されたストリームとバッチ処理
• サーバレスアーキテクチャ
• 包括的な分析ツール
• 柔軟性の高さ

上記に記載した従来のプラットフォームでは難しかった部分が、GoogleCloudが提供するリアルタイム分析を使用することにより、解決可能です。ユーザーは結果のみに集中できます。

ユースケースから見るデザインパターン

シンプルなアーキテクチャでリアルタイム分析は様々なユースケースをサポートしてくれます。

ユースケースとして、クレジットカード不正利用のリアルタイム検出があります。
以下のような仕組みです。

• BigQuery ML で機械学習モデルをトレーニングする方法を確認
• オンライン予測用にVertexAIに作成したモデルをデプロイ
• DateflowからVertexAIにリクエストを送りオンライン予測
• 不正検出の状況をLookerでリアルタイムに可視化

詳しい内容は「How to build a serverless real-time credit card fraud detection solution」をご覧ください！
他にも、リアルタイムのクリックストリーム分析、動画クリップ内のオブジェクト検出、個人情報の匿名化と再識別などのユースケースについても説明がありました。

まとめ

リアルタイム分析は、競争優位性を高め、機会損失を防ぎ意思決定の鮮度をあげます。リアルタイム分析の実現に伴う困難はGoogleCloudを活用することにより、軽減し解決することが可能です。
また、GoogleCloudは、シンプルなアーキテクチャで様々なユースケースをサポートしてくれます。
今回紹介されたユースケース以外にも様々なデータ分析のサンプルコードや技術リファレンスがデータ分析の設計パターンに載っていますので、気になる方はぜひご覧ください！！