【レポート】Snowflakeで挑むPOSデータ統合の世界 #SnowdayJapan

こんにちは、スズです。

2023年2月14日（火）にSNOWDAY JAPANが開催されました。

本記事では、株式会社インテージテクノスフィア 新俊駿様のセッションSnowflakeで挑むPOSデータ統合の世界のレポートをお届けします。

セッション情報

大手チェーンの寡占化が進む中、コロナ禍によって生活者の購買行動も変化し、今、消費財メーカーの営業には統合されたPOSデータの分析と生活者の深い理解にもとづいた、訴求力のある提案が求められています。

ここでは、様々なフォーマットで提供されている流通各社のPOSデータを、クラウドとSnowflakeの技術と組み合わせて、どのように統合し、いかに高速に処理するのかをご紹介いたします。

引用元：SNOWDAY JAPAN

スピーカー紹介

新 俊駿 様
株式会社インテージテクノスフィア　データビジネステクノロジー本部　IT基盤推進室　システムコンサルタント

アジェンダ

• 会社紹介
• POSデータの統合とは
• Snowflakeで挑むPOSデータ統合の世界

会社紹介

• インテージテクノスフィア社はインテージ社のシステム開発部門の会社
• インテージ社から2014年に独立

POSデータの統合とは

• CPG(消費財)食品メーカー営業 川口君の一日
  • 大手のバイヤーに契約して、棚をどうやってとってくるのかが大きな仕事

• 今までは棚に商品を陳列してCMを流すことで商品が売れる時代だったがコロナ禍で変化
• 大手チェーンの変化
  • 自分たちでデータ分析して自分たちで売れる商品売れない商品を判断する
• メーカー営業には訴求力のある提案が求められている

• チェーンごとのPOSデータはバラバラで見るだけで疲弊してしまう

• POSデータは店舗のPOSレジを通過したデータ、個人情報は含まれない
• POSデータの統合の課題
  • データ量が多い
  • フォーマットはじめ何もかもが違う
  • 自社のPOSデータ分析システムを構築するとかなりのコストがかかる
  • データ利用者はローデータを横断的に見たい
• 誰もが簡単にデータ分析できる環境を提供すること＝POSデータ統合

Snowflakeで挑むPOSデータ統合

データアーキテクチャー

• 中心にPOSデータ
• 商品マスタ
  • カテゴリー分析軸
• 店舗マスタ
  • エリア（都道府県別、地域別）分析軸
• 在庫データ
  • 自社が持っている在庫
  • 卸に卸した在庫
  • 各店舗のバックヤードの在庫
• 販促データ
  • CM
  • インフルエンサーに払うお金
  • イベント
• 市場データ
  • 日本全体でどれだけ売れているか
• サードパーティー
  • 気象データ

システムアーキテクチャー（全体図）

• データ収集
  • 形式がばらばらなPOSデータ
  • 在庫・販促・マスタは自社管理システムで持っている
  • 市場データはサードパーティーから取得
• インターフェース
  • POSに関してはWebサイトに公開してダウンロードするケースが多い
  • 場合によってはEDI連携
  • データシェアリング
• データ整形・加工・蓄積
  • 設計思想
    • データレイク、データウェアハウス、データマートの3つのレイヤーに分けている
  • データプレパレーション
    • ELT
    • なるべくSnowflakeを使う
  • 自動化
    • なるべくSnowflakeを使う

システムアーキテクチャー（技術要素）

• インターフェース
  • Webサイトから自動的に取得する
  • Amazon S3のストレージ + Snowpipe
  • 提供元がSnowflakeであればデータシェアリングができる
• データ基盤は基本Snowflakeで統一
  • SQLだけでなくJavaとPythonが使えるのが大きな特徴

SnowpipeによるコスパのよいPOSの高速処理

• 各種POSについてはAmazon S3に入れる
• Excelファイルだけは加工してCSVにする
• チェーンごとにデータを流れる仕組みしている
  • Snowpipeで動かした方がコスパがいい
  • 全てのデータが同時に来ても大きな支障がない

Snowflake上における汎用化と共通化

• マスターデータをデータレイクに置いてある
• 共通化
  • Snowflakeのユーザー定義関数を使う
  • マスタに存在しない新商品のチェック
    • 新店は謎の店舗で入ってくる
• 汎用化はストアドプロシージャで実現する
  • Snowflakeに各チェーンごとのレイアウトの情報を入れている

データシェアリングとマーケットプレイス

• サードパーティーとして市場データをデータシェアリング
• マーケットプレイスからウェザーニューズ社の気象データ、インテージ社のマスタデータをデータシェアリング
• 自社データの在庫データ、販促データをSnowflakeに入れる

マルチクラウドの必要性

• お客様の環境で動かさなければならない
• AWSやAzureの環境で動かせる定義をしている
• Snowflakeに寄せることで開発工数を削減している

Snowflakeの真価

• 100チェーンのPOSデータを持っていると100人の営業マンがいることが想像できる
  • 100人が同時に使う可能性がある
• ワークロードをマネジメントしなくても非常に早く実行できる
• 膨大なアクセスにも耐えうる同時実行性能

目指すゴール

• 市場の動きを把握できて迅速に意思決定できる
• 卸しに卸しても在庫を抱えて消費者に届いていない、リアルな在庫を確認して廃棄ロスを削減していく

THANK YOU

• インテージテクノスフィア社ではSnowflakeの先進テクノロジーを最大限活用
• 幅広い業界でデータ利活用を支援

最後に

Snowflakeで挑むPOSデータ統合の世界のレポートをお届けしました。Snowpipeやデータシェアリング、マーケットプレイスといったSnowflakeの機能を生かした設計を、分かりやすく紹介いただきました。Snowflakeを使ったデータ統合について、勉強になる内容でした。

SNOWDAYのセッションは、オンデマンド配信で視聴することも可能です。配信期間は2023/03/01～2023/03/31となっています。イベント当日に予定があって視聴できなかった方、見たいセッションの時間が被っていて視聴できなかったという方は、オンデマンド配信を楽しみにお待ちください。