【レポート】【ユーザー事例】IT部門発！Snowflakeを用いたスモールスタートの基盤構築でQuickWinを実現 #SnowdayJapan

こんにちは、スズです。

2023年2月14日（火）にSNOWDAY JAPANが開催されました。

本記事では、パーソルホールディングス株式会社 中桐亮様のセッション【ユーザー事例】IT部門発！Snowflakeを用いたスモールスタートの基盤構築でQuickWinを実現のレポートをお届けします。

セッション情報

期中、予算もリソースも技術もない所からデータの利活用を進めたい強い思いでデータ基盤構築構想をスタートしました。 そんな状況にマッチするSnowflakeと出会い、思いを持った業務部門の協力を得て、短期間での基盤構築に成功しました。

構築の中でいくつかの課題も出ましたが、SaaS製品ならではの解決策で想定以上の効果を実感しました。

スモールスタートを志す企業様の参考事例としてお話させていただきます。

引用元：SNOWDAY JAPAN

スピーカー紹介

中桐 亮 様
パーソルホールディングス株式会社　DX企画部　部長

会社紹介

• パーソルグループ概要

• パーソルグループの沿革

• 事業概要・体制図

• サービスラインナップ

• グループビジョン
  • はたらいて、笑おう。

• 部門紹介（構築当時）
  • CIO/CDOの直下でパーソルグループの人事や財務の開発/保守運用を担当する情報システム部門
  • バック系の部門をやっているという点が、このあとの事例につながってくる

データ基盤構築への取り組み

• データ利活用への思いはあるが課題はある
• リソース
  • 現業務で手一杯
  • データ基盤を構築する技術を持った社員がいない
• コスト
  • 年度計画に入っておらず予算がない
• ニーズ
  • バック系の部門もデータ利活用のニーズはあるが具体的なニーズが分からない
• まずはスモールスタートで
  • 部員1名と部長の2名体制でのスタート
  • スケールするため中途採用を計画
• デジタル化への強い思い
  • お金がないからやらないのではなく、部門案件を調整して少額でも予算を捻出
  • 年度計画を修正して承認を得る
• ニーズのないシステム開発は行わない
  • 使われないシステムは絶対に作らない
  • まずは各部門の状況をキャッチ

• バック系の業務からは声が上がりづらい状況だった
• フロントでのデータ活用のデジタル化は先進的に進んでいるが、コーポレート部門のバック系の業務のデジタル化は遅れ気味
  • 自分たちでやれることはExcelなどで自分でやってしまう

• 人事部門の中で多数の手集計の業務があることが分かった
  • 簡単なものから匠の技のものまで

• 人事部門とのタッグを組み取り組みを進めることに

• 投資対効果や実現のための技術面での課題が噴出
• 投資対効果
  • 36帳簿の手作業の効率は過去に行っている
  • かかっている時間は年間で864時間
  • 大きな投資をするには厳しい数字
• 技術面
  • データ基盤をスクラッチで構築するには技術が必要
  • 技術力を持ったメンバーがおらず、運用面での不安

• 製品検討（2021年当時）の上、最終的にSnowflakeに決定
• コスト
  • 維持費は可能な限り抑えたい
  • Snowflakeは待機コスト0
• 技術力
  • DBAのスキルを持ったメンバーがいない
  • Snowflakeはインフラの管理が不要かつGUIベースでの運用が可能
• スケール
  • どのくらい使われるか予想ができていない状況
  • 将来的にはスケールを見据えている
  • Snowflakeは無停止でスケールアウト/スケールアップができる
• 性能
  • どのくらいデータが入るか分からないが性能を担保した上で使いたい
  • Snowflakeの場合は4億件をXSで12分程度
• 親和性
  • AWSのサービスをフル活用したい
  • この点はSnowflakeは対応していないサービスもある
• 運用
  • ELT方式にしたい
  • できればシンプルに
  • SnowflakeはTasksとSnowpipeで対応可能

• Snowflakeに決定した後、構成も決定
• AWSで周りを固めている
  • 基幹システムからAmazon S3にデータを入れる
  • Amazon S3から入ってくるデータをSnowflakeへ
  • 複数の加工を経てPower BIで可視化

• 基盤はスケーラブルとセキュアにこだわった
• ELT方式
  • データの加工をDWHで行う
  • SQLを逐次実行
• 個人情報を扱うため、プライベートリンクを利用

• 全てのDB環境を切り分けることでセキュアかつロール設計を容易にした
• プロバイダーアカウントに全データを投入、加工
• 必要なデータを各リーダーアカウントに共有
• アカウント別に誰が使ったか分かりやすくなる

• 常にDBが最適化されているのでDBAやインフラ考慮が不要
• パーティショニングやチューニングなどは意識せず、本来のデータ開発に集中できる

• 運用の学習コストがかからない
• チーム内ではクラシックコンソールを使っている
• テーブル、ビュー、件数が何件、誰が利用可能かといった管理
• リーダーアカウントに共有するテーブルをGUIから構築
• ウェアハウスのスケールアップ/スケールアウトもGUIから可能
• GUIが充実していることでSQLの学習コストを削減

• 環境を増やす際もSQL1つで容易に行うことができる
• Organizationで組織として1つに束ねる
• 支払いは1本でアカウントを増やすことができる

• 運用の部分ではJOB管理に苦戦
• 最終的にはApacheのAirflowを採用
• 基盤構築時、JOB管理をSnowflakeで実装するには管理面で難しかった
  • 失敗時にアカウントをどうするか
  • データが到着していない場合どうするか
• 別部署でやる際には、Amazon S3とSnowflakeだけのデータパイプラインを試してみようという動きもある

• 紹介した事例以外にも、開発していく中で便利機能が出てきた
• 個人情報を入れたいけど見せたくない
  • ダイナミックデータマスキング
• 作成済みのテーブルの構造が変わったがデプロイどうするか
  • ALTER TABLE SWAP
• 作ったロールの上下関係が分からなくなる
  • Snowsightでロール構造を確認
• SQL補完機能が実装されている

• 最小体制・短期間でデータ基盤を実装
• 周辺との足並みやテーブル設計、ダッシュボードの構築などで時間がかかった
  • 当時は体制が足りず、不慣れなユーザーが多かった
  • 今であれば1ヶ月くらいでできると思っている

• データ基盤ができあがり、可能性が広がった
  • 国内35のグループ会社にデータを即時にシェア
  • 部門のセルフ分析ができるようになった
  • 構築初年度で投資回収
  • 効果はまだ少ないが、既に2部門から引き合いがある
  • デジタルを進める担い手として、IT部門のプレゼンス向上

• 新しい取り組みを始めている
  • Snowflakeのデータを使ってAIモデルを構築中
  • Informaticaを導入、データのカタログ化
  • 今後はSnowflakeのデータシェアリングをやっていきたい
• まず一歩踏み出すということでデジタル化を進めてきた
  • 会社の中で風向きを変えた

• ありがとうございました

最後に

【ユーザー事例】IT部門発！Snowflakeを用いたスモールスタートの基盤構築でQuickWinを実現のレポートをお届けしました。製品の選定から導入、データの利活用にSnowflakeを使っている実際の現場の事例をお話しいただきました。ユーザー目線でのSnowflakeの導入として、今後Snowflakeの導入を検討されている方など参考になったのではないでしょうか。

SNOWDAYのセッションは、オンデマンド配信で視聴することも可能です。配信期間は2023/03/01～2023/03/31となっています。イベント当日に予定があって視聴できなかった方、見たいセッションの時間が被っていて視聴できなかったという方は、オンデマンド配信を楽しみにお待ちください。