[レポート]分析・コラボレーション・アプリケーション開発に革命を起こすSnowflakeの最新技術アップデート #SnowflakeDB #SnowdayJapan

この記事は、2023年2月14日開催のSNOWDAY JAPANのセッション『分析・コラボレーション・アプリケーション開発に革命を起こすSnowflakeの最新技術アップデート』に関するセッションレポートです。

セッション概要

概要

これまで数多くのエンジニアやアーキテクトを悩ませてきたリソースマネジメントの問題に終止符を打ち、これまでには考えられなかったようなスピードと規模であらゆる人にデータの価値を届け、データ利活用の在り方を一変させたSnowflake。

私たちの次なる挑戦は組織のサイロに停滞したデータを動けるようにし、データの価値を組織の枠を超えて届けられるようにすることでした。動き出したデータは急速につながり、コラボレーションが各地で行われています。 そして今、データクラウドというグローバルネットワークの上で、私たちはアプリケーション開発の有り様に革命を起こそうとしています。

技術を愛するすべてのみなさまに贈る、最先端のテクノロジーが導く新たな世界をぜひご体感ください！

登壇者

• 株式会社データX 執行役員 CTO　井戸端 洋彰 氏
• 株式会社NTTドコモ 情報システム部　データ基盤担当　担当部長　日影 浩隆 氏
• Snowflake Inc. 最高財務責任者　Mike Scarpelli 氏
• Snowflake Inc. プロダクト担当上級副社長　Christian Kleinerman 氏
• Snowflake株式会社 社長執行役員　東條 英俊 氏
• Snowflake株式会社 マーケティング本部　シニアプロダクトマーケティングマネージャー兼エヴァンジェリスト　KT 氏

東條氏からの挨拶

• 本イベントの事前登録者数は３０００人以上
• 本イベントのパートナー企業のご紹介
• データクラウドの説明
  • １つ１つの点がSnowflakeのお客様、線がつながっているお客様はシェアリングなどの機能を介してつながっている
  • 国内でSnowflakeを導入している企業も増えてきている

Mike氏からの挨拶

• クライアント数、プロダクトの売上、従業員数、すべて毎年増加している

• Put Customers First
  • お客様の成功あってこそ
  • SnowflakeのNPSは７２、業界平均２１の３倍以上の値。これはSnowflakeのプロダクトの良さを表している
• Snowfalke創業者の二人
  • Benoit氏とThierry氏は、Oracleで３０年ほど働いた上でSnowflakeを創業
• Snowflakeはお客さんのミッションと共にある
  • 保険会社、医薬、サプライチェーン、各業界の事例紹介

Christian氏からの挨拶

• Snowflakeのミッション
  • 皆様の会社がデータをモビライズすることを支援。「モビライズ」とは、データによる価値の創出を意味する
• イノベーションの波
  • これまでSnowflakeは、「アナリティクスの改革」「コラボレーションの改革」を行ってきた
  • そして今、「アプリ開発の改革」を起こそうとしている

• 「アプリ開発の改革」に関する機能も含めSnowflakeは多様な機能をリリースしているが、すべてがSnowflakeという1つのプラットフォームで動作する

プラットフォームの中核

• Snowgrid
  • クロスクラウドのコラボレーション
  • データのレプリケーション（東京→大阪リージョンへのレプリケーション）も簡単
  • クロスクラウド間の、フェイルセーフ・フェイルオーバーをサポート
• 「データ共有」における従来の方法とSnowflakeの比較
  • データの共有と聞いたとき、FTPやメールを介してスプレッドシートでの共有、をしているところは多い
  • しかし、Snowflakeではデータを物理的に渡すことなく、数コマンドで共有ができる
  • 暗号化・複合化などをユーザーなどで行う必要はない。Snowflakeがすべて行ってくれる

• Snowflake マーケットプレイスのデモ
  • 株式会社truestarが提供しているPrepper Open Data Bankを用いて、日本の祝日データを１分未満ですぐに使うことが可能

• 一元化されたガバナンス
  • ガバナンスと聞くとセキュリティを思い浮かべる人は多いと思うが、セキュリティ以外にも大事なことは多い
  • Snowflake上でいろんなデータを分類し、カラムの値から見せる見せないのポリシー設定もできる

• Hybridテーブル
  • トランザクショナルデータとアナリティカルデータの橋渡しができる、アプリケーションの裏側で起動するトランザクション処理向けのデータベースをSnowflakeのテーブルで担うことができる新機能
  • アーリーアダプターとして、多くのお客様に検証していただいている
  • 従来の方法だと、トランザクショナルデータとアナリティカルデータは別々のストレージを管理しなければいけなかった

• 運用の最適化
  • 検索最適化サービスの対応範囲の増加など、運用が更に楽になる機能のリリースを、この１年で多く行ってきた

• 統一されたコスト制御と可視性
  • Snowflake上でリソースグループを定義してコスト管理できる

株式会社NTTドコモ 日蔭氏とKT氏による対談

• 日本だけでなく、APAPでもDATA DRIVER OF THE YEARを受賞した

• NTTドコモにおける会員基盤

  • ポイントが主力データとなっている
  • 会員基盤では、９２００万の会員について、約３万の項目を管理している。顧客属性、リアルの行動情報、ネットでの行動情報、など

• データ活用人材を強化する取り組みも行っている

• Snowflakeを選んだ理由
  • クラウドにシフトしようとしたとき、これまでは既に日本で慣れ親しんでいる製品を選ぶ傾向があったが、それではデータ活用が進まないのではと感じた
  • そのうえで先進的な企業が何を導入しているか調査したら、Snowflakeを導入していた
  • Snowflakeについて、単純なDWHの性能ベースでは他のクラウドDWHとも大きく変わらないと思うが、ガバナンスの機能であったり、ユーザーが欲しいかゆいところに対応してくれるカスタマーファーストのビジョンに共感し、Snowflakeを選択した
• Snowflakeを導入後の活用の姿
  • オンプレミス時代のユーザー数に、１年くらいで追いついた
  • データの欠損や汚染はオンプレミス時代から避けられない事象だったが、今はクラウド流のイベント型の機能を実装することで、これまで３分の１ほどかかっていたクレンジング処理の工数がなくなり、価値創造にフォーカスできるようになった
  • Snowflakeの移行に対応した若手社員も活躍しており、Snowflakeに一度慣れたあとは、どんどん新しい機能を自分から調査して対応してくれている。Snowflakeを導入したことで、現場のメンバーも育っている

• 今後の展望
  • データ共有の推進。Marketplaceを用いたデータ取得・共有に加え、ドコモグループ間でのデータ共有を進めようとしている。さらにパートナーさんとのデータ共有も、データシェアリングで行う予定。データを物理的に渡してしまうと、定期的にウォッチして削除する運用が発生してしまうが、それが不要となる
  • 提供する機能の進化。今はSnowflakeの外で機械学習などの対応しているが、今後はStreamlit統合などの機能も活用し、Snowflake上で機械学習を用いたアプリ開発～提供まで取り組んでいきたい

Snowflake上で開発

• 機械学習モデル、パイプライン、アプリケーション、全ての開発がSnowflake上でできるようになる

• Snowfakeストリーミング
  • 一度データが生成されたら、なるべく遅延を少なくデータを活用したいというニーズは多い。そのためにストリーミング周りの機能も開発・提供している
  • Dynamic　Tableなどの機能により、これまでよりもシンプルなアーキテクチャでデータをすぐにロードし活用できるようにしていく

• Snowpark
  • Pythonをはじめとした普段慣れたコーディング方法を使いながら開発できる
  • Snowpark for Pythonが２０２２年６月にパブリックプレビューとなってから採用件数が６倍に増えた
  • Snowparkを採用している企業やアプリケーションも増えている

• Streamlitを用いたアプリケーション開発
  • ユーザー体験を向上させるために、Streamlitを用いたアプリ開発をSnowflake上で行い、提供できるようになる

• デモ：Snowflake上で、Streamlitを用いたアプリケーションを開発し、実際にアプリケーションを起動してみる
  • Marketplaceを介した、アプリの提供・販売もできるようになる予定

株式会社データX 井戸端氏とKT氏による対談

• データX社は、b-dashを開発している企業

• b-dashについて

  • ノーコードとオールインワンが特徴的な、マーケティングプラットフォーム
  • 裏側ではSnowflake上ですべてのデータを管理するような仕組みになっている

• Snowflakeを選んだ理由
  • 従来のHadoopクラスタの考えだと、都度クラスタのスケールを変更したり、お客様ごとにワークロードを考慮しないといけなかった。このメンテナンスにSREのメンバーが張り付いて対応していた
  • この課題を解決するために、Snowflakeを採用。マルチクラスターウェアハウスのおかげでスケール周りの管理は不要であり、かつ使った分だけの従量課金なのもありがたい。パフォーマンス、コスト、オペレーション、すべての面で改善できた
  • 実際にお客様からもかなり早くなったと声を頂いたり、社内の開発やSREのメンバーからも「Snowflakeを導入して良かった」と言ってもらえた

• 今後の展望
  • Snowparkを現在検証中
  • 今後はSnowflakeをDWHだけではなく、アプリケーションのデータプラットフォームとして、使うことを考えている。これらの新機能を使うことにより、お客様の価値創造につなげていきたい
  • 「データをだれもが使える時代」に寄与するために、Marketplaceを介して、b-dashの一部機能を提供することにも取り組んでいきたい

Christian氏からの締めの挨拶

• 先ほどのb-dashの事例、SREが２人から０人なるというアメージングですね

• 改めて、Snowflakeを導入すれば、クロスクラウドでも複数のプロダクトを導入することなく、１つのプラットフォームで完結することができる

• ２０２３年６月にはSUMMITも予定している、ぜひ来てほしい

最後に

最高財務責任者であるMike氏とプロダクト担当上級副社長Christian氏を迎えてのキーノートであり、改めてSnowflakeは顧客最優先で各機能を開発したりサポート体制を整えてきたことから、ユーザーからも信頼され急成長を遂げているのだと改めて感じたセッションでした。

また、そのユーザーに該当するデータX社とNTTドコモ社のSnowflake導入事例も素晴らしく、「全社のデータ分析基盤としてのSnowflakeの導入」、「プロダクトのバックエンドでのSnowflakeの導入」、いずれもSnowflake導入のきっかけとしてはよくあるケースだと思いますので、参考になる方も多いのではないでしょうか。

Snowflakeは今後、UNISTORE、ネイティブアプリケーション、Streamlit統合、などの新機能によりアプリケーションの開発にも改革を起こそうとしています。いずれも本日時点ではプライベートプレビューではあるのですが、私も話を聞いていてワクワクする機能ばかりで、２~３年後には「Snowflake上でPythonを学びStreamlitでアプリ開発をしMarketplaceで販売し利益を得る」という未来が待っているかもしれないですね！

子供みたいな感想ですが、毎度Snowflakeはワクワクさせてくれるので、本当に良いプロダクトだなと再実感しました。これからの機能アップデートがとても楽しみです！