アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームのしんやです。
先日2024年02月20日(火)、クラスメソッド株式会社と株式会社メソドロジックの共催イベント『【毎週開催】メソドロジック社共催！イチから始めるデータ活用！8週連続ウェビナー』の第1回開催回である『データメッシュによるデータガバナンス編』を開催しました。
当エントリではその内容についてレポート致します。
目次
イベント概要
第1回目となる今回取り扱うテーマは『データメッシュによるデータガバナンス』です。
イベントレポート
データ活用支援サービスのご紹介
- 登壇者：平戸 孝法(クラスメソッド株式会社 アライアンス事業部 セールスグループ グループマネージャー)
まずはじめに、クラスメソッド平戸より『データ活用支援サービスの紹介』というタイトルにて、今回の取組内容の紹介を行いました。
今年2024年1月、クラスメソッドとメソドロジック2社の協業による『データ活用支援サービス』の提供開始をアナウンス致しました。元々2023年04月にモダンデータスタック(MDS)の部分で戦略的協業を開始しており、そこを踏まえての改めてこの座組で協力していくという形となりました。
上記プレスリリースに伴い、下記スケジュールで8週連続ウェビナー開催を告知。来週以降は関連するサービスを中心にそれぞれ紹介・解説を行っていく運びとなっています。
- 1日目：2024年02月20日(火) イチから学ぶデータメッシュによるデータガバナンス
- 2日目：2024年02月28日(水) イチから学ぶSnowflake
- 3日目：2024年03月06日(水) イチから学ぶDatabricks
- 4日目：2024年03月13日(水) イチから学ぶImmuta
- 5日目：2024年03月21日(木) イチから学ぶFivetran
- 6日目：2024年03月28日(木) イチから学ぶdbt
- 7日目：2024年04月03日(水) イチから学ぶHightouch
- 8日目：2024年04月10日(水) イチから学ぶLooker
今回ご紹介するデータ活用支援サービスとは、以下の例にあるような『データ活用に必要なものを一気通貫で提供』するものとなります。
データ基盤導入の背景についてはお客様によって様々あり、今回提供するサービスでは『データガバナンス』『データマネジメント』『データ活用基盤』の3つのカテゴリ、範囲に及ぶ要素を取り扱います。ケースとしては『データ活用基盤』の構築から始めることが良くある、多いかとは思いますが、実際にデータ活用基盤を運用して動かしていくには『データガバナンス』をしっかり整備、建て付けておかないと進まないというのは現状の課題感として良く上がるものだったりします。『データ活用基盤』を効果的に活用するには『データマネジメント』が必要になり、また『データマネジメント』を効果的に運用するには『データガバナンス』が必須となります。これらの関連性を把握した上で導入していくかどうか、がポイントです。
ここまでの内容を組織構成として落とし込むと以下のようなイメージとなります。基盤は基盤として構築しつつ、そこの上に組織をどのように作っていくか、体制を敷いていくかという部分が大事です。
『支援のイメージ』としては以下のようなものとなります。フェーズによっては並行稼働する形もありますが、これらの支援を一気通貫でさせて頂く形です。
今回のサービス支援をさせて頂くにあたり、クラスメソッドとメソドロジックではモダンデータスタック(MDS)ソリューションを用いる形でこのサービスを実現させています。掲げているサービスに関しては両社で販売を行っていますし、サービス自体のトレーニング等も行っています。導入後の運用までを見据えたご支援も可能となっています。要件に応じて、複数サービスを組み合わせての導入、またサービス単体の導入をお選び頂くことも勿論可能です。
イチから学ぶデータメッシュによるデータガバナンス
- 登壇者：白石 章氏(株式会社メソドロジック 代表取締役)
00.はじめに
- 自己紹介と企業紹介
- 株式会社メソドロジックは、HadoopやSparkなどを10年以上やって来ており、データ分析基盤の構築を技術支援に注力しています。会社としては14年目を迎えています。
- 先程案内もありました通り、クラスメソッド社とはモダンデータスタックの分野でも協力、連携しています。
01.データ分析基盤に取り組んでわかる最初の課題
- 『データ分析基盤の構築プロジェクトを立ち上げたい』という要望が挙がる時、その理由や背景はお客様によって様々。
- 進め方の3要素(データガバナンス、データマネジメント、データ分析基盤』が大切なのは前述のセッションで平戸さんがお話した通り。
- 実際は3要素の比率や比重は、圧倒的に『データ分析基盤』を作るところから、というケースが多い。データガバナンスからしっかり始める企業は少なく、データ基盤を作りながら考えることが多い。
- アジャイルにプロジェクトを進めると手戻りが多く引き返しにくい。
- データ分析基盤に取り組んでわかる最初の課題：部門ごとの意見をまとめると
- 主体的な目標設定をして取り組んでいないというのを感じる。
- 全部集めれば上手くいくかというとそうでは無い。スコープを上手く絞り込んでいくべき
- やってみて一旦目標を決めてゴールを定めて実績を生むことが大事
02.データ分析基盤プロジェクト推進の課題・ポイント・施策
- まとめた3つの課題を上手く解決していくには
- ポイントは『トップダウン』『スモールスタート』『成功事例』。
- 施策としては以下。
- データガバナンス基本方針の策定
- ユースケースによる組織体制と運用ルールの確立
- パイロットプロジェクト(PoC)の実施
03.データガバナンスから始めよう
- データ分析基盤を導入するポイント。
- みんな教科書やマニュアルを欲しがる。
- 改めて、データガバナンスの全体像。全体像を構成する各種要素間の関係性がどういう風に作られるのかというのを一番最初に決めておくことが非常に重要。
-
【施策1】データガバナンス基本方針の策定。データ利活用の目的や成果・評価基準を明確に。
- データ分析の目的や価値を理解し、組織全体のビジョンにしていく。
- 具体的にはデータ分析基盤をどう社内に周知していくかを決定。どんな目的で何をする基盤なのか、どのような方向性を以て現場に命じるか。
- トップダウンが前提。
- 【施策2】ユースケースによる組織体制と運用ルールの確立。組織と人の役割と責任を明確にする。
- 3つの組織を作成し、適正な人を配置。
- データ提供者：データを責任を持って提供してもらう『データオーナー』
- データ分析基盤担当：データ分析基盤内のデータの取扱に責任を持つ『データマネージメントオフィサー』
- データ利用者：データ分析基盤のデータを活用し、効果を検証する『利活用責任者』
- 組織毎に何をしてどうやっていくかを決める。どういう運用にするのか、規則やポリシーを作ってルール化する。データコントラクトが大切。
- どのデータを可視化、利用するのか
- データの提供方法
- データの利用方法
- ユーザーとアクセスポリシー
- データ品質ガイドライン
- 誰が何をするのかをまとめる。組織毎に誰が実施をするか、まで落とし込む
- 実際に担当者が運用
- 業務フローや必要な人員、ルールを洗い出す
- 実施した作業工数を把握
- 【施策3】パイロットプロジェクトPoCの実施、効果の検証。効果を実証・評価領域の拡大
- 結果を検証
- 改善点を洗い出す
- 次に何を実施するかを決定
04.データ分析基盤は、DataMeshアプローチで解決
- 実際にここまでの内容をツールという観点で考えて、どのように作っていくか。最近注目を集めているのが『Daa Mesh』というアプローチ。
- データ分析基盤導入時の注意点
- データ分析組織が『データソースの事業部門』と『データを利用する事業部門』に挟まれている
- 『データは1箇所に集めないといけない』という誤解
- この設計だとデータアクセスが集中してしまうだけでなく、データ管理も大変に
- データのオーナーシップを決めないといけない理由
- データのパイプラインがシンプルな場合はオーナーシップが明確であるが、事業部を横断したパイプランになると様々な問題が発覚。
- データ分析基盤組織だけで責任が持てるのか？
- Data Meshとは
- Data Meshの4原則
- ドメインでの責任所有
- データを製品として取り扱う
- 自動化されたデータ分析基盤
- 統合されたガバナンス
05.本日のまとめ
- データ分析基盤プロジェクト推進の施策
- データ分析基盤は、ガバナンスとコントラクト
- Data Meshの4原則
全体質疑応答
白石氏のセッション終了後は、全体を通して挙がっていた質問に対する回答タイムとなりました。挙がっていたものの中で主だったものについて下記に記載します。
Q1.
- Q. Data meshの繋ぎ先としてはデータウェアハウスやRDBMS等、バラバラの種類で行う場合が多いのでしょうか？RDBMSは業務システムDBそのものやレプリカDBなどになる？
- A. 1つのデータウェアハウスに集めるべきじゃない、っていうことを今日は分かりやすく説明させて頂きました。ですが、別に1つでも上手く行く例はあると思ってはいます。それを踏まえて、例えばデータウェアハウスに一箇所に集めるんだけれどもデータメッシュの考え方でしっかり作ると上手くいきます、というような話をこれから(本日以降の開催セッションで)出来ればと思っています。(質問の"Data meshの繋ぎ先としてはデータウェアハウスやRDBMS等、バラバラの種類で行う場合が多い"という部分について)はい。そういうケースもあると思います。クラウドのデータウェアハウスが中心に置かれることは非常に多いですが、普通にデータベースだけでも十分、というケースもありますし、データメッシュの繋ぎ先として『これだ！』というものが決まっている訳ではありません。
まとめ
という訳で、クラスメソッドxメソドロジック共催：イチから始めるデータ活用！ 8週連続ウェビナーの第1回、『データメッシュによるデータガバナンス編』開催レポートでした。
当レポートのセッション内容について、また施策・御支援内容についてのお問い合わせに関しては下記のサイトから宜しくお願い致します。
次回第2回は2024年02月28日(水)、『イチから学ぶSnowflake』編です。お楽しみに！
15
