【登壇資料】「データ品質とメタデータ管理で実現する構造化・非構造化データ活用のユースケース紹介」というタイトルで登壇しました
データ事業本部の川中子（かわなご）です。
先日クラスメソッドにて以下のウェビナーを開催し、私も登壇してきました。
この記事では、私の登壇資料についての簡単なまとめと振り返り、
またウェビナー中にいただいたご質問について、私がお答えできる限りで回答を書いていきます。
ウェビナー概要
私たちデータ事業本部は、お客様の組織におけるデータ分析環境の構築や、
データの活用についての包括的な支援 をミッションとしています。
過去の支援事例を通して、お客様からいただくデータ活用に関するお悩みのほとんどは、
データ自体の管理不足や、その管理体制自体の問題 に行き着くことが分かりました。
このウェビナーでは、データ自体を管理するデータマネジメントの基本や、
現実的なデータマネジメント活動の進め方についてお話ししました。
前半では 「ツールを入れても解決しない？データ活用の現場に共通する課題とデータマネジメントの必要性と基本」 というタイトルで、同じくデータ事業本部の渡部さんの登壇がありました。
渡部さんのパートでは、お客様からよくご相談いただくお悩みに共通する根本原因や、
それに関わるデータマネジメントの基本についてご紹介しています。
私の登壇パート
私の登壇資料はこちらで公開しております。
私のパートでは、渡部さんパートで説明した基本から一歩進んだ内容として、
現実的なデータマネジメント活動の進め方 について、2つのテーマでお話ししました。
構造化データ×データ品質非構造化データの活用×メタデータ管理
2つのパートについて、それぞれ課題の深掘りから改善活動の進め方、
運用体制構築のポイント、データ基盤への実装例などについて紹介しています。
最終的なまとめとして、本資料では3つのポイントについてお話ししました。
重要なものに絞る
データ基盤では非常に多くのデータを取り扱っていることが多いと思います。
そんな膨大なデータについて、品質やメタデータを管理するのは非常に困難です。
実際の現場では、データ基盤を管理するための人員や予算の制限があるため、
データマネジメント活動の 対象にするリソースは重要なものだけ に絞り、
事業や業務への影響度をもとに優先度を決めることが重要になります。
シフトレフトの原則
一度基盤内に入ってしまったデータに対して、データ品質を改善したり、
新たなメタデータを付与していくには、非常に大きな労力を要します。
より少ない労力で最大限の管理効果を引き出すためにも、
基盤の入口 や、そもそもの データの発生源 に対する対策が必要です。
基盤に入ってくるデータの品質や、メタデータの有無を検証するためにも、
システムで解決できる部分は積極的にシステム化をしていくことも重要です。
体制もスモールスタート
データマネジメント活動を実施する組織の体制づくりについても、
組織文化や部署間の壁によって、理想的な体制は難しいケースがほとんどです。
とは言え改善活動は、基盤を管理するIT部門のような単一部門では成り立ちません。
そのためまずはソースデータのシステムを管理する部門の中で、
データの責任者になるデータオーナーだけでも設定することが望ましい です。
データオーナーさえ決まれば、データの利用者からあがるデータの課題に対して、
基盤管理側とデータオーナー側で改善対応を行うフローが回り始めます。
その後は各部門でのデータスチュワード任命や、専門のガバナンス組織の設立など、
組織のステージに合わせて、体制も少しずつ成長していく 必要があります。
Q＆A
以下は参加者の方からいただいた質問と、質問に対する私なりの回答です。
ビジネスメタデータ設定
メタデータについて、ビジネス側のユーザーにとって必要なのは、テクニカルメタデータではなくビジネスメタデータ、すなわちビジネス側ユーザーが見たときのそのデータが何かがわかるような情報がより重要と考えています。この観点でどのようなソリューション、アプローチがありますでしょうか？アドバイスを頂けますと幸いです。
最近の各種クラウドにおけるDWHサービスの多くは、カタログサービスとネイティブに統合されており、
AIがカラム名やデータを読み込んで、自動的にメタデータを生成する機能 も充実してきています。
そういったサービスを利用できるような場合は、積極的に使うことが望ましいと考えています。
対して非構造化データや、テーブル管理されていない構造化データについては、
上記と同様の機能を自前で実装する方法も考えられます。
しかし結局のところ、生成されたメタデータの正しさを評価できるのは、
そのデータを生み出す部門の担当者なので、人間による泥臭い活動 は避けられません。
まずは資料の通り、入口でのメタデータ登録に注力することが最重要 だと考えます。
少人数体制でのメタデータ整備
現状このような情勢で予算が削減されてしまい、実際に来期からメタデータ整備を始めていく予定なのですが、退職者も重なり2人態勢で実施予定です。やはり、スコープはCDEから更に狭めることで費用対効果を確認していくのが現実的でしょうか。
もし対象がDWHで管理するテーブルであれば、前述のQ&Aでの回答の通り、
カタログサービスに付随するAI機能を利用することで大幅に工数を削減することができますし、
AI機能を利用できない場合はおっしゃる通りの対応が望ましいと思います。
データマネジメント活動では、メタデータ付与などの初期対応だけでなく、
付与されたメタデータの見直しや、メタデータの追加など、継続的な対応 が求められます。
継続的な対応を前提に、現実的に対応が可能なスコープで活動を始めることが重要 です。
既存データへのメタデータ付与
既存のデータを整理するためのアプローチとして、AIを活用して最適なメタデータを付与するといったことはできるのでしょうか
PDFやドキュメント系のオブジェクトであれば、データの中身から必要な情報を抽出し、
事前に定義したような形式でメタデータを付与する仕組みは構築可能ですし、
画像や音声についても、対応するモデルを利用すれば同様の仕組みは実現できると思います。
ただ 生成AIによるデータの処理には大きなコストがかかってしまう ため、
既存のデータが膨大にある場合は、人間によって分類できるものは人間で対応し、
人間での判断が難しいものだけ、上記のようなシステムで処理することが望ましい と考えます。
さいごに
ウェビナー実施後に参加者の方々にご協力いただいたアンケートから、
やはり メタデータやデータ品質の課題は、多くの組織で共通している ものだと再確認できました。
今回のウェビナーではどちらかというと基本、概念寄りの内容だったので、
もっと具体的な内容を聞きたいという声も多くいただきました。
また機会があれば、より具体的なユースケースでの進め方 や、
具体的な実装例、関連サービスの紹介 を取り上げたいと思います。
今回のウェビナーにご参加いただいた皆さま、ご参加いただきありがとうございました。
登壇の発表内容、また本記事が少しでも参考になれば幸いです。
本記事を最後まで閲覧いただき、ありがとうございました。
