この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
本記事では、新興のデータカタログサービス Secoda のデモを実施していきます。
そもそも、「データカタログって何？」という方のために軽く説明しておきますと、データカタログとはざっくり、 データベース・データレイク内のデータに対して、概要や特徴量、関連性などをまとめて一覧化しておくサービス です。え、それだけ？と思われるかもしれませんが、現代のデータ基盤はデータソースの数も増加してますし、BIなどから参照する分析用のデータ（データマート）の数も増加していることから、「とりあえずどんなデータがあるのか、ざっくり知りたいんだよね〜。」といったニーズが増えつつあります。
Secodaについて
Secodaは2020年にカナダのトロントで創業された若きスタートアップです。2021年8月にプレシード期で$125,000の資金調達に成功し、今後の事業成長が期待されています。
Secoda: The second brain for your data team | Y Combinator
Secodaは後発のデータカタログである利点を活かし、既存のデータカタログとは対照的な精錬されたUI/UXを提供している点が特徴です。データカタログはユーザーにメタデータを入力させていくことを前提としているので、運用がうまく回らなければデータカタログとしての価値が失われてしまう、という課題があるのですが、最近のデータカタログでは「機械学習によるビジネスメタデータ生成の自動化」と「UI/UXを改善してメタデータ入力の敷居を下げる」という2つのアプローチで改善を図るトレンドがあります。Secodaは後者に重きを置いているパターンですね。
Secodaでは14日間の無料トライアルが用意されています。さっそく試してみました！
Redshift接続と管理者画面
公式HPよりTry for freeをクリックします。
サインアップにはMicrosoftアカウントやGoogleアカウントが使用できます。今回はGoogle認証でサインアップします。
認証後、初期設定の画面に入ります。半分アンケート的なものでしょう。
ホーム画面にランディングすると、さっそくリソースへの接続を促されます。今回は、パブリックに配置したRedshiftクラスタをターゲットとしていきます。
エンドポイントやユーザー名など接続情報を入力していきます。設定を完了すると間もなくデータベースへのスキャンジョブが開始されます。完了時にはメール通知が届きます。
スキャンしたテーブル一覧です。試しにpublic.salesをクリックしてみます。
画面左にはカラムのメタデータ、右端にはテーブル全体のメタデータが表示されるようになっています。それぞれ、DescriptionやCollections（リソースをまとめるタグみたいなもの）、Ownerを指定することができます。QualityはBronze、Silver、Goldの3段階で定義するみたいです。
右下のProfileをクリックすると、データソースに対してクエリが走り、分布情報が表示されるようになります。
末尾のAdd Documatationをクリックすると…。
タブの方にDocumentのページが追加され、マークダウン形式でデータセットに関するドキュメントを記述することができます。
Dashboardのタブは、TableauなどのBIツールの関連ダッシュボードが一覧化されます。隣のUpstreamとDownstreamのタブは、そのテーブルの生成元と派生先、いわゆる上下の依存関係にあるテーブルが表示されます。Queriesではテーブルに対して発行されたSQLが一覧化されるようになっています。
新規追加されたリソースはDraftがデフォルトになっており、Publishedに切り替えると他のユーザーも閲覧できるようになります。
続いて左メニューよりDictionaryを見ていきます。Dictionaryはいわば用語集的な機能で、Termという単位で整理されています。New Termをクリックしてみます。
Termでは、その説明やSQLや所有者を記述することができます。ここにSQLが書ける理由は後ほどご説明します。
次に、左メニューよりDocsを見ていきます。先ほどのDocumentと紛らわしいですが、Docsは分析レポートが書ける機能です。Create Docをクリックしてみます。
Documentはマークダウン形式でしたが、DocはJupyter Notebookっぽい仕様になっており、ここからSQLを実行して結果を出力したり、グラフを挿入することが可能です。使い心地がかなり良いので、つい色々作りたくなってしまう楽しさが感じられました。
続いて、左メニューよりQuestionsを見ていきます。その名の通り、質問と回答をやりとりするスペースです。New Questionをクリックします。
質問1つに対して複数回答が並びますが、Select as answerをクリックすることで、どれが適切なのかパッとわかるようになります。コメントに対してリアクションができるのは、GitHubのIssueっぽさがありますね。
Adminの画面では、データカタログ全体のサマリを確認することができます。ユーザーの利用状況の確認や管理に使えそうですね。
Integrationsではデータソースの追加や詳細設定が可能です。
先ほど作成したRedshiftのインテグレーションを見てみると、接続情報のGeneralタブのほか、ジョブの実行履歴のHistoryの確認や、定時実行ができるScheduleの設定も可能です。
左メニューのSettingsをクリックすると、ポップアップで設定画面が開きます。例えばMembersでは、ユーザーの招待や招待リンクの発行などが可能です。
Dataの設定画面では、アクセス権限の設定やPIIの情報を付与できるようになっています。
下にスクロールすると、Add Demo Dataというボタンがあり、Secoda側で用意されているデモデータを挿入することができるみたいです。先ほどの画面では情報量が少なかったですし、追加しておきましょう。
以上が管理者側の画面です。大方の種類のデータが用意されたので、続いて閲覧ユーザーの画面から見ていきます。
閲覧専用画面
メニュー左のViewer ModeをONにすると、閲覧専用の画面に切り替えることができます。
ホーム画面はGoogleライクなシンプルな仕様になっています。Resourcesをクリックして、リソースをブラウジングしていきます。
こちらがブラウジングの画面です。検索バーからキーワード検索しても、同じくこちらの画面に到達します。先ほど追加したデモデータの存在も確認できますね。Snowflakeのdemo.welcome_to_secodaを見てみます。
さすがに先ほどのRedshiftよりはリッチなページになってます。
Dashboardsのタブでは、関連するTableauのダッシュボードが紐付けられていました。
UpstreamとDownstreamには、テーブルの依存関係がリスト化されています。
ブラウジングの画面に戻り、右のフィルタリングでDashboardsをクリックすると、デモとして3種類用意されていることが確認できます。
ダッシュボードの情報としては最低限の内容といったところでしょうか。
フィルタリングをTermsに切り替えると、KPI的なTermが追加されていました。
先ほどのSQLの記入欄は、ここで言うとActivation Rateを算出するためのSQLを登録するための欄だったみたいです。アイディアが斬新。
Viewerモードでも左メニュ＝は存在しており、各リソースに共通で付与できるCollectionsの情報も閲覧することができます。
Collectionに紐づいているリソースがずらっと並ぶ仕様になっています。
デモの実施は以上です！
所感
Secodaは特にUI/UXに拘っているデータカタログだと感じられました。デザイン面において、特にNotionリスペクト感が強いです。ただし、ただ見た目を真似ているだけでなく、ユーザー体験としてもしっかり昇華できてますし、つい使いたくなるような設計を意識している点が垣間見えるので、Secodaは地道で大変なメタデータの管理を、チームで楽しくできるサービスのように感じました。
本アドベントカレンダーでは、今話題のデータ関連SaaSを取り上げていきますので、引き続き乞うご期待ください！
36
