CS アナリティクスでは BigQuery のテーブルや UDF などの情報も一覧表示で確認できます

こんにちは、みかみです。

弊社クラスメソッドの自社プロダクト CS アナリティクス（以下 CSA ）は、短期間、低コストで導入可能な統合データ分析基盤です。

概要

データロードやマート作成などのジョブを作成・実行・管理できる CSA ですが、テーブルやビュー、UDF などの情報も画面から確認できます。

本エントリでは、CSA の DWH に BigQuery を選択した場合に、どの画面でどんな BigQuery 関連情報が確認できるかご紹介したいと思います。

CSA JMCの挙動確認バージョン

当エントリの内容は以下のCSA JMCバージョンで挙動を確認しています。

• CSA JMC v5.5.0

前提

CSA のサイト設定手順は省略します。詳細は以下のエントリをご参照ください。

リソース情報を確認

画面上部の「リソース」メニューから「リソース管理情報」をクリックすると、リソース管理情報画面に遷移します。

リソース管理情報画面下部「BigQuery メタ情報」欄の「テーブル一覧(件数・容量情報)」リンクから BigQuery のテーブルやビューの情報を、「UDF・ストアド一覧」リンクからユーザー定義関数やプロシージャの情報を確認することができます。

なお、「エンドポイント・接続情報」に表示されている「Amazon RDS接続情報」は CSA が動作するために使用する管理データベースの接続情報で、変更することはできません。

「Google Cloud Storageのバケット情報」と「BigQuery 接続情報」は、「サイト設定」から「DWH接続設定」画面で設定・変更可能です。

テーブル一覧・詳細を確認

テーブル一覧画面では、BigQuery のテーブル、ビューの一覧が確認できます。

サイト設定の「BigQueryプロジェクトID」で指定したプロジェクトの全てのデータセット配下のテーブルとビューが一覧表示されます。

「テーブル種別」欄には、作成済みのテーブル・ビューの種別に従って、以下のいずれかか表示されます。

• TABLE：BigQuery にデータを格納済みのネイティブテーブル
• EXTERNAL：GCS や BigTable などの BigQuery 以外の場所にデータを保持している外部テーブル
• VIEW：CREATE VIEW 構文によって他テーブルデータを参照しているビュー
• MATERIALIZED_VIEW： CREATE MATERIALIZED VIEW 構文によって他テーブルデータを参照している実体化ビュー

• テーブルの概要 ｜ BigQuery ドキュメント
• 外部データソースの概要 ｜ BigQuery ドキュメント
• ビューの概要 ｜ BigQuery ドキュメント
• マテリアライズド ビューの概要 ｜ BigQuery ドキュメント

テーブル種別が EXTERNAL または VIEW の場合、テーブル/ビューデータの「行数」と「容量」は表示されません。 後述のテーブル詳細画面でもサンプルデータが表示されません。 BigQuery では SELECT 文を実行すると処理したデータ量に従って課金が発生します。 外部テーブルやビューの場合、通常のネイティブテーブルとは異なり、データ量やサンプルデータは SELECT 文で取得する必要があるので、クエリ課金が発生するのを防ぐためです。

GCP の BigQuery 管理画面でもテーブルやビューの一覧は確認できますが、CSA の画面からなら各テーブルのデータ量や有効期限などもまとめて確認することができます。

テーブル名のリンクをクリックすると、テーブルの詳細情報が確認できます。

「テーブル定義」欄では、データセット名、テーブル名とテーブルのカラムの情報を確認できます。 下の「テーブルスキーマ」タブをクリックすると、テーブルスキーマの JSON 定義が表示されます。

この JSON 定義は、BigQuery 管理画面や bq コマンドでテーブルを作成する場合に指定できます。

• JSON スキーマ ファイルの指定 ｜ BigQuery ドキュメント

画面下半分の「データ情報」欄では、テーブルに格納されているデータのレコード件数と容量、テーブルのサンプルデータを確認できます。 なお、画像のサンプルデータはデータ確認用に作成した架空データで、実在の人物とは一切関係ありません。

テーブル定義、データ容量、サンプルデータなどを、１画面でまとめて確認できて便利です。

UDF・ストアド一覧を確認

リソース管理情報画面一番下のリンクをクリックすると、UDF・ストアド一覧画面に遷移します。

• 標準 SQL ユーザー定義関数 ｜ BigQuery ドキュメント
• CREATE FUNCTION ステートメント ｜ BigQuery ドキュメント
• CREATE PROCEDURE ステートメント ｜ BigQuery ドキュメント

一覧では、データセット名とユーザー定義関数名またはプロシージャ名と定義内容を確認できます。

どのデータセットに、どんな処理をする関数やプロシージャがあるのか一目でわかるので、SQL を作成する場合の確認などに役立つかと思います。

まとめ

本エントリでは CSA 画面からリソース情報を確認する方法についてご紹介しましたが、CSA ではデータロードや SQL をジョブとして登録し、簡単に実行・管理することができます。 画面からの UI 操作でジョブのスケジュール実行設定やエラー通知の設定、実行ログの確認なども可能です。

DWH は BigQuery の他に、Redshift と Snowflake にも対応しており、もちろんどの DWH でもテーブルや UDF などの情報を CSA 画面からご確認いただけます。

BigQuery のテーブルや UDF などの情報も確認できる統合データ分析基盤 CSA について、少しでもご興味をお持ちいただけましたら、ぜひお気軽に弊社クラスメソッドにご連絡ください！