【新機能】BigQueryのオブジェクトテーブルを使ってみる（プレビュー）

BigQueryのオブジェクトテーブル（Object Tables）を使って、 Google Cloud Storage（GCS）上のファイルのメタデータを参照する。

アドベントカレンダー2022

#Google BigQuery

#Google Cloud (GCP)

#Google Cloud Storage

ikeda

2022.12.23

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

BigQuery Advent Calendar 2022 の23日目の記事です。

データアナリティクス事業本部、池田です。
先月プレビューとなりました、BigQueryのオブジェクトテーブル（Object Tables）を使ってみます。

【 BigQuery release notes > November 17, 2022 】

Google Cloud Storage（以下GCS）上のファイルのメタデータを参照できる外部テーブルを作成できます。
公式のガイドのオブジェクトテーブルの概要によると、

他の BigQuery テーブルと同じ方法で、オブジェクトテーブルのメタデータをクエリできます。ただし、オブジェクトテーブルの主な用途は、分析用に非構造化データにアクセスできるようにすることです。

とのことです。

実際に画像推論と絡めての活用方法は、以下の動画が分かりやすかったです。
【 Next '22 の Vertex AI 新情報ふりかえり】

執筆時点（2022/12）では制限事項がいくつかありますが、BigQureyの定額料金でしか使えません。
（Flex slotsの定額料金を設定する方法は以前ブログにしています。）

この機能は、執筆時点（2022/12）では申請が必要なプレビューとなります。フォームからの申請が必要でしたが、私の場合は2022/11/18に簡単な入力で申請をして、 2022/12/06には承認メールが届き利用できました。

クラウドリソース接続の作成

※以降の操作は、プロジェクトのオーナー権限を持つアカウントで、コマンドはCloud Shell、 SQLはBigQueryのコンソールで実行しています。

クラウドリソースタイプの接続（Cloud resource connections）を作成します。

bq mk --connection --location=us-east1 \
--connection_type=CLOUD_RESOURCE obj-tbls-conn

GCSバケットを us-east1 で作成していたので、同じリージョンで作成しました。（リージョンが異なると後でエラーになります。後述。）

リージョンに関しては、公式のガイドによると、

Location consideration

When you use Cloud Storage to store data files, we recommend that you use Cloud Storage single-region or dual-region buckets for optimal performance, not multi-region buckets.

とのことなので、パフォーマンス面では US などマルチリージョンは避けた方が良いようです。

↓作成後のコンソールはこんな感じ。

この後使うので、サービスアカウントを控えておきます。

権限付与

接続が使用するサービスアカウントに対して、バケット内の参照権限を付与します。

gsutil iam ch serviceAccount:{接続のサービスアカウント}:objectViewer gs://{バケット名}

オブジェクトテーブルの作成

まずはテーブルを配置するデータセットを作成します。

CREATE SCHEMA my_obj_tbls
OPTIONS(
    location = 'us-east1'
);

外部テーブルを作成するような感じで、オブジェクトテーブルを作成します。
↓CSVが入ったGCSパスを指定したもの。

CREATE EXTERNAL TABLE my_obj_tbls.csv_sample
WITH CONNECTION `us-east1.obj-tbls-conn`
OPTIONS(
    object_metadata = 'SIMPLE',
    uris = ['gs://{バケット名}/inputs/*']
);

オブジェクトテーブルは非構造化データと絡めて話をされていることが多いですが、メタデータを参照するだけであれば構造化データでもよいかと思い、なんとなくCSVを読ませてみました。

↓画像ファイルが入ったGCSパスを指定したもの。

CREATE EXTERNAL TABLE my_obj_tbls.img_sample
WITH CONNECTION `us-east1.obj-tbls-conn`
OPTIONS(
    object_metadata = 'SIMPLE',
    uris = ['gs://{バケット名}/inputs_img/*']
);

ちなみにGCSバケットと、接続・データセットのリージョンが異なると以下のようなエラーでテーブルが作成できません。
Cannot read and write in different locations: source: us-east1, destination: US

接続とデータセットのリージョンが異なってもダメでした。
Not found: Dataset {プロジェクト名}:my_obj_tbls was not found in location US
なので、バケットと同じリージョンで接続とデータセットを作成しておく必要があるようです。

↓作成後のスキーマ。