[セッションレポート][ANA100] Google Cloud Next ’23時点におけるBigQueryの新機能について学ぶ #GoolgeCloudNext

BigQuery StudioやData Clean Roomsなど新機能を携え、BigQueryがGoogle Cloudのデータ・AIの中核としての役割を担っていくことがよく分かるセッションでした。

Google Cloud Next ’23

#Google Cloud (GCP)

#Google BigQuery

nayu.t.s

2023.09.03

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

データアナリティクス事業本部機械学習チームの鈴木です。

Google Cloud Next '23のセッション『What’s new with BigQuery』を視聴したので感想をまとめました。

セッション概要

In this digital-first era, data analytics continues to be at the core of driving differentiation and innovation for businesses. Learn how BigQuery is fueling transformations and helping organizations build data ecosystems, and discover the latest product announcements, upcoming innovations, and strategic roadmap.

※ Google Cloud Next '23セッションページより引用

Google Cloud Next '23開催時点でのBigQueryの新機能と、Discord社での事例について紹介がありました。

言及されたBigQueryの新機能は、ざっくり以下になります。詳細はセッションをご確認ください。

BigQuery Studio（プレビュー）
Dataform（GA）
データプロファイリング・データ品質・データリネージのデータガバナンス機能（GA）
BigLakeを使ったマネージドレイクハウス（GAおよびプレビュー機能の紹介）
BigQuery Omni（GAおよびプレビュー機能の紹介）
Analytics Hub（GA）
Data Clean Rooms（プレビュー）
ストリーミング分析機能（ロードマップ）
Duet AI in BigQuery（プレビュー）
BigQuery MLのリモート推論（GAおよびプレビュー機能の紹介）
ベクトルインデックス機能（ロードマップ）
BigQueryエディション（GA）
パフォーマンス改善（GA）
テーブルスナップショットとクローン（GA）
BigQuery Migration Services（プレビュー機能の追加）
BigQuery Partner center（GA）

ポイントと感じた点

多くの機能や事例について紹介がありましたが、その中でポイントと感じた点について記載します。

BigQueryはますますGoogleのデータとAIの中核サービスに

ML.GENERATE_TEXT関数など、PaLMのための推論関数の追加や、BigQuery Studioのプレビューなどから感じていましたが、ますますBigQueryはGoogle CloudのデータとAIの中核としての役割を担っていくようです。

データとAIの中心

BigQueryの独自のアーキテクチャにより、処理速度やスケーラビリティを始めとしたデータ分析に必要な観点において、大きなアドバンテージがあります。（BigQuery自体の仕組みについて知りたい方はこの図に登場する構成要素を深掘りしていくとよいかもしれません。）

アーキテクチャ

現状プレビュー段階であるBigQuery Studioでは、これまでのSQLエディタに追加してPythonノートブックも同一のワークスペースから利用できるようになります。データ品質・リネージなどのガバナンス機能などもこの機能からアクセスできるよう統合されており、BigQueryをGoogle Cloudでのデータ・AI活用の中心にするための強力な追加機能になっています。

BigQuery StudioおよびPaLMでの処理実行については、以下のセッション記事でもまとめています。

次世代のレイクハウスのための機能も拡充

Data Clean Roomsのプレビュー提供や、BigLakeによる非Hiveフォーマットのテーブルへの機能強化など、次世代のレイクハウスの実現にも力が入れられていることを感じました。

Data Clean Roomsは4月にロードマップとして想定している機能の紹介がブログ記事として紹介されていましたが、プレビュー機能として利用できるようになりました。

Data Clean Rooms

BigLakeでは、Apache Iceberg・Delta Lake・Apache Hudiの非Hiveフォーマットのテーブルへのきめ細やかなアクセスが一般提供されました。データレイク上でもより手軽かつ強力にデータガバナンスを実現することができます。

BigLakeの機能追加

BigQuery Omniの追加機能もありました。異なるクラウド上のデータを合わせての分析がより便利になりそうです。

BigQuery Omniの追加機能

AIによる開発支援機能

Duet AI in BigQueryがプレビュー版で発表されました。以下の機能が利用できます。

Google Cloudのコンソールからの質問機能
BigQueryのエディタ上でのSQLの解説
BigQueryのエディタ上でのSQL生成

BigQueryも多機能になってきましたが、初めて触る機能についてはコンソールからDuet AIに聞けばすぐに分かりますし、SQLをどう書いていいか分からないときに生成してもらったりなど非常に開発が楽になりそうです。

詳細は以下のセッションレポートでも紹介しております。

Discord社での事例紹介

Discord社でBigQueryを中心にデータ分析基盤を構築した事例を紹介頂きました。

まず、データ活用上の課題は以下でした。中央集権型のデータ分析基盤を運用する際によく起こりがちな課題もありますね。

Google Cloud上で以下のようなアーキテクチャの基盤を構築したそうです。セルフサービスなデータプラットフォームを実現するための仕組みをどのような技術要素で実現しているかまで押さえられており、非常に参考になります。これからGoogle Cloudでデータガバナンスやセルフサービス化に力を入れた基盤を構築したい場合はこの図を足掛かりに技術要素をキャッチアップするとよいかもしれません。

アーキテクチャ紹介