データアナリティクス事業本部 機械学習チームの鈴木です。
Google Cloud Next '23のセッション『Generative AI powered use cases for data engineers』を視聴したので感想をまとめました。
セッション概要
Earlier this year, we announced Duet AI in Google Cloud, a new generative AI-powered collaborator, to help cloud users of all skill levels solve their everyday work challenges. In this session, we’ll showcase new advancements and technologies that further AI-driven innovations, enabling data practitioners to accelerate code creation and data insights.
※ Google Cloud Next '23セッションページより引用
Google Cloud Platformのデータ・AIサービスや、新しく発表された生成系AI搭載の支援機能のDuet AI in BigQueryが、どのようにデータを活用する開発者の開発を支援するのかご紹介頂きました。
セッション発表自体は3つのパートに分かれていました。
最初の『01 The case for AI』では生成系AIを業務に導入する必要性について、『02 Google's Data & AI Cloud』ではGoogle Cloud Platformでのデータ・AI関連のサービスについて紹介がありました。『03 Demo: AI experiences in BigQuery』ではDuet AI in BigQueryやBigQueryからのLLMの利用例を通して、LLMの登場がBigQueryを使った開発業務をどのように変えるのか、デモを通して実感できました。
ポイントと感じた点
セッションではGen AI StudioやVertex AI、BigQuery Omniなどへの言及もありましたが、セッション名にあるように、特に生成系AIがどのようにデータエンジニアを支援してくれるのかの例として、新しく発表されたBigQuery関連の機能がポイントと感じたため、そちらを中心に取り上げます。
Duet AI in BigQueryについて
Google Cloud Next’23のOpening Keynoteで発表されたプレビュー提供の機能となります。Google Workspaces向けのDuet AIは5月のGoogle I/Oで発表されプレビュー提供されていましたが、この機能は一般提供が開始となり、その他のサービスに対するDuet AIが新しくプレビュー提供されました。
イメージビデオではDuet AIに質問することで、BigQueryに関する操作のQAをLLMにできることが説明されており、イメージが掴みやすかったです。
Google Cloudの機能に詳しいLLMがコンソールに控えてくれているのは、機能を使う上では非常に心強いですね。
Duet AI in BigQueryの使用感
以下の３パターンについて使用イメージの紹介がありました。
- Google Cloudのコンソールからの質問機能
- BigQueryのエディタ上でのSQLの解説
- BigQueryのエディタ上でのSQL生成
Google Cloudのコンソールからの質問機能
コンソールよりDuet AIを起動して質問をすることで、BigQueryに関しての回答を適切に回答してくれました。UIからそのままチャット形式で質問できるので使いやすそうです。
BigQueryのエディタ上でのSQLの解説
エディタ上で、入力したSQLがどんな処理なのかDuet AIに説明してもらうことができるようです。
実際のところ、新しく改修をアサインされた既存のSQLや、経験豊富な優しい同僚が書いてくれたSQLをみたときに、「ぜ、全然わからん……」と思ったことは誰しもがあると思います。（少なくとも私はあります。）
そういうときに、自然言語でDuet AIが内容を解説してくれるのは理解の助けになりそうですね。
BigQueryのエディタ上でのSQL生成
BigQueryのエディタでDuet AIにSQLを生成してもらうデモでした。
あらかじめARIMA_PLUSモデルをBQMLで作成しておいた状態で、「# write a query to get a forecast of 30 iterations from the model」と打ち込むことで、推論用のSQLを生成できていることが分かります。
この例ではBQMLを意識していますが、普通に集計用のSQLを書くために、質問から随時SQLを生成してくれるなら非常に作業が捗ると思いました。
BigQueryからLLMの使用
BigQueryを中心にGCSや各種AIサービスと連携して、音声ファイルの要約を行う例も紹介頂きました。
以下は、GCSに配置した.wavファイルからテキストを書き起こし、ML.GENERATE_TEXT関数を使ってLLMに要約させるSQL例です。
このようなことがしたい場合は、実行制御用のパイプラインを使うことが普通だったと思いますが、BigQueryから行うことで、SQLで一連の処理が表現できますし、パイプラインの管理も不要になるので、非常に開発・運用が楽になるように感じました。
補足
Duet AI in BigQueryのガイドについて
早速以下にガイドがありましたのでご覧ください。利用イメージと利用申請方法（記事執筆時点でプレビュー提供のため）の記載があります。
最後に
Google Cloud Next '23のセッション『Generative AI powered use cases for data engineers』を視聴した感想・まとめでした。
BigQueryはもともと非常に使いやすいインターフェースをしている印象でしたが、Duet AI in BigQueryにより格段に使いやすさが強化されたように感じました。私もデータの処理でBigQueryはよく利用していますが、なにか分からないことがあれば今後はDuet AIに聞けば教えてもらえるし、SQLの解説や生成もしてもらえるので、明らかに作業が捗ると思います……!
SQLからのLLM利用の実例も見ることができて参考になりました。BigQueryを中心にGCSのオブジェクトを変換してLLMで処理することができるので、それ用のパイプラインを作る必要もなくなり、開発のしやすさもそうですが、特に運用・保守の観点ですごく楽になる印象を持ちました。スケジュール実行をしたい場合はCloud ComposerやスケジュールクエリなどからSQLを実行すればよさそうです。
2
