[アップデート] Amazon QuickSight の Google BigQuery データセットでダイレクトクエリモードも使えるようになりました

いわさです。

Amazon QuickSight は Google Cloud の BigQuery をデータソースとして統合する機能が提供されています。
ただし、以下の記事でも紹介されていますが従来は SPICE　モードのみが選択可能 でした。

https://dev.classmethod.jp/articles/quicksight-connectivity-bigquery-tips/

これが、今朝のアップデートでダイレクトクエリモードもサポートされるようになりました！

https://aws.amazon.com/about-aws/whats-new/2024/09/amazon-quicksight-direct-query-functionality-google-bigquery-connector/

データセットのSPICE モードとダイレクトクエリモードの違いは以下の記事の図がとてもわかりやすいので引用させていただきました。

引用元：AWS再入門ブログリレー Amazon QuickSight編 | DevelopersIO

従来の SPICE モードだと QuickSight 上のインメモリデータベースに BigQuery から定期的に取り込んだデータが保存されます。この SPICE は QuickSight に近いところで高速な処理が出来るのでメリットが色々あるのですが、定期的に SPICE に取り込む必要がありデータ鮮度の問題が課題になる場合があります。

ダイレクトクエリモードを使うことで分析が参照する度に BigQuery 側にクエリが発行され最新のデータが取得されますのでリアルタイム性が要求されるワークロードでも採用することが出来るようになります。

設定してみる

設定方法は他の QuickSight データセットの設定方法と同じなので目新しいところはないのですが、まぁ試してみましょう。

前提として BigQuery 側に適当なデータセットとテーブルを作成済みです。

QuickSight 側では「Google BigQuery」から新規データソースを作成します。
認可設定などは冒頭の niino さんの記事の参考にさせて頂いています。

そのままデータセットの作成に進み、BigQuery 側のテーブルが参照出来るので選択します。

そうすると、最後にデータセットの取り込みモードを次のように選択出来るようになっています。デフォルトは SPICE へインポートとなっていますが、ここで「データクエリを直接実行」を選択します。

データセットに「直接クエリ」モードが設定されていることが確認出来ました。

QuickSight 側で分析やダッシュボードの表示などしつつ、BigQuery 側でもジョブ履歴を見てみると、QuickSight からのクエリが頻繁に発生していることが確認出来ますね。ダイレクトリクエリモードで動作していることがわかります。

さいごに

本日は Amazon QuickSight の Google BigQuery データセットでダイレクトクエリモードも使えるようになったので使ってみました。

BigQuery をデータソースとしつつリアルタイム性の高い分析が必要な場合に活用出来ますね。

注意点としては毎回クエリが発行されることになるので BigQuery 側の料金が高額になる可能性があるので SPICE とダイレクトクエリどちらが適切かは全てのワークロードで考える必要があるのですが、今回 BigQuery でも選択肢が増えたのは良いですね。