QuickSightでSPICEの増分更新が出来るようになりました

#Amazon QuickSight

#AWS

いわさ

2021.10.27

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

いわさです。

QuickSightでSPICEの増分更新が出来るようになりました。

SPICEは従来から更新スケジュールを設定して更新する（１時間ごとにデータセットをリフレッシュする）ことが出来ていたのですが、今まではその都度フルロードする必要がありました。
今回アップデートされた機能をうまく使うと、更新処理の短縮やデータストアの負荷軽減に繋がりそうです。

本機能を利用する場合、QuickSight Enterprise Editionが必要となります

RDS for MySQLを用意して試してみる

今回はRDS for MySQLで試してみます。
なお、増分更新が使えるデータストアはSQLベースのものが対象で、RedshiftやAthena、使ったことないのですがSnowflakeなども対象のようです。

パブリック接続にしました。

ちなみにQuickSightでパブリックデータストアへアクセスする場合は、QuickSightのIPアドレスからのアクセスを許可する必要があります。
東京リージョンの場合は13.113.244.32/27です。
詳細は以下を参考にしてください。

AWS リージョン、ウェブサイト、IP アドレス範囲、エンドポイント - Amazon QuickSight

後述しますが、ダイレクトクエリの場合は増分更新機能は使えないです。
そもそも意味無い気もしますし。
SPICEモードを選択しましょう。

データセット更新時にタイプを選択出来るようになりました。
フル更新か増分更新です。

一旦RDSに以下のテーブルとデータを作成しフル更新しました。

iwasa.takahito@hoge 20211027quicksight % mysql -u admin -p -h quicksight.cpnu9ipu74g4.ap-northeast-1.rds.amazonaws.com
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 13
Server version: 8.0.23 Source distribution

Copyright (c) 2000, 2021, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> create database hoge;
Query OK, 1 row affected (0.03 sec)

mysql> use hoge;
Database changed

mysql> create table piyo (id int, name varchar(10), updatetime datetime DEFAULT NULL);
Query OK, 0 rows affected (0.05 sec)

mysql> show tables;
+----------------+
| Tables_in_hoge |
+----------------+
| piyo           |
+----------------+
1 row in set (0.03 sec)

mysql> insert into piyo values (1, 'aaa1', '2021-10-27 9:00:00');
Query OK, 1 row affected (0.02 sec)

mysql> insert into piyo values (2, 'bbb1', '2021-10-27 9:00:00');
Query OK, 1 row affected (0.02 sec)

mysql> insert into piyo values (3, 'ccc1', '2021-10-27 9:00:00');
Query OK, 1 row affected (0.02 sec)

テーブルで可視化しておきます。

増分更新してみる

ここからが本題の増分更新になります。
楽しみですね。試していきましょう。

mysql> update piyo set name = 'aaa2' where id = 1;
Query OK, 1 row affected (0.03 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> update piyo set name = 'bbb2' where id = 2;
Query OK, 1 row affected (0.03 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> update piyo set name = 'ccc2', updatetime = '2021-10-27' where id = 3;
Query OK, 1 row affected (0.03 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> select * from piyo;
+------+------+---------------------+
| id   | name | updatetime          |
+------+------+---------------------+
|    1 | aaa2 | 2021-10-24 03:00:00 |
|    2 | bbb2 | 2021-10-24 03:00:00 |
|    3 | ccc2 | 2021-10-27 00:00:00 |
+------+------+---------------------+
3 rows in set (0.03 sec)

mysql>

初回、増分更新の設定が必要になります。
そして増分更新の設定時は完全更新の実行が必要となります。
初回だけはフルロードされる感じですね。

増分更新ですが、日付・タイムスタンプ列を対象にウィンドウサイズで時間枠を決めて、「タイムスタンプが○時間前までのもの」のみ取り込むような動きになります。
なので、対象のデータテーブルにはそもそもタイムスタンプや日付の列が必須です。
そして、○時間前の起点になる時間はSPICEの更新開始時間です。

updatetime列が1日前のものをロードするように設定してみました。

updatetime列は範囲外のものも含まれていますが、増分更新設定の初回なので３件とも更新されていますね。

データセットの設定画面を確認してみると、増分更新の設定が反映されています。

さて、もう一度データを更新した上で増分更新を試してみましょう。

mysql> select * from piyo;
+------+------+---------------------+
| id   | name | updatetime          |
+------+------+---------------------+
|    1 | aaa2 | 2021-10-24 03:00:00 |
|    2 | bbb2 | 2021-10-24 03:00:00 |
|    3 | ccc2 | 2021-10-27 00:00:00 |
+------+------+---------------------+
3 rows in set (0.03 sec)

mysql> update piyo set name = 'aaa3' where id = 1;
Query OK, 1 row affected (0.03 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> update piyo set name = 'bbb3' where id = 2;
Query OK, 1 row affected (0.03 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> update piyo set name = 'ccc3' where id = 3;
Query OK, 1 row affected (0.03 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> select * from piyo;
+------+------+---------------------+
| id   | name | updatetime          |
+------+------+---------------------+
|    1 | aaa3 | 2021-10-24 03:00:00 |
|    2 | bbb3 | 2021-10-24 03:00:00 |
|    3 | ccc3 | 2021-10-27 00:00:00 |
+------+------+---------------------+
3 rows in set (0.03 sec)

mysql>