AWS IoT Analytics のデータストアでカスタムパーティションがサポートされました

先日、AWS IoT Analytics のアップデートでデータストアのカスタムパーティションが利用できるようになりました。

何がうれしいの？

これまでは、ユーザー側でパーティションを指定することができず、「1日」という固定の設定になっていました。そのため 1 時間分のデータだけクエリを実行したい場合でも無駄なスキャンコストが発生していました。

今回のアップデートで、パーティションを小さく分割できるようになったので、次のようなメリットが出てきました。

• スキャンするデータ量が少なくなるので利用料金を抑えられる
  • データセットのスキャンコストの削減
• スキャンサイズが少なくなるのでクエリの実行パフォーマンスが上がる

やってみた

前提

今回は既存のデータフロー（チャネル, パイプライン, データストア）を利用します。既にあるデータストアに対してパーティション設定の変更はできないので、今回はデータストアを作り直しています。

下記では、既存のデータストアを一度削除して新たに作成しています。

既存のパイプラインをそのまま使いたかったので、「データストアID」は削除したものと同名とします。

データストアのストレージや IAM Role も既存のデータストアで使っていたものを指定しています。

データフォーマットも以前と同じままとします。

次の画面でようやくカスタムパーティションの設定を行います。「カスタムパーティションの有効化」 にチェックを入れます。データソースとして既存のチャネルを選択しました。

既存のデータソースを選択した状態で「Sample attributes」 をクリックすると、すでにチャネルに入っているデータがサンプルとして表示されます。

サンプルデータからカスタムパーティションのディメンションに使う項目にチェックを入れます。今回は timestampという項目を使おうと思うので、上部のプルダウンから Add as timestamp partition を選択します。

カスタムパーティションを指定できたら次のような画面が現れます。Attribute nameには先ほど選択したサンプルデータのカラム（timestamp）が自動的に設定されます。今回はタイムスタンプをカスタムパーティションとして設定したのでPartition Typeの欄も自動的に入力されました。

Timestamp formatはサンプルデータに合わせてyyyy-MM-dd HH:mm:ssを指定しています。なお、Dimension nameはタイムスタンプをパーティションとして指定すると自動的に設定されます。

最後のレビュー画面で設定内容を確認してデータセットの作成を実行します。

確認用のデバイスデータを IoT Analytics に送る

次にデータを送ってみます。今回は 大量にデータを送りたかったのでbasic ingestを使ってデータを IoT Analytics に送信しました。

データの送信は以前ご紹介した 「MQTT X」というクライアントツールのスクリプト機能を使いました。スクリプトでランダムデータを生成して10 秒間隔でデータを送っています。
「MQTT X」の使い方については下記のブログをご参照下さい。

「MQTT X」で利用した JavaScript は下記になります。（コーディングは不慣れなため稚拙なコードである点はご容赦ください）

function random(min, max) {
  return Math.round(Math.random() * (max - min)) + min
}

var d = new Date();
var year  = d.getFullYear();
//var month = d.getMonth() + 1;
var  month = ("0"+(d.getMonth() + 1)).slice(-2);
var day   = d.getDate();
var hour  = ( d.getHours()   < 10 ) ? '0' + d.getHours()   : d.getHours();
var min   = ( d.getMinutes() < 10 ) ? '0' + d.getMinutes() : d.getMinutes();
var sec   = ( d.getSeconds() < 10 ) ? '0' + d.getSeconds() : d.getSeconds();

function handlePayload(value) {
  let _value = value
  if (typeof value == 'string') {
    _value = JSON.parse(value)
  }

  _value.sub_metering_1 = random(10,30)
  _value.sub_metering_2 = random(20,40)
  _value.sub_metering_3 = random(20,40)
  _value.global_active_power = random(0,10)
  _value.global_reactive_power = random(10,30)
  _value.voltage = random(200,250)
  _value.timestamp = year + '-' + month + '-' + day + ' ' + hour + ':' + min + ':' + sec
  _value._id_ = 'KwW37jXxC'
  return JSON.stringify(_value, null, 2)
}

execute(handlePayload)

実際に送信されるデータは下記のようなものになります。

{
  "sub_metering_1": 55,
  "sub_metering_2": 43,
  "sub_metering_3": 12,
  "global_active_power": 7,
  "global_reactive_power": 23,
  "timestamp": "2021-06-15 04:41:28",
  "voltage": 222,
  "_id_": "KwW37jXxC"
}

カスタムパーティションの効果を確認する

繰り返しになりますが今回は次のようにデータを送ってみました。

• 200 Byte 程度のデータを 10 秒間隔で送信
• 送信したデータ総数は約3000件
  • 途中で送信間隔を 1秒に変更して送っていました

データを送信後、AWS IoT Analytics のデータセットでクエリを実行してみます。スキャン期間を変えてクエリの実行時間に違いがあるか確認してみました。

16 時台のデータだけスキャン

次の SQLデータセットで指定したカスタムパーティションを使ってクエリを実行します。

SELECT * FROM mystore where __year = 2021 AND __month = 06 AND __day = 15 AND __hour = 16

17 時以降の全データをスキャン

少し変えて次の SQLデータセットで 17 時以降全てのデータを対象にクエリを実行してみます。

SELECT * FROM mystore where __year = 2021 AND __month = 06 AND __day = 15 AND __hour >= 17

スキャン時間の比較

「16時台」と「17 時以降全て」でクエリの実行時間は次のようになりました。

それぞれの平均は次のとおりです。

データ量が少ないので、大きな違いは確認できませんでしたがスキャンサイズが変わったことでクエリパフォーマンスの変化を確認することができたと思います。より大きなデータサイズ（数十GB〜やTBクラス）になると違いが顕著に現れるかと思います。

なお、比較に使ったクエリ時間はデータセットコンテンツに記載のものを採用しました。

補足 - データストアの S3 バケット構造

今回のようにタイムスタンプをカスタムパーティションとして作成した場合、データストアの S3 バケットは次のような構成になっていました。

└── your-datastore-bucket
    └── datastore
        └── your-data-store
            └── __dt=2021-06-15\ 00:00:00
                └── __year=2021
                    └── __month=06
                        └── __day=15
                            └── __hour=20

最後に

今回はタイムスタンプを元にパーティションを指定しましたが、カスタム属性をパーティションとすることもできるようなので、後日試してみたいと思います。

以上です。