Fivetranによる自動データ型割当・自動データ型変換の挙動を確かめてみた #fivetran

さがら

2023.01.19

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

さがらです。

DWHとコネクタへの接続設定を行うだけでデータロードを行ってくれるFivetranですが、データ型の割当もFivetranが自動で行ってくれるという仕様があります。

本記事ではこの仕様について検証してみたので、その内容をまとめてみます。

Fivetranの自動データ型割当・自動データ型変換について

まず、それぞれの仕様がどういったものか述べておきます。

Fivetranは、対象のデータをロードする際に各カラムの値を確認し、その値を正確に保持できかつ容量を最小限に抑えられるデータ型を決めて、そのデータ型をデフォルトのデータ型として割り当てるようになっております。

この時、下図の階層関係によって、データ型が決まるようになっております。上部に位置するほど多くの値を正確に保持でき容量も取ってしまうため、値を見てなるべく下部に位置するデータ型を割り当てようとFivetranはデータ型を推論してくれます。（下図は公式Docからの引用です。）

より具体的に、公式Docの例の引用ですが、以下のような流れで型の割当を行っております。

あるカラムの値を見て、１レコード目には「9」を確認したので、INT型と推測する
続いて２レコード目を見て、「9.90」を確認したので、小数点以下の値も正確に保持できるDOUBLE型ではないかと推測する
この２レコードの値を見て、INTとDOUBLEに該当する値を確認したので、どちらの値も保持できるDOUBLE型を対象のカラムのデータ型として定義する

Fivetranでは、2回目移行のデータ同期で、現在のカラムのデータ型では対応できないデータが確認できた場合、自動でデータ型を変換する仕様があります。

具体的な挙動としては、下記のような動きをします。

より詳しくは、下記の公式Docの「Changing data type」をご覧ください。

では、実際にどのようにデータ型が割り当てられるのか、スプレッドシート➟Snowflakeの同期を試してみて確認したいと思います。

※スプレッドシート➟Snowflakeの、Fivetranを用いた同期手順についてはこちらのブログをご覧ください。

まず、3行4列のこのようなデータをSnowflakeに同期してみます。

下図は実際のFivetranのログですが、初回の同期はこのデータ量であれば2分くらいで終わります。

同期完了後にテーブルを見ると、このような形で同期されていました。

各カラムのデータ型は下図のようになっておりました。Fivetranなら当たり前とは言えるのですが、IS_EXPRESS_DELIVERYがBOOLEAN、ORDER_DATEがDATEといった形でロードしてくれているのがありがたいですね！

続いて、先程の3行4列のデータに対して、以下の変更を行ってみます。

order_idカラムが「003」のレコードを削除
order_idカラムが「004」のレコードを追加　※total_priceの値が「漢字」、is_express_deliveryの値が「日本語」、というイレギュラーが値を追加
user_idカラムを追加し、値も各行に入れる

この変更を行った後のスプレッドシートのデータは下図のようになります。

下図は2回目のFivetranのログですが、これも初回と同じく2分くらいで終わります。細かく見ると、ADD_COLUMNやDROP_COLUMNなどの処理が走っていることがわかりますね。データ型を変更するために、一度カラムを削除して別の型のカラムを追加していることが伺えます。

2回目の同期完了後にテーブルを見ると、このような形で同期されていました。

各カラムのデータ型は下図のようになっておりました。USER_ID列が新しく追加されているのはもちろん、イレギュラーな値が入り元のデータ型では扱えなくなったIS_EXPRESS_DELIVERY列とTOTAL_PRICE列がVARCHAR(256)になっているのがわかります。

このように、新しい列が追加されても問題なく対応し、データの内容が変わった場合でも自動でデータ型を変更してくれるのがFivetranの魅力的なところだと思います！

Fivetranによる自動データ型割当・自動データ型変換の挙動を確かめてみました。

普段自分でデータロード処理を開発して運用している方にとっては、とてもありがたく感じる機能ではないでしょうか。参考になると幸いです。