RedshiftのCOPYコマンドで空文字のデータをロードして結果を確認してみた

はじめに

データアナリティクス事業本部のおざわです。

Amazon RedshiftでS3に置いたCSVファイルの内容をロードするときにCOPYコマンドを使用しますが、DATE型のカラムに空文字を投入した場合、エラーになるのかNULLになるのか不明だったので実際にやってみました。

せっかくなので、他のデータ型で試した結果も載せています。今回は、公式ドキュメントにあるデータ型のうち、プロジェクトで使用したことがあるものをいくつか選びました。このテーブルに対してCOPYコマンドでデータをロードして結果を確認したいと思います。

CREATE TABLE IF NOT EXISTS my_null_test_table (
    "my_varchar" VARCHAR(20), 
    "my_integer" INTEGER,
    "my_decimal" DECIMAL(10,3),
    "my_boolean" BOOLEAN,
    "my_date" DATE,
    "my_time" TIME
);

使用するCOPYコマンドはこちらです。

COPY my_null_test_table (
    "my_varchar", 
    "my_integer",
    "my_decimal",
    "my_boolean",
    "my_date",
    "my_time"
)
  from 's3://my-test-bucket-12345/my_null_test.csv'
  IAM_ROLE 'arn:aws:iam::<ACCOUNT_ID>:role/my-null-test-redshift-role'
  IGNOREHEADER 1
  DELIMITER ','
  FORMAT AS CSV
  DATEFORMAT 'YYYYMMDD'
  TIMEFORMAT 'HHMISS'
;

Redshiftの構築には、こちらのブログにあるCloudFormationのテンプレートを使用しました。

CSV

CSVは以下のようなファイルを用意しました。2行目にはそれぞれのデータ型で有効な値を入れています。3行目はすべて空文字です。4行目は囲み文字も入れずに区切り文字のカンマだけを入れています。

"my_varchar","my_integer","my_decimal","my_boolean","my_date","my_time"
"VAR!","123","123.456","TRUE","20230731","101129"
"","","","","",""
,,,,,

試した結果

COPYを実行してもエラーにはなりませんでした。以下、各カラムの結果になります。

VARCHAR

SELECT my_varchar FROM my_null_test_table;

COPYコマンドにEMPTYASNULLを指定すると以下のようにNULLになりました。

INTEGER

SELECT my_integer FROM my_null_test_table;

DECIMAL

SELECT my_decimal FROM my_null_test_table;

BOOLEAN

SELECT my_boolean FROM my_null_test_table;

DATE

SELECT my_date FROM my_null_test_table;

TIME

SELECT my_time FROM my_null_test_table;

おわりに

結果を見てみると、NULLを許容してるならNULLになるよねという話なのですが、実際に試してみた結果の共有でした。どなたかの参考になれば幸いです。

参考リンク