[AWS Glue] テーブルへのカラム追加後に、どのような場合に INSERT INTO クエリが失敗するようになるのか確認してみた

[AWS Glue] テーブルへのカラム追加後に、どのような場合に INSERT INTO クエリが失敗するようになるのか確認してみた

#AWS Glue
#Amazon Athena
#AWS CDK
若槻龍太

若槻龍太

facebook logohatena logotwitter logo
Clock Icon2023.10.11

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんにちは、CX 事業本部 Delivery 部の若槻です。

今回は、AWS Glue テーブルにカラムを追加すると Amazon Athena の INSERT INTO クエリが失敗するようになることがあり、どのような場合に同事象が発生するのか確認してみました。

検証

カラム追加前のテーブルの実装

まず AWS CDK で絡む追加前の Glue テーブルを実装します。

import {
  aws_s3,
  RemovalPolicy,
  Stack,
  StackProps,
  CfnOutput,
} from 'aws-cdk-lib';
import { Construct } from 'constructs';
import * as glue_alpha from '@aws-cdk/aws-glue-alpha';

export class CdkSampleStack extends Stack {
  constructor(scope: Construct, id: string, props: StackProps) {
    super(scope, id, props);

    const dataBucket = new aws_s3.Bucket(this, 'DataBucket', {
      removalPolicy: RemovalPolicy.DESTROY,
      autoDeleteObjects: true,
    });

    const database = new glue_alpha.Database(this, 'GlueDatabase');

    const glueTableName = new glue_alpha.S3Table(this, 'GlueTable', {
      database,
      bucket: dataBucket,
      s3Prefix: 'data/',
      dataFormat: glue_alpha.DataFormat.PARQUET,
      partitionKeys: [
        {
          name: 'year',
          type: glue_alpha.Schema.STRING,
        },
        {
          name: 'month',
          type: glue_alpha.Schema.STRING,
        },
        {
          name: 'day',
          type: glue_alpha.Schema.STRING,
        },
      ],
      columns: [
        {
          name: 'id',
          type: glue_alpha.Schema.STRING,
        },
        {
          name: 'airTemperature',
          type: glue_alpha.Schema.DOUBLE,
        },
      ],
    });

    new CfnOutput(this, 'DataBaseName', {
      value: database.databaseName,
    });
    new CfnOutput(this, 'TableName', {
      value: glueTableName.tableName,
    });
  }
}

テーブルは STRING 型の id と DOUBLE 型の airTemperature の 2 つのカラムを持っています。

動作確認

テーブル作成直後なので、パーティションは未作成です。

$ aws glue get-partitions \
  --database-name ${dataBaseName} \
  --table-name ${tableName} \
  --query "Partitions[].{Values: Values, Columns: StorageDescriptor.Columns}"
[]

INSERT INTO クエリを実行してデータを 1 つ作成します。

INSERT INTO ${dataBaseName}.${tableName}
    (id, airtemperature, year, month, day)
VALUES
    ('d001', 10.05, '2023', '06', '16')

パーティションが 1 つ追加されていることを確認します。

$ aws glue get-partitions \
  --database-name ${dataBaseName} \
  --table-name ${tableName} \
  --query "Partitions[].{Values: Values, Columns: StorageDescriptor.Columns}"
[
    {
        "Values": [
            "2023",
            "06",
            "16"
        ],
        "Columns": [
            {
                "Name": "id",
                "Type": "string",
                "Comment": ""
            },
            {
                "Name": "airtemperature",
                "Type": "double",
                "Comment": ""
            }
        ]
    }
]

SELECT クエリでデータを取得してみます。

SELECT * FROM ${dataBaseName}.${tableName}

取得結果は次のようになりました。

id airtemperature year month day
d001 10.05 2023 06 16

既存と同じ型のカラムを追加した場合（クエリ成功）

既存の airTemperature と同じ型のカラム waterTemperature を、敢えて既存のカラムの位置が変わるように追加します。

      columns: [
        {
          name: 'id',
          type: glue_alpha.Schema.STRING,
        },
+        {
+          name: 'waterTemperature',
+          type: glue_alpha.Schema.DOUBLE,
+        },
        {
          name: 'airTemperature',
          type: glue_alpha.Schema.DOUBLE,
        },
      ],

INSERT INTO クエリを実行して、追加したカラムを含むデータを、すでにパーティションが作成されているキーと、未作成のキーに 1 つずつ作成します。すると INSERT INTO クエリは正常に実行できました。

INSERT INTO ${dataBaseName}.${tableName}
    (id, airtemperature, watertemperature, year, month, day)
VALUES
    ('d002', 10.05, 21.05, '2023', '06', '16'),
    ('d002', 10.05, 21.05, '2023', '06', '17')

すると既存のパーティションはカラムに変更はなく、新規のパーティションには watertemperature を含んでいます。

$ aws glue get-partitions \
  --database-name ${dataBaseName} \
  --table-name ${tableName} \
  --query "Partitions[].{Values: Values, Columns: StorageDescriptor.Columns}"
[
    {
        "Values": [
            "2023",
            "06",
            "17"
        ],
        "Columns": [
            {
                "Name": "id",
                "Type": "string",
                "Comment": ""
            },
            {
                "Name": "watertemperature",
                "Type": "double",
                "Comment": ""
            },
            {
                "Name": "airtemperature",
                "Type": "double",
                "Comment": ""
            }
        ]
    },
    {
        "Values": [
            "2023",
            "06",
            "16"
        ],
        "Columns": [
            {
                "Name": "id",
                "Type": "string",
                "Comment": ""
            },
            {
                "Name": "airtemperature",
                "Type": "double",
                "Comment": ""
            }
        ]
    }
]

SELECT クエリでデータを取得してみます。

SELECT * FROM ${dataBaseName}.${tableName}

クエリ実行は成功し、取得結果は次のようになりました。問題は無さそうです。

id airtemperature watertemperature year month day
d002 10.05 21.05 2023 06 17
d002 10.05 21.05 2023 06 16
d001 10.05 2023 06 16

既存と異なる型のカラムを追加した場合（クエリ失敗）

続いて、既存の airTemperature や waterTemperature と異なる型のカラム isRainy を追加します。ここでも敢えて既存のカラムの位置が変わるように追加します。

      columns: [
        {
          name: 'id',
          type: glue_alpha.Schema.STRING,
        },
        {
          name: 'waterTemperature',
          type: glue_alpha.Schema.DOUBLE,
        },
+        {
+          name: 'isRainy',
+          type: glue_alpha.Schema.BOOLEAN,
+        },
        {
          name: 'airTemperature',
          type: glue_alpha.Schema.DOUBLE,
        },
      ],

動作確認

さて、先ほどと同様に INSERT INTO クエリを実行して、追加したカラムを含むデータを、すでにパーティションが作成されているキーに作成しようとすると、クエリは失敗しました。

INSERT INTO ${dataBaseName}.${tableName}
    (id, airtemperature, isRainy, watertemperature, year, month, day)
VALUES
    ('d003', 10.05, true, 21.05, '2023', '06', '16'),
    ('d003', 10.05, false, 21.05, '2023', '06', '17')

HIVE_PARTITION_SCHEMA_MISMATCH: You are trying to write into an existing partition in a table. The table schema has changed since the creation of the partition. Inserting rows into such partition is not supported. The column 'israiny' in table 'cdksamplestackgluetable4d65f124' is declared as type 'boolean', but partition 'Optional[year=2023/month=06/day=17]' declared column 'airtemperature' as type 'double'. If a data manifest file was generated at 's3://aws-sam-cli-managed-default-samclisourcebucket-c376z02dmoa7/athena-query-result-primary-wg/Unsaved/2023/10/12/10662dcd-eeab-4e0c-8f7c-87a98131b5bd-manifest.csv', you may need to manually clean the data from locations specified in the manifest. Athena will not delete data in your account.

どうやら、isRainy カラム追加前のパーティションで、新規追加した isRainy と、既存の airTemperature の型が異なるためエラーとなっているようです。

カラム変更前のパーティションを使用して、カラム変更後のデータを INSERT INTO する場合は、同じ位置のカラムの型が一致していることが必要なようです。

対処方法

対処方法は パーティションの再作成 となります。

ALTER TABLE DROP PARTITION コマンドで、パーティションをすべて削除します。year のようにカーディナリティの低いキーを指定すると、少ない回数でパーティションの全削除が可能です。

ALTER TABLE ${dataBaseName}.${tableName} DROP PARTITION (year='2023');

パーティションがすべて削除されました。

$ aws glue get-partitions \
  --database-name ${dataBaseName} \
  --table-name ${tableName} \
  --query "Partitions[].{Values: Values, Columns: StorageDescriptor.Columns}"
[]

次に MSCK REPAIR TABLE コマンドでパーティションを再作成します。

MSCK REPAIR TABLE ${dataBaseName}.${tableName}

Partitions not in metastore: cdksamplestackgluetable4d65f124:year=2023/month=06/day=16 cdksamplestackgluetable4d65f124:year=2023/month=06/day=17
Repair: Added partition to metastore cdksamplestackgluedatabase6a27012d.cdksamplestackgluetable4d65f124:year=2023/month=06/day=16
Repair: Added partition to metastore cdksamplestackgluedatabase6a27012d.cdksamplestackgluetable4d65f124:year=2023/month=06/day=17

補足として、今回は Hive 形式のテーブルなので MSCK REPAIR TABLE コマンドが利用できましたが、非 Hive 形式のテーブルの場合は ALTER TABLE ADD PARTITION コマンドを利用する必要があります。

さて、MSCK REPAIR TABLE コマンド実行後のパーティションを確認すると、データが作成されているキーに、新規追加されてカラムを含むパーティションが作成されています。

$ aws glue get-partitions \
  --database-name ${dataBaseName} \
  --table-name ${tableName} \
  --query "Partitions[].{Values: Values, Columns: StorageDescriptor.Columns}"
[
    {
        "Values": [
            "2023",
            "06",
            "17"
        ],
        "Columns": [
            {
                "Name": "id",
                "Type": "string"
            },
            {
                "Name": "watertemperature",
                "Type": "double"
            },
            {
                "Name": "israiny",
                "Type": "boolean"
            },
            {
                "Name": "airtemperature",
                "Type": "double"
            }
        ]
    },
    {
        "Values": [
            "2023",
            "06",
            "16"
        ],
        "Columns": [
            {
                "Name": "id",
                "Type": "string"
            },
            {
                "Name": "watertemperature",
                "Type": "double"
            },
            {
                "Name": "israiny",
                "Type": "boolean"
            },
            {
                "Name": "airtemperature",
                "Type": "double"
            }
        ]
    }
]

INSERT INTO クエリも正常に実行できました。

INSERT INTO ${dataBaseName}.${tableName}
    (id, airtemperature, isRainy, watertemperature, year, month, day)
VALUES
    ('d003', 10.05, true, 21.05, '2023', '06', '16'),
    ('d003', 10.05, false, 21.05, '2023', '06', '17')

カラム追加前と追加後のデータが期待通りに作成されていることが確認できました。

id airtemperature watertemperature israiny year month day
d003 10.05 21.05 false 2023 06 17
d002 10.05 21.05 2023 06 16
d001 10.05 2023 06 16
d003 10.05 21.05 true 2023 06 16
d002 10.05 21.05 2023 06 17

既存のカラムの型を変更した場合も同様の対処が必要

既存のカラムの型を DOUBLE -> FLOAT のように変更した場合も同様の対処が必要です。

おわりに

AWS Glue テーブルへのカラム追加後に、どのような場合に INSERT INTO クエリが失敗するようになるのか確認してみました。

結論としては、カラムの追加や変更を行った時は原則としてパーティションの再作成を行う運用としたすると良さそうです。

参考

以上

Share this article

facebook logohatena logotwitter logo

関連記事

AWS Glue のAmazon Q データ統合を試してみました

AWS Glue のAmazon Q データ統合を試してみました

User avatar
石川覚
2024.11.16
Amazon EventBridge SchedulerとAWS Glue Python Shellの定期実行をCDKで構築する

Amazon EventBridge SchedulerとAWS Glue Python Shellの定期実行をCDKで構築する

User avatar
niino
2024.11.07
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2024年11月号

クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2024年11月号

User avatar
石川覚
2024.11.06
データ分析ツールにデータを取り込まずに検索！ - Splunk Federated Search for S3 を使ってみた

データ分析ツールにデータを取り込まずに検索！ - Splunk Federated Search for S3 を使ってみた

User avatar
酒井剛
2024.10.28
Classmethod's white logo
Facebook's logo
X's logo
YouTube's logo

© Classmethod, Inc. All rights reserved.