Lambda関数(Python)でExcelファイルのシリアル値を日付に変換しつつcsvファイル変換してみた

# 作業フォルダを作って移動
mkdir python-layer
cd python-layer
mkdir python

# pandas、openpyxlのインストール
pip install pandas openpyxl -t ./python

# フォルダを圧縮
zip -r pandas_layer.zip .

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": "arn:aws:s3:::source-bucket/*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject"
            ],
            "Resource": "arn:aws:s3:::source-bucket/*"
        }
    ]
}

import io
import os
import boto3
import pandas as pd

s3 = boto3.resource('s3')
s3_client = boto3.client('s3')

def lambda_handler(event, context):
    # S3にアップロードされたExcelファイルの最初のシートをCSVに変換し、同じバケットの指定パスに出力する。   
    try:

        if 'Records' in event:
            # S3イベントトリガーからの実行
            data_source_bucket = event['Records'][0]['s3']['bucket']['name'] # Lambda関数呼び出し元バケット名
            data_source_key = event['Records'][0]['s3']['object']['key']     # オブジェクトキー取得
        else:
            # 手動実行 (テストイベント)
            data_source_bucket = event['bucket']
            data_source_key = event['key']

        os.chdir('/tmp')

        # S3にPUTされたExcelファイルダウンロード
        response = s3_client.get_object(Bucket=data_source_bucket, Key=data_source_key)
        file_content = response['Body'].read()

        # ローカルで生成するCSVファイル名を生成
        base_filename = os.path.splitext(os.path.basename(data_source_key))[0]
        csv_filename = f"{base_filename}.csv"
        # 出力先S3パスを生成
        file_path = "出力させるS3パスをここに入力"
        dest_key = f"{file_path}/{csv_filename}"

        # pandasでExcelファイルを読み込み (1シート目のみ)
        df = pd.read_excel(io.BytesIO(file_content), sheet_name=0) 

        # 日付の列名のリスト（今回の対象列名は'Date（日付）'とします）
        date_columns = ['Date（日付）'] 

        for col in date_columns:
            if col in df.columns:
                # まず、列を数値型に変換しようと試みる (エラーは無視)。文字列として読み込まれた数値を正しく扱えるため
                numeric_col = pd.to_numeric(df[col], errors='coerce')

                # 数値に変換できたものだけを対象に、シリアル値を日付に変換
                converted_dates = pd.to_datetime(numeric_col, unit='D', origin='1899-12-30', errors='coerce')

                # 変換に成功した日付を書式設定し、元の列を更新
                mask = converted_dates.notna()
                df.loc[mask, col] = converted_dates[mask].dt.strftime('%Y-%m-%d')

                print(f"Processed potential date column: {col}")

        # DataFrameをCSV形式の文字列に変換
        csv_buffer = io.StringIO()
        df.to_csv(csv_buffer, index=False, encoding='utf-8-sig')
        csv_content = csv_buffer.getvalue()

        # CSVファイルアップロード

        s3_client.put_object(
            Bucket=data_source_bucket,
            Key=dest_key,
            Body=csv_content
        )

        print(f"Successfully converted {data_source_key} to {dest_key} in bucket {data_source_bucket}.")
        return {
            'statusCode': 200,
            'body': f'Successfully converted {data_source_key} to {dest_key}'
        }

    except Exception as e:
        print(f"Error processing file {data_source_key} from bucket {data_source_bucket}.")
        print(e)
        raise e