Lambda Layer用のawswrangler (AWS SDK for pandas)に含まれるPythonモジュールとバージョンを確認する

データアナリティクス事業本部のueharaです。

今回は、Lambda Layer用のawswrangler (AWS SDK for pandas)に含まれるPythonモジュールとバージョンを確認してみたいと思います。

はじめに

awswranglerはpipでインストールすると容量が大きいため、githubのreleaseページでLambda Layersに登録するためのzipファイルが公開されています。

このzipファイルには勿論pandasやnumpyも含まれており、一般的なETL処理であれば本zipに含まれているモジュールで必要十分かと思います。

ただ、「どのようなモジュールが含まれているのか？」「バージョンは何か？」と気になる方も多いかと思いますので、今回はその確認方法をご紹介します。

確認方法

上記でDLしたzipファイルを解凍すると python というフォルダが出てくると思います。

そのフォルダに対して、以下のスクリプトを実行します。

confirm_meta.py

import os

# 解凍して出力されたpythonフォルダのパスを指定
TARGET_PATH = "./python"


def find_metadata(dir_path):
    for root, dirs, files in os.walk(dir_path):
        if 'METADATA' in files:
            yield os.path.join(root, 'METADATA')


def parse_metadata(file_path):
    with open(file_path, 'r') as f:
        lines = f.readlines()
    for line in lines:
        if line.startswith('Name: '):
            name = line.split(': ')[1].strip()
        if line.startswith('Version: '):
            version = line.split(': ')[1].strip()
    return name, version


data = []
for metadata_file in find_metadata(TARGET_PATH):
    name, version = parse_metadata(metadata_file)
    data.append((name, version))


data.sort()

# Markdown table形式で出力
print("| module_name | version |")
print("| ---- | ---- |")
for name, version in data:
    print(f"| {name} | {version} |")

確認結果

awswrangler-layer-3.4.0-py3.9.zip について確認したところ、結果は以下の通りでした。

最後に

今回は、Lambda Layer用のawswrangler (AWS SDK for pandas)に含まれるPythonモジュールとバージョンを確認してみました。

参考になりましたら幸いです。