Apache Parquet 入門 - 列指向フォーマットを簡易図とPythonで理解する

[greenhouse_A, 2025-01-01 09:00:00, 22.5, 65], [greenhouse_B, 2025-01-01 09:00:00, 23.1, 62], ...
 ─────────────── 1行目 ───────────────────    ─────────────── 2行目 ───────────────────

[greenhouse_A, greenhouse_B, greenhouse_A], [2025-01-01 09:00:00, ...], [22.5, 23.1, 24.0], [65, 62, 60]
 ────────── greenhouse_id 列 ──────────     ──── timestamp 列 ────   ─ temperature 列 ─  ─ humidity 列 ─

SELECT AVG(temperature) FROM greenhouse_sensors;

temperature列: [22.5, 23.1, 24.0, 22.8, 23.5, ...]
               ↓
             似た値が並ぶため、圧縮しやすい

CSV:  "22.5" ←文字列？数値？
Parquet: 22.5 (DOUBLE) ←型が明確

# CSV の場合：型変換が必要
df = pd.read_csv('data.csv')
df['temperature'] = df['temperature'].astype(float)  # 手動で型変換
df['date'] = pd.to_datetime(df['date'])              # 日付も変換

# Parquet の場合：そのまま使える
df = pd.read_parquet('data.parquet')  # 型情報付きで読み込み

例：
- greenhouse_id: STRING (文字列)
- timestamp: STRING (文字列)
- temperature: DOUBLE (小数)
- humidity: INT32 (整数)

例（temperature 列の Column Chunk）：
- min: 22.5（最小値）
- max: 24.0（最大値）
- null_count: 0（NULL の数）

SELECT * FROM greenhouse_sensors WHERE temperature > 30;

1. Footer の統計情報を見る
   → 「temperature 列の max は 24.0」

2. 条件と比較
   → 「24.0 < 30 なので該当データは絶対にない」

3. この Row Group をスキップ！
   → データ本体を読まずに済む

S3: s3://my-bucket/data/greenhouse_sensors.parquet
        ↓
Athena: SELECT AVG(temperature) FROM sensors WHERE humidity < 50;
        ↓
    必要な列だけ読み込んで高速クエリ

S3 (CSV) → Glue ETL → S3 (Parquet)
                ↓
      Glue Studio でノーコード変換

# requirements.txt
pandas>=2.0.0
pyarrow>=14.0.0
jupyter>=1.0.0
ipykernel>=6.0.0
matplotlib>=3.0.0

# 仮想環境の作成・有効化
python -m venv .venv
source .venv/bin/activate  # Windows の場合: .venv\Scripts\activate

# ライブラリのインストール
pip install -r requirements.txt

# Jupyter Notebook の起動
jupyter notebook

import pandas as pd

# Parquet 形式でデータを保存
df.to_parquet('data.parquet')

# 読み込み（特定の列だけ取得も可能）
df = pd.read_parquet('data.parquet', columns=['temperature'])

import pandas as pd
import random

# 再現性のためシード固定
random.seed(42)

# 名前リスト（姓と名を組み合わせ）
last_names = ['田中', '鈴木', '佐藤', '高橋', '伊藤', '渡辺', '山本', '中村', '小林', '加藤',
              '吉田', '山田', '松本', '井上', '木村', '林', '斎藤', '清水', '山口', '森']
first_names_male = ['太郎', '一郎', '健太', '翔太', '大輔', '拓也', '健', '直樹', '誠', '亮']
first_names_female = ['花子', '幸子', '美咲', '陽子', '愛', '真由美', '恵子', '由美', '裕子', '明美']

# 厄年（数え年）
# 男性: 25歳、42歳（大厄）、61歳
# 女性: 19歳、33歳（大厄）、37歳、61歳
yakudoshi_male = [25, 42, 61]
yakudoshi_female = [19, 33, 37, 61]

# 100件のデータを生成
data = []
for i in range(1, 101):
    gender = random.choice(['男性', '女性'])
    if gender == "男性":
        name = random.choice(last_names) + random.choice(first_names_male)
        yakudoshi_ages = yakudoshi_male
    else:
        name = random.choice(last_names) + random.choice(first_names_female)
        yakudoshi_ages = yakudoshi_female

    age = random.randint(18, 70)
    is_yakudoshi = age in yakudoshi_ages
    omamori_count = random.randint(0, 2)
    visit_date = f"2025-01-0{random.randint(1, 3)}"

    data.append({
        'id': i,
        'name': name,
        'gender': gender,
        'age': age,
        'is_yakudoshi': is_yakudoshi,
        'omamori_count': omamori_count,
        'visit_date': visit_date
    })

df = pd.DataFrame(data)

# CSV として保存
df.to_csv('data/hatsumode_2025.csv', index=False)
print("CSV ファイルを作成しました（100件）")
print(df.head(10))

# CSV を読み込んで Parquet に変換
df = pd.read_csv('data/hatsumode_2025.csv')
df.to_parquet('data/hatsumode_2025.parquet')
print("Parquet ファイルに変換しました")

import pyarrow.parquet as pq

# Parquet ファイルを開く
parquet_file = pq.ParquetFile('data/hatsumode_2025.parquet')

# スキーマ（型情報）を確認
print("=== スキーマ ===")
print(parquet_file.schema)

# ファイル全体のメタデータ
print("=== メタデータ ===")
print(parquet_file.metadata)

# Row Group の情報
print("=== Row Group 情報 ===")
print(f"Row Group 数: {parquet_file.metadata.num_row_groups}")

for i in range(parquet_file.metadata.num_row_groups):
    rg = parquet_file.metadata.row_group(i)
    print(f"\nRow Group {i}:")
    print(f"  行数: {rg.num_rows}")

# 統計情報を確認（各カラムの min/max）
print("=== 統計情報 ===")
rg = parquet_file.metadata.row_group(0)

for i in range(rg.num_columns):
    col = rg.column(i)
    print(f"\n{col.path_in_schema}:")
    if col.statistics:
        print(f"  min: {col.statistics.min}")
        print(f"  max: {col.statistics.max}")
        print(f"  null_count: {col.statistics.null_count}")
    else:
        print("  統計情報なし")

# 全データを読み込み
print("=== 全データ ===")
table = parquet_file.read()
print(table.to_pandas())

=== 全データ ===
pyarrow.Table
id: int64
name: string
gender: string
age: int64
is_yakudoshi: bool
omamori_count: int64
visit_date: string
----
id: [[1,2,3,4,5,...,96,97,98,99,100]]
name: [["田中大輔","清水一郎","佐藤翔太","清水翔太","中村由美",...,"鈴木裕子","木村誠","森裕子","林直樹","斎藤由美"]]
gender: [["男性","男性","男性","男性","女性",...,"女性","男性","女性","男性","女性"]]
age: [[33,55,32,63,55,...,33,53,45,34,58]]
is_yakudoshi: [[false,false,false,false,false,...,true,false,false,false,false]]
omamori_count: [[0,1,2,2,1,...,0,2,2,0,0]]
visit_date: [["2025-01-01","2025-01-01","2025-01-03","2025-01-03","2025-01-01",...,"2025-01-02","2025-01-02","2025-01-02","2025-01-03","2025-01-02"]]

# 特定の列だけ読み込み（列指向のメリット）
# 「厄年の人のお守り購入数の平均」を知りたい場合、必要な列だけ読めばOK
print("=== is_yakudoshi と omamori_count 列だけ読み込み ===")
df_filtered = pd.read_parquet('data/hatsumode_2025.parquet', columns=['is_yakudoshi', 'omamori_count'])
print(df_filtered.head(10))

# 厄年 vs 厄年でない人 のお守り購入数を比較
yakudoshi_avg = df_filtered[df_filtered['is_yakudoshi'] == True]['omamori_count'].mean()
not_yakudoshi_avg = df_filtered[df_filtered['is_yakudoshi'] == False]['omamori_count'].mean()

print(f"\n=== お守り購入数の平均 ===")
print(f"厄年の人:       {yakudoshi_avg:.2f}個")
print(f"厄年でない人:   {not_yakudoshi_avg:.2f}個")

import matplotlib.pyplot as plt

# 日本語フォント設定（macOS）
plt.rcParams['font.family'] = 'Hiragino Sans'

# 厄年 vs 非厄年のお守り購入数の平均
avg_by_yakudoshi = df.groupby('is_yakudoshi')['omamori_count'].mean()

# グラフ作成
fig, ax = plt.subplots(figsize=(8, 5))
avg_by_yakudoshi.plot(kind='bar', ax=ax, color=['#4CAF50', '#FF5722'])

ax.set_title('厄年 vs 非厄年：お守り購入数の平均', fontsize=14)
ax.set_xlabel('厄年かどうか', fontsize=12)
ax.set_ylabel('お守り購入数（平均）', fontsize=12)
ax.set_xticklabels(['厄年でない', '厄年'], rotation=0)

plt.tight_layout()
plt.show()