Snowflake Notebooksで始める機械学習パイプライン構築：LightGBMとデータ前処理の実践

# 現在アクティブなセッションを取得(SnowflakeのNotebook環境では、ユーザーがNotebookを開いた時点で、必要な接続情報をもとに自動的にセッションが作成される仕組みがある)
from snowflake.snowpark.context import get_active_session
session = get_active_session()

# "OZASA_TEST_DB"データベースの"STUDY"スキーマにある、"TITANIC"テーブルを取得
train_df = session.table("OZASA_TEST_DB.STUDY.TITANIC")

# 先頭5行を出力
train_df.limit(5)

from snowflake.snowpark.functions import col, when, lit

# 1. 不要な列の削除（例: 'Name', 'Ticket', 'Cabin'）
train_df_cleaned = train_df.drop("Name", "Ticket", "Cabin")

# 2. 欠損値の処理
# 'Age' の欠損値を平均値で埋める
age_mean = train_df_cleaned.select(col("Age")).agg({"Age": "avg"}).collect()[0][0]
train_df_cleaned = train_df_cleaned.fillna({"Age": age_mean})

# 'Embarked' の欠損値を最頻値で埋める
embarked_mode = train_df_cleaned.group_by("Embarked").count().order_by(col("count").desc()).limit(1).collect()[0][0]
train_df_cleaned = train_df_cleaned.fillna({"Embarked": embarked_mode})

# 3. データ型の変換
# 'Sex' 列を数値に変換（'male' -> 1, 'female' -> 0）
train_df_cleaned = train_df_cleaned.with_column("Sex", when(col("Sex") == lit("male"), lit(1)).otherwise(lit(0)))

# 4. 新しい特徴量の作成
# 'FamilySize' = 'SibSp' + 'Parch' + 1 (自分自身を含む)
train_df_cleaned = train_df_cleaned.with_column("FamilySize", col("SibSp") + col("Parch") + lit(1))

# 結果を表示
train_df_cleaned.limit(5)

# SnowflakeのデータをPandas DataFrameに変換
train_df_pandas = train_df_cleaned.to_pandas()

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.metrics import accuracy_score
import lightgbm as lgb

# 特徴量と目的変数に分ける
X = train_df_pandas.drop('SURVIVED', axis=1)
y = train_df_pandas['SURVIVED']

# 訓練データとテストデータに分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 数値データとカテゴリデータを分ける
numeric_features = ['AGE', 'SIBSP', 'PARCH', 'FARE', 'FAMILYSIZE']
categorical_features = ['SEX', 'EMBARKED']

# 数値データのスケーリングとカテゴリデータのエンコーディングを設定
preprocessor = ColumnTransformer(
    transformers=[
        ('num', StandardScaler(), numeric_features),  # 数値データのスケーリング
        ('cat', OneHotEncoder(), categorical_features)  # カテゴリデータのOne-Hotエンコーディング
    ])

# LightGBMモデルを使ったパイプラインの構築
pipeline = Pipeline(steps=[
    ('preprocessor', preprocessor),  # 前処理（スケーリングとエンコーディング）
    ('classifier', lgb.LGBMClassifier(random_state=42))  # LightGBM分類器
])

# モデルのトレーニング
pipeline.fit(X_train, y_train)

# テストデータで予測
y_pred = pipeline.predict(X_test)

# 精度の評価
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy:.4f}')

ModuleNotFoundError: Line 2: Module Not Found: sklearn. To import packages from Anaconda, install them first using the package selector at the top of the page.

ModuleNotFoundError: Line 7: Module Not Found: lightgbm. To import packages from Anaconda, install them first using the package selector at the top of the page.

`Accuracy: 0.8212`