# PySpark の記事一覧

Glue テーブルに対してデータを読み取り/書き込みする Glue ジョブを AWS CDK で作成する

Amazon Athena for Apache SparkでApache Icebergフォーマットのテーブルを作成してみた

[AWS Glue] ETL Job（PySpark）で標準出力されたデータを確認したい

BigQueryのSparkストアドプロシージャでGCSのファイルを操作する（プレビュー）

[Glueジョブ] Glueデータカタログ経由でCSVを読み込んで日付型にキャストする方法

M1 MacでPySparkローカル環境構築

Spark履歴サーバ（Spark UI）をDockerで立ち上げて、Glue Sparkジョブ実行の結果を確認してみた

AWS Glueでカンマ区切りの数字(String型)を数値(Long型など)に変換したい

Deequでデータ品質をテストする

[AWS Glue]クローラーとジョブを組み合わせて、パーティション分割されたデータソースをパーティション分割したデータターゲットに追加するETLフローを作ってみた

[AWS Glue]DynamoDBに登録した祝日テーブルでデータの祝日判定をするジョブを作ってみた

【Mac】PySparkでデフォルトのPythonバージョンを3系にする

[AWS Glue]S3とDynamoDBから取得したデータを結合（Join）するジョブを作ってみた

Spark DataFrameのshow()メソッドで長い値が省略されないようにする