# Spark の記事一覧
![Glue Studioのvisual job editorで作成したジョブからSparkのコードを理解してみる](https://devio2023-media.developers.io/wp-content/uploads/2022/08/aws-glue.png)
Glue Studioのvisual job editorで作成したジョブからSparkのコードを理解してみる
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fsuto-takeshi.png&w=256&q=75)
![AWS Glue ETLライブラリを使ってローカルでSparkを動かす](https://devio2023-media.developers.io/wp-content/uploads/2019/08/spark-logo-1200x630.png)
AWS Glue ETLライブラリを使ってローカルでSparkを動かす
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fyamashita-katsumi.png&w=256&q=75)
![Spark SQLによる値のハッシュ化を試してみた](https://devio2023-media.developers.io/wp-content/uploads/2019/08/spark-logo-1200x630.png)
Spark SQLによる値のハッシュ化を試してみた
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Footaka-daisuke.jpeg&w=256&q=75)
![[レポート] ANT376 : AWS Glue Data Catalog のアクセスコントロール #reinvent](https://devio2023-media.developers.io/wp-content/uploads/2018/11/eyecatch_reinvent-2018-city_1200x630.jpeg)
[レポート] ANT376 : AWS Glue Data Catalog のアクセスコントロール #reinvent
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fishikawa-satoru.jpeg&w=256&q=75)
![[レポート] ANT308 : AWS Glue のサーバレスアナリティクスパイプライン構築する #reinvent](https://devio2023-media.developers.io/wp-content/uploads/2018/11/eyecatch_reinvent-2018-city_1200x630.jpeg)
[レポート] ANT308 : AWS Glue のサーバレスアナリティクスパイプライン構築する #reinvent
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fishikawa-satoru.jpeg&w=256&q=75)
![[レポート] ANT327 : AWSにおけるセキュアなデータレイクのベストプラクティス #reinvent](https://devio2023-media.developers.io/wp-content/uploads/2018/11/eyecatch_reinvent-2018-city_1200x630.jpeg)
[レポート] ANT327 : AWSにおけるセキュアなデータレイクのベストプラクティス #reinvent
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fishikawa-satoru.jpeg&w=256&q=75)
![[レポート] STG204: データレイクの実装について #reinvent](https://devio2023-media.developers.io/wp-content/uploads/2018/11/eyecatch_reinvent-2018-city_1200x630.jpeg)
[レポート] STG204: データレイクの実装について #reinvent
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fyoshihitoh.jpeg&w=256&q=75)
![[新機能]EMR NotebooksでJupyterNotebookがサーバーレスで使用できるようになりました!](https://devio2023-media.developers.io/wp-content/uploads/2018/11/eyecatch_amazon-emr_1200x630.jpeg)
[新機能]EMR NotebooksでJupyterNotebookがサーバーレスで使用できるようになりました!
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fhirano-shigetoshi.png&w=256&q=75)
![Hadoop不要!Sparkクラスタを手軽に構築](https://devio2023-media.developers.io/wp-content/uploads/2018/10/Spark-400x4001.png)
Hadoop不要!Sparkクラスタを手軽に構築
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fhirano-shigetoshi.png&w=256&q=75)
![[PySpark]*.csvファイルを再帰的にヘッダーを除去しつつ読み込む](https://devio2023-media.developers.io/wp-content/uploads/2018/10/Spark-400x4001.png)
[PySpark]*.csvファイルを再帰的にヘッダーを除去しつつ読み込む
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fhirano-shigetoshi.png&w=256&q=75)
![MacのローカルでPySparkをJupyterNotebookから使う](https://devio2023-media.developers.io/wp-content/uploads/2018/10/Spark-400x400.png)
MacのローカルでPySparkをJupyterNotebookから使う
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fhirano-shigetoshi.png&w=256&q=75)
![AWS Glue がETLジョブのデバッグとプロファイリングを可能にするメトリックをサポートしました](https://devio2023-media.developers.io/wp-content/uploads/2016/12/eyecatch_glue.png)
AWS Glue がETLジョブのデバッグとプロファイリングを可能にするメトリックをサポートしました
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fishikawa-satoru.jpeg&w=256&q=75)
![AWS Glue の Excludeパターンによるデータストアのフィルタリング効果の違いについて](https://devio2023-media.developers.io/wp-content/uploads/2016/12/eyecatch_glue.png)
AWS Glue の Excludeパターンによるデータストアのフィルタリング効果の違いについて
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fishikawa-satoru.jpeg&w=256&q=75)
![AWS Glue が DynamoDBのテーブルのクロールやETLジョブをサポートしたので試してみました](https://devio2023-media.developers.io/wp-content/uploads/2016/12/eyecatch_glue.png)
AWS Glue が DynamoDBのテーブルのクロールやETLジョブをサポートしたので試してみました
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fishikawa-satoru.jpeg&w=256&q=75)
![AWS Glue と SQLのみで、サクッとETL(Extract、Transform、Load)するJobを作成する](https://devio2023-media.developers.io/wp-content/uploads/2016/12/eyecatch_glue.png)
AWS Glue と SQLのみで、サクッとETL(Extract、Transform、Load)するJobを作成する
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fishikawa-satoru.jpeg&w=256&q=75)
![AWS Glue の Dynamicframeを使わずDataframeを用いて自在にCSV/TSVファイルを出力する](https://devio2023-media.developers.io/wp-content/uploads/2016/12/eyecatch_glue.png)
AWS Glue の Dynamicframeを使わずDataframeを用いて自在にCSV/TSVファイルを出力する
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fishikawa-satoru.jpeg&w=256&q=75)
![AWS GlueでネストされたJSONファイルをCSVファイルやParquetに変換する](https://devio2023-media.developers.io/wp-content/uploads/2016/12/eyecatch_glue.png)
AWS GlueでネストされたJSONファイルをCSVファイルやParquetに変換する
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fishikawa-satoru.jpeg&w=256&q=75)
![AWS Glue 新しくサポートされたScalaでETL Job作成を試してみました](https://devio2023-media.developers.io/wp-content/uploads/2016/12/eyecatch_glue.png)
AWS Glue 新しくサポートされたScalaでETL Job作成を試してみました
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fishikawa-satoru.jpeg&w=256&q=75)
![EMRのステップ実行でPySparkを使ってRedshiftに出力する](https://devio2023-media.developers.io/wp-content/uploads/2014/05/Amazon_EMR.png)
EMRのステップ実行でPySparkを使ってRedshiftに出力する
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fozawa-yuya.png&w=256&q=75)
![Sparkで入力ファイル名を取得する](https://devio2023-media.developers.io/wp-content/uploads/2016/11/hadoop-logo.png)
Sparkで入力ファイル名を取得する
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fozawa-yuya.png&w=256&q=75)
![Spark MLlibの実装を読み解いてみる](https://devio2023-media.developers.io/wp-content/uploads/2016/11/hadoop-logo.png)
Spark MLlibの実装を読み解いてみる
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fozawa-yuya.png&w=256&q=75)
![Deeplearning4J on Spark | Hadoop Advent Calendar 2016 #20](https://devio2023-media.developers.io/wp-content/uploads/2016/11/hadoop-logo.png)
Deeplearning4J on Spark | Hadoop Advent Calendar 2016 #20
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fozawa-yuya.png&w=256&q=75)
![Apache Zeppelin入門 | Hadoop Advent Calendar 2016 #19](https://devio2023-media.developers.io/wp-content/uploads/2016/11/hadoop-logo.png)
Apache Zeppelin入門 | Hadoop Advent Calendar 2016 #19
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fozawa-yuya.png&w=256&q=75)
![Spark MLlib入門 | Hadoop Advent Calendar 2016 #18](https://devio2023-media.developers.io/wp-content/uploads/2016/11/hadoop-logo.png)
Spark MLlib入門 | Hadoop Advent Calendar 2016 #18
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fozawa-yuya.png&w=256&q=75)
![Spark Dataset APIについて | Hadoop Advent Calendar 2016 #17](https://devio2023-media.developers.io/wp-content/uploads/2016/11/hadoop-logo.png)
Spark Dataset APIについて | Hadoop Advent Calendar 2016 #17
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fozawa-yuya.png&w=256&q=75)
![Spark入門 | Hadoop Advent Calendar 2016 #15](https://devio2023-media.developers.io/wp-content/uploads/2016/11/hadoop-logo.png)
Spark入門 | Hadoop Advent Calendar 2016 #15
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fozawa-yuya.png&w=256&q=75)
![Sparkの構成 | Hadoop Advent Calendar 2016 #14](https://devio2023-media.developers.io/wp-content/uploads/2016/11/hadoop-logo.png)
Sparkの構成 | Hadoop Advent Calendar 2016 #14
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fozawa-yuya.png&w=256&q=75)
![Hadoop Summit 2016 Tokyo参加レポート](https://devio2023-media.developers.io/wp-content/uploads/2016/11/hadoop-logo.png)
Hadoop Summit 2016 Tokyo参加レポート
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fozawa-yuya.png&w=256&q=75)