-
[レポート] ANT376 : AWS Glue Data Catalog のアクセスコントロール #reinvent
はじめに ANT376-Access Control in AWS Glue Data Catalog のセッションのレポートとなります。AWS Lake Formation のセキュリティを正しく理解するには必須のセッ […]
-
[アップデート]Step FunctionsでDynamoDB + Glue を試してみた #reinvent
はじめに こんにちは、福岡オフィス所属、IT推進室の井手です。 re:Invent 2018にて、Step Functionsの連携サービスが大幅に追加されました。 [神アップデート]Step Functionsが新たに […]
-
SageMakerの前処理をGlue開発エンドポイントで実行させる:Amazon SageMaker Advent Calendar 2018
SageMakerの前処理をGlue開発エンドポイントで実行してみよう
-
[レポート] ANT308 : AWS Glue のサーバレスアナリティクスパイプライン構築する #reinvent
はじめに ANT308-Building Serverless Analytics Pipelines with AWS Glue のセッションのレポートとなります。AWS Glueの新機能やパフォーマンス改善方法につい […]
-
Sapporo.aws 第4回「re:Invent 2018 Analytics関連アップデート!」について発表しました #reinvent #sapporoaws
今回、Sapporo.aws 第4回 AWS re:Invent 2018 報告会において、以下の内容で話してきました。 「re:Invent 2018 Analytics関連アップデート!」 話題の新サービス AW […]
-
[レポート] ANT327 : AWSにおけるセキュアなデータレイクのベストプラクティス #reinvent
はじめに ANT327 - Best Practices to Secure Data Lake on AWS のセッションのレポートとなります。データレイクのセキュリティに関して包括的にまとめられています。 Best […]
-
[レポート] ANT326 : AWS Glue ETL Jobの Metrics-Driven パフォーマンスチューニング #reinvent
はじめに ANT326: Metrics-Driven Performance Tuning for AWS Glue ETL Jobs のChalk Talkのレポートとなります。本セッションではパフォーマンスチューニ […]
-
[レポート] ワークショップセッションENT302:余計な支出を抑える #reinvent
re:Invent 2018のワークショップ「ENT224-End Extra Spending」のレポートです。AWS 流 Cloud Financial Management Frameworkを学びます。
-
AWS Glue・Amazon Athena・Amazon QuickSightを使ってAWS CloudTrailログをETL後に可視化する
AWSビッグデータブログに、AWS CloudTrailログのインプットに対してAWS GlueでETL処理を行い、Amazon Athena・Amazon QuickSightで可視化するウォークスルーがあります。 V […]
-
AWS CLIによるはじめてのAWS Glue
はじめに 中山（順）です クラスメソッドでAWSソリューションアーキテクトをやっていると、AWSに関するあらゆることを聞かれます。 全てのサービスについて詳しくなるのは物理的に厳しいのですが、少なくとも大半のサービスにつ […]
-
AWS Glue がETLジョブのデバッグとプロファイリングを可能にするメトリックをサポートしました
はじめに AWS Glueの中で最も大きなアップデートです。AWS Glue がついにETLジョブのデバッグとプロファイリングを可能にするメトリックを提供するようになりました。DriverとExecutorのメモリー使用 […]
-
AWS Glue の Excludeパターンによるデータストアのフィルタリング効果の違いについて
はじめに AWS Glue の Excludeパターンによるデータソースのフィルタリングは、実務では避けて通れない機能ですが、S3データストアとJDBCデータストアでは機能や目的が異なります。これらの違いについて解説した […]
-
AWS Glue が DynamoDBのテーブルのクロールやETLジョブをサポートしたので試してみました
はじめに AWS Glue アップデートを確認したことろ、DynamoDBのテーブルのクロールとETLジョブをデータソースに指定できるようになったようです。どこまでサポートしたのか早速試してみました。 Discussio […]
-
AWS Glueで多くの小さなファイルをまとめて読み込むgroupFiles/groupSize指定でパフォーマンスを改善する
はじめに 最近、データサイズは大きくない割に、ジョブが徐々に遅くなったり、メモリ不足が発生して処理が中断するといった相談を受けましたので、その対策の一つである小さなファイルをまとめて読み込むgroupFiles/grou […]
-
「db analytics showcase Sapporo 2018」でサーバーレスの話を聞いてきました #dbts2018 #dbasSPR
札幌で開催されている「db analytics showcase Sapporo 2018」のセッション「Serverless Analytics on AWS」へ参加してきました
-
Amazon Athena がついにビュー（CREATE VIEW）をサポートしました！
はじめに 超嬉しいアップデート、Amazon Athena がついにビュー（CREATE VIEW）をサポートしました。朝起きて、Amazon Athenaのコンソールを見ると「ビュー」というメニューが追加されているのを […]
-
AWS Glue と SQLのみで、サクッとETL（Extract、Transform、Load）するJobを作成する
はじめに AWS Glueは、指定した条件に基づいてPySparkのETL（Extract、Transform、Load）の雛形コードが自動生成されますが、それ以上の高度な変換は、PySparkのコードを作成、デバックす […]
-
AWS Glue の Pushdown Predicates を用いてすべてのファイルを読み込むことなく、パーティションをプレフィルタリングする
はじめに AWS Glueが自動生成するETLコード（PySpark）では、ソースデータをDynamicFrame内部のRDDに読み込み、後続の条件に基づいてデータのフィルタ・変換を繰り返し、最終的にターゲットデータに出 […]
-
AWS Glue の Dynamicframeを使わずDataframeを用いて自在にCSV/TSVファイルを出力する
はじめに Dynamicframeは、フォーマットにCSVファイルを指定できますが、空白を含む文字列は自動的にダブルクォーテーションで括られてしまったり、デリミタ文字列はカンマのみとなります。今回はこの課題を解決するため […]
-
AWS Glueを用いてパフォーマンス向上やコスト最適化するカラム名ありパーティションのデータに変換するETLコードを作成する
はじめに Amazon Redshift Spectrum や Amazon Athena は、いかにスキャンデータ量を少なくするかが重要です。その理由は、スキャンデータ量を少なくすることによってコストを削減するだけでな […]
-
AWS GlueでネストされたJSONファイルをCSVファイルやParquetに変換する
はじめに AWS GlueのRelationalizeというTransformを利用して、ネストされたJSONをCSVファイルやParquetに変換する方法をご紹介します。CSV形式に変換することでリレーショナルデータベ […]
-
AWS Glue 新しくサポートされたScalaでETL Job作成を試してみました
はじめに AWS Glueは、Pythonに加えてScalaプログラミング言語をサポートし、AWS Glue ETLスクリプトの作成時にPythonとScalaを選択できるようになりました。新しくサポートされたScala […]
-
【レポート】Deep Dive: ビッグデータワークロードをAWSに移行する #reinvent #ABD312
原題 ABD312 - Deep Dive: Migrating Big Data Workloads to AWS 概要 Customers are migrating their analytics, data pr […]
-
[祝] AWS Glueが東京リージョンで利用可能になりました
はじめに 昨年のre:Invent 2016で発表された フルマネージドETLサービス AWS Glueが、本日からAWS東京リージョンで利用可能になりましたので紹介させて頂きます。 最初にやること、AWS Glue D […]
-
【レポート】Amazon S3, Amazon Kinesis, AWS Glue, Amazon Athenaによるデータレイクの構築 #reinvent #ABD318
原題 ABD318 - Architecting a data lake with Amazon S3, Amazon Kinesis, AWS Glue and Amazon Athena 概要 Learn how t […]
-
【レポート】AWS GlueによるサーバレスETL #reinvent #ABD315
原題 ABD315 - Serverless ETL with AWS Glue 概要 Organizations need to gain insight and knowledge from a growing nu […]
-
【レポート】サーバーレスビッグデータアプリケーション構築のベストプラクティス #reinvent #ABD202
原題 ABD202 - Best Practices for Building Serverless Big Data Applications 概要 Serverless technologies let you bu […]
-
S3のデータをAmazon Athenaで取得する時にAWS Glueを使うとすごい楽
こんばんは、菅野です。 今回のブログでは AWS Glue と Amazon Athena を使います。 はじめに 前回のブログエントリー「GoogleスプレッドシートのデータをS3へCSVとして保存する」で Googl […]
-
AWS GlueのDynamicFrameの動きを見てみる
こんにちは、小澤です。 AWS Glueでは、SparkのDataFrameではなく、DynamicFrameというものが使われているようです。 今回はこのDynamicFrameがどのような動きをするのかやGithub […]
-
AWS Glue 実践入門：Triggerを使ってスケジュールやJob完了イベントでJobを実行する
今日は登録したJobをスケジュール実行したり、他のJobの完了イベントでJobを実行させることができる Trigger についてご紹介します。 目次 Trigger の種類 On-demand Schedule Freq […]