-
[新機能] AWS Glue Studio によるビジュアルジョブオーサリングと高度なモニタリングを試してみました
データアナリティクス事業本部の石川です。本日リリースされたAWS Glue Studioは、オーサリング、実行、モニタリング、AWS Glue によるETL（Extract Transform Load）開発が容易になる […]
-
Glue Python shell jobの処理時間の履歴を取得する
DA事業本部の川崎です。 現在、私が参画している案件では、データ分析基盤のETL処理をGlueの「Python shell job」を使って実装しています。 今回、Python shell jobのパフォーマンスを計測す […]
-
AWS Glue 既存のGlue version 1.0のジョブを2.0にアップデートしてみた
先日追加されたAWS GlueのSpark ETL ジョブ「Glue Version 2.0」ですが、既存の「Glue Version 1.0」から「Glue Version 2.0」へのバージョンアップが行えるかについ […]
-
Glueクローラを利用したAtenaによる分析環境の構築手順
AWS Glue Crawlerで作成したデータカタログにAthenaからクエリを実行してみました
-
AWS WAFログをAthenaで分析する環境をGlueクローラを使って構築してみる
AWS WAFのログをAthenaで分析するための環境（Glueデータカタログ）をGlueクローラを使って構築してみたので、そのやり方を紹介します。
-
Glueのジョブどこから実行しよう..トリガー？ワークフロー？Step Functions？
Glueのジョブをどうやって実行/管理すべきか悩ましかったのでちょっと整理です
-
[新機能] AWS Glue 「Glue Version 2.0」のPythonモジュールの更新、pip3によるモジュールインストールがサポートされました！
先日の[新機能] AWS Glue 「Glue Version 2.0」のSpark ETL ジョブの開始時間が10倍速く、最小の請求時間は1分になりました！にて、「Glue Version 2.0」のSparkジョブの […]
-
[新機能] AWS Glue 「Glue Version 2.0」のSpark ETL ジョブの開始時間が10倍速く、最小の請求時間は1分になりました！
新たにリリースされた「Glue Version 2.0」では、Sparkジョブの開始時間が10倍速く、最低10分ではなく最低1分の1秒単位で請求になります。インタラクティブなマイクロバッチをより素早くコスト効率よく実行で […]
-
「はじめてのモダンデータ解析基盤」でデータレイクを学ぶ
オンラインセミナー「はじめてのモダンデータ解析基盤」でハンズオンを受講しました
-
165件のシェア(すこし話題の記事)
【書評】データレイク構築・運用のノウハウを網羅的に学び始められる！ 『AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門』
データレイクに興味がある人、データレイクを構築・運用することになった人はまず読んでおくと良いと思います。
-
「AWS Glueを使った Serverless ETL の実装パターン」について発表しました #devio2020
おつかれさまです。CX事業本部の新井です。 2020年7月3日に開催されたDevelopers.IO 2020 CONNECT Day6で発表した資料を投下します。 このセッションを通して、みなさまに 「AWS Glue […]
-
[動画公開] アプリから集まるイベントデータのリアルタイム処理入門 #devio2020
現在開催中のクラスメソッド主催のオンライン技術イベント「Developers.IO 2020 CONNECT」で、アプリから集まるイベントデータのリアルタイム処理入門に関するセッション動画を公開しました。 概要 ウ […]
-
データレイクハンズオンでデータレイクを実感してみる
データレイクとは？のイメージを実感できるハンズオンのご紹介です。
-
81件のシェア(ちょっぴり話題の記事)
[アップデート] 1行たりともコードは書かない！AWS GlueでストリーミングETLが可能になりました
ストリーミングデータの ETL も AWS Glue にまるっとお任せしてしまいましょう！
-
Aｍazon Redshift [アップデート] データレイクで用いるカラム名ありパーティション形式のアンロードをサポートしたので試してみた
Amazon Redshiftは、クラスタバージョン1.0.14104からINCLUDEオプションとPARTITION BYを指定して、アンロードされたファイルにパーティション列を追加できるようになりました。個人的には待 […]
-
[小ネタ] Glueのローカル実行でgluepytestをする時に気を付けたいこと
こんにちは！DA(データアナリティクス)事業本部 インテグレーション部の大高です。 Glueのライブラリはローカル実行用に公開されており、ローカル環境でも実行することができます。また、pytestの実行用に「gluepy […]
-
Serverless Frameworkで構築するStep Functions & AWS Glue Jobを用いたワークフロー
ServerlessFrameworkで作るStep Functions + Glueでつくるワークフロー
-
GlueのクローラでS3のCSVデータを検出し、Athenaでクエリを実行する
AWS GlueはETLのフルマネージドサービスです。Glueを構成する一つの要素にクローラ(Crawler)があります。これまでよくわからないけど自動でデータカタログを作成してくれて便利そうという印象がありつつも、なか […]
-
AWS Glue ETLライブラリを使ってローカルでSparkを動かす
AWS Glueでは、公式から提供されているライブラリを利用して、GlueジョブのスクリプトをローカルPCで開発することができます。これを利用して、ローカルでSparkを動かしてみます。
-
Glue Jobが失敗したらメール通知する超簡単な方法
おつかれさまです。 Glue Jobの場合、成功/失敗のステータスがCloudWatchの標準メトリクスで取得できないため、多少工夫してやる必要があります。 今回はもっともシンプル（主観ですが）な方法を紹介します。 参考 […]
-
Glueの「FindMatches 変換」機能を使ってデータセット内の「一致するレコードの重複排除」、「検索」をする
-
[レポート] AWS Data Exchange：クラウドでサードパーティのデータを簡単に見つけて購読する #ANT238 #reinvent
AWSが2019年11月13日にデータ交換の新サービス"AWS Data Exchange"をリリースしました。その利用方法と事例についてのセッションレポートです。
-
Amazon EventBridgeでS3に格納したAuth0のイベントログをAmazon Athenaで検索する #reinvent #Auth0JP #Auth0アドカレ
Amazon EventBridgeとAuth0が連携できるようになりました！S3に格納してあるAuth0のイベントログをAmazon Athenaで検索するための手順を解説します。
-
[レポート] AWSでのデータレイクと分析の概要 #DEM135 #reinvent
AWS re:Invent 2019のセッション"DEM135 AWSでのデータレイクと分析の概要"のレポートです。
-
[レポート] データレイクとAWS Lake Formationを使ったデータ統合 #ANT218 #reinvent
DA事業本部の川崎です。 本記事はAWS re:Invent 2019のセッションレポートとなります。 なお、本セッションは、Mirage会場でのセッションが「オーバフロー」として、それぞれ別会場の3か所のContent […]
-
[レポート] リーダーシップセッション: データレイクと分析のトレンド #ANT206 #reinvent
こんにちは！DA事業本部の大高です！現地ラスベガスがらお送りします。 本記事はAWS re:Invent 2019のセッションレポートとなります。 概要 AWS delivers an integrated suite […]
-
[随時更新] re:Invent2019 データ分析系(データベース/データレイク)エントリーまとめ #reinvent
AWSの年次イベント"AWS re:Invent 2019"におけるデータ分析系(データベース/データレイク)新機能およびセッションレポートそまとめています。
-
[レポート] Amazon Redshiftでデータウェアハウスを最新化する #ANT412 #reinvent
AWS re:Invent 2019で実施されたビルダーズセッション「ANT412 "Modernize your data warehouse with Amazon Redshift"」のレポートです。
-
[レポート] Amazon S3におけるデータレイク構築のベストプラクティス ft. Sweetgreen #STG359 #reinvent
こんにちは！DA事業本部の大高です！現地ラスベガスからお送りします。 本記事はAWS re:Invent 2019のセッションレポートとなります。 概要 Flexibility is key when building […]
-
[レポート] SAP利用顧客に向けたAWS上のデータレイク構築 #GPSTEC338 #reinvent
こんにちは！DA事業本部の大高です！ 本日から現地ラスベガスにて、AWS re:Invent 2019のセッションレポートをお伝えします。 概要 Although this Global Partner Summit b […]