-
Aｍazon Redshift [アップデート] データレイクで用いるカラム名ありパーティション形式のアンロードをサポートしたので試してみた
Amazon Redshiftは、クラスタバージョン1.0.14104からINCLUDEオプションとPARTITION BYを指定して、アンロードされたファイルにパーティション列を追加できるようになりました。個人的には待 […]
-
[小ネタ] Glueのローカル実行でgluepytestをする時に気を付けたいこと
こんにちは！DA(データアナリティクス)事業本部 インテグレーション部の大高です。 Glueのライブラリはローカル実行用に公開されており、ローカル環境でも実行することができます。また、pytestの実行用に「gluepy […]
-
Serverless Frameworkで構築するStep Functions & AWS Glue Jobを用いたワークフロー
ServerlessFrameworkで作るStep Functions + Glueでつくるワークフロー
-
GlueのクローラでS3のCSVデータを検出し、Athenaでクエリを実行する
AWS GlueはETLのフルマネージドサービスです。Glueを構成する一つの要素にクローラ(Crawler)があります。これまでよくわからないけど自動でデータカタログを作成してくれて便利そうという印象がありつつも、なか […]
-
AWS Glue ETLライブラリを使ってローカルでSparkを動かす
AWS Glueでは、公式から提供されているライブラリを利用して、GlueジョブのスクリプトをローカルPCで開発することができます。これを利用して、ローカルでSparkを動かしてみます。
-
Glue Jobが失敗したらメール通知する超簡単な方法
おつかれさまです。 Glue Jobの場合、成功/失敗のステータスがCloudWatchの標準メトリクスで取得できないため、多少工夫してやる必要があります。 今回はもっともシンプル（主観ですが）な方法を紹介します。 参考 […]
-
Glueの「FindMatches 変換」機能を使ってデータセット内の「一致するレコードの重複排除」、「検索」をする
とても簡単に試せる、いい機能だと思います
-
[レポート] AWS Data Exchange：クラウドでサードパーティのデータを簡単に見つけて購読する #ANT238 #reinvent
AWSが2019年11月13日にデータ交換の新サービス"AWS Data Exchange"をリリースしました。その利用方法と事例についてのセッションレポートです。
-
Amazon EventBridgeでS3に格納したAuth0のイベントログをAmazon Athenaで検索する #reinvent #Auth0JP #Auth0アドカレ
Amazon EventBridgeとAuth0が連携できるようになりました！S3に格納してあるAuth0のイベントログをAmazon Athenaで検索するための手順を解説します。
-
[レポート] AWSでのデータレイクと分析の概要 #DEM135 #reinvent
AWS re:Invent 2019のセッション"DEM135 AWSでのデータレイクと分析の概要"のレポートです。
-
[レポート] データレイクとAWS Lake Formationを使ったデータ統合 #ANT218 #reinvent
DA事業本部の川崎です。 本記事はAWS re:Invent 2019のセッションレポートとなります。 なお、本セッションは、Mirage会場でのセッションが「オーバフロー」として、それぞれ別会場の3か所のContent […]
-
[レポート] リーダーシップセッション: データレイクと分析のトレンド #ANT206 #reinvent
こんにちは！DA事業本部の大高です！現地ラスベガスがらお送りします。 本記事はAWS re:Invent 2019のセッションレポートとなります。 概要 AWS delivers an integrated suite […]
-
[随時更新] re:Invent2019 データ分析系(データベース/データレイク)エントリーまとめ #reinvent
AWSの年次イベント"AWS re:Invent 2019"におけるデータ分析系(データベース/データレイク)新機能およびセッションレポートそまとめています。
-
[レポート] Amazon Redshiftでデータウェアハウスを最新化する #ANT412 #reinvent
AWS re:Invent 2019で実施されたビルダーズセッション「ANT412 "Modernize your data warehouse with Amazon Redshift"」のレポートです。
-
[レポート] Amazon S3におけるデータレイク構築のベストプラクティス ft. Sweetgreen #STG359 #reinvent
こんにちは！DA事業本部の大高です！現地ラスベガスからお送りします。 本記事はAWS re:Invent 2019のセッションレポートとなります。 概要 Flexibility is key when building […]
-
[レポート] SAP利用顧客に向けたAWS上のデータレイク構築 #GPSTEC338 #reinvent
こんにちは！DA事業本部の大高です！ 本日から現地ラスベガスにて、AWS re:Invent 2019のセッションレポートをお伝えします。 概要 Although this Global Partner Summit b […]
-
AWS Data Wranglerを使ってpandas -> AthenaとAthena -> pandasをやってみた
どうも、DA 事業本部の大澤です。 AWS Data Wrangler を使って、”pandas DataFrame のデータを Athena のテーブルへ”、”Athena でのクエリ実行結果を pandas Data […]
-
AWS Glueデータカタログのスキーマが後から変更された際の挙動について調べてみた
おつかれさまです。新井です。 今回は、AWS Glueのデータカタログについてです。 AWS Glueのデータカタログは、 Amazon Kinesis Firehose AWS Glue Job Amazon Athe […]
-
データ分析基盤、どう作る？システム設計のポイント、教えます – Developers.IO 2019 Tokyo #cmdevio
2019.11.1実施のクラスメソッド技術イベント"Developers.IO 2019 TOKYO"にて、AWSを使ったデータ分析基盤の初め方について発表しました。
-
Developers.IO 2019 Tokyoで「Effective Datalake 〜基礎からわかるデータレイクの定義と実践〜」というタイトルで発表してきました #cmdevio
クラスメソッドの石川です。 先日開催いたしましたDevelopers.IO 2019 in TOKYOにお越し頂きましてありがとうございました。 表題の通り、データレイクについてお話をさせて頂きました。 スライド こちら […]
-
【初データレイク体験】AWS Loft Osakaで DataLake ハンズオンを受けてきた（公開資料URLあり）
大阪オフィスのちゃだいんです。 本日はAWS Pop-Up Loft Osakaにて、ハンズオンに参加してきました。 今回はそのハンズオンの内容をご紹介したいと思います。 その前に、 AWS Pop-Up Loft Os […]
-
Step FunctionでAWS Glueのジョブやクローラーを呼び出すワークフローをつくってみた！
おつかれさまです。 今回は、こちら のAWSブログを試してみました。 Step Functionsで AWS Glueのジョブを起動 DynamoDBに保存されいているデータを全件取得 S3に指定したフォーマットで保存 […]
-
AWS Glueのジョブ同時実行数制限には気をつけた方がいいという話
おつかれさまです。 最近業務でAWS Glueを使ってます。 マネージド型サービスで使い勝手は良いのですが、ハマりどころも多いです。 今回はそんなAWS Glueの「ジョブの同時実行数」を勘違いして、ハマったので共有した […]
-
15分の壁を越えろ！GlueのPython shellでVPC Lambdaもどきの長時間ジョブを動かしてみた
こんにちは、平野です。 Lambdaが便利すぎて何でもLambdaで処理したい病になっているのですが、やはりタイムアウトが大敵です。 15分あるので、分割したりできる処理であればかなりのタスクがLambda関数に落とし込 […]
-
GlueのPython Shell Jobでwheelファイルを参照してみた
GlueのPythonシェルがまた少し便利になりました
-
AWS Glueをローカル環境で実行してみた
2019年8月28日にGlue ETLライブラリのバイナリがリリースされました。これにより、ローカル環境でGlueのETLスクリプトを実行出来るようになります。今回はローカル環境でGlue Python ETLライブラリを使用して、ETLスクリプトを実行してみます。
-
SageMakerの推論パイプラインについて調べてみた
「Amazon SageMaker」の「推論パイプライン」について調べてみました
-
123件のシェア(ちょっぴり話題の記事)
安全なデータレイクの構築が容易になる AWS Lake Formation がついにリリースされました
昨年のre:Invent2018で紹介されたAWS Lake Formation がついにリリースされました。東京リージョンでもリリースされましたので、早速、試してみたいと思います。 ついにきましたLake Format […]
-
Glue Sparkジョブのスクリプト編集画面のダイアログについて調べてみた
Glueと仲良くなるべく色々と触っています。今回はGlue Sparkジョブのスクリプト編集画面のダイアログについて調べてみたいと思います。
-
GlueのSparkジョブでTSVからParquetへ変換してみた
Glueと仲良くなるべく色々と触っています。今回はGlueのSparkジョブでTSVからParquetへファイルを変換してみたいと思います。