-
「db analytics showcase Sapporo 2018」でサーバーレスの話を聞いてきました #dbts2018 #dbasSPR
札幌で開催されている「db analytics showcase Sapporo 2018」のセッション「Serverless Analytics on AWS」へ参加してきました
-
Amazon Athena がついにビュー（CREATE VIEW）をサポートしました！
はじめに 超嬉しいアップデート、Amazon Athena がついにビュー（CREATE VIEW）をサポートしました。朝起きて、Amazon Athenaのコンソールを見ると「ビュー」というメニューが追加されているのを […]
-
AWS Glue と SQLのみで、サクッとETL（Extract、Transform、Load）するJobを作成する
はじめに AWS Glueは、指定した条件に基づいてPySparkのETL（Extract、Transform、Load）の雛形コードが自動生成されますが、それ以上の高度な変換は、PySparkのコードを作成、デバックす […]
-
AWS Glue の Pushdown Predicates を用いてすべてのファイルを読み込むことなく、パーティションをプレフィルタリングする
はじめに AWS Glueが自動生成するETLコード（PySpark）では、ソースデータをDynamicFrame内部のRDDに読み込み、後続の条件に基づいてデータのフィルタ・変換を繰り返し、最終的にターゲットデータに出 […]
-
AWS Glue の Dynamicframeを使わずDataframeを用いて自在にCSV/TSVファイルを出力する
はじめに Dynamicframeは、フォーマットにCSVファイルを指定できますが、空白を含む文字列は自動的にダブルクォーテーションで括られてしまったり、デリミタ文字列はカンマのみとなります。今回はこの課題を解決するため […]
-
AWS Glueを用いてパフォーマンス向上やコスト最適化するカラム名ありパーティションのデータに変換するETLコードを作成する
はじめに Amazon Redshift Spectrum や Amazon Athena は、いかにスキャンデータ量を少なくするかが重要です。その理由は、スキャンデータ量を少なくすることによってコストを削減するだけでな […]
-
AWS GlueでネストされたJSONファイルをCSVファイルやParquetに変換する
はじめに AWS GlueのRelationalizeというTransformを利用して、ネストされたJSONをCSVファイルやParquetに変換する方法をご紹介します。CSV形式に変換することでリレーショナルデータベ […]
-
AWS Glue 新しくサポートされたScalaでETL Job作成を試してみました
はじめに AWS Glueは、Pythonに加えてScalaプログラミング言語をサポートし、AWS Glue ETLスクリプトの作成時にPythonとScalaを選択できるようになりました。新しくサポートされたScala […]
-
【レポート】Deep Dive: ビッグデータワークロードをAWSに移行する #reinvent #ABD312
原題 ABD312 - Deep Dive: Migrating Big Data Workloads to AWS 概要 Customers are migrating their analytics, data pr […]
-
[祝] AWS Glueが東京リージョンで利用可能になりました
はじめに 昨年のre:Invent 2016で発表された フルマネージドETLサービス AWS Glueが、本日からAWS東京リージョンで利用可能になりましたので紹介させて頂きます。 最初にやること、AWS Glue D […]
-
【レポート】Amazon S3, Amazon Kinesis, AWS Glue, Amazon Athenaによるデータレイクの構築 #reinvent #ABD318
原題 ABD318 - Architecting a data lake with Amazon S3, Amazon Kinesis, AWS Glue and Amazon Athena 概要 Learn how t […]
-
【レポート】AWS GlueによるサーバレスETL #reinvent #ABD315
原題 ABD315 - Serverless ETL with AWS Glue 概要 Organizations need to gain insight and knowledge from a growing nu […]
-
【レポート】サーバーレスビッグデータアプリケーション構築のベストプラクティス #reinvent #ABD202
原題 ABD202 - Best Practices for Building Serverless Big Data Applications 概要 Serverless technologies let you bu […]
-
S3のデータをAmazon Athenaで取得する時にAWS Glueを使うとすごい楽
こんばんは、菅野です。 今回のブログでは AWS Glue と Amazon Athena を使います。 はじめに 前回のブログエントリー「GoogleスプレッドシートのデータをS3へCSVとして保存する」で Googl […]
-
AWS GlueのDynamicFrameの動きを見てみる
こんにちは、小澤です。 AWS Glueでは、SparkのDataFrameではなく、DynamicFrameというものが使われているようです。 今回はこのDynamicFrameがどのような動きをするのかやGithub […]
-
AWS Glue 実践入門：Triggerを使ってスケジュールやJob完了イベントでJobを実行する
今日は登録したJobをスケジュール実行したり、他のJobの完了イベントでJobを実行させることができる Trigger についてご紹介します。 目次 Trigger の種類 On-demand Schedule Freq […]
-
AWS Glue 実践入門：Amazon RedshiftのテーブルをETLする
先日に引き続き、クローラで作成したAWS Glue Data Catalog 上のRedshiftのテーブル定義を利用して、ETL Jobを作成します。ETL Jobの作成、そして実行時の挙動についても解説します。 この […]
-
AWS Glue 実践入門：Amazon Redshiftのテーブルをクロールする
AWS Glue は未知のデータ（Dark Data）に対して、推測（Infer）して、AWS Glue Data Catalog にテーブルを登録する機能があり、これをクローラ（Crawler）として定義します。ガイド […]
-
【新サービス】AWS上でフルマネージドなデータカタログとETLを実現するサービス『AWS Glue』がリリースされました！ETL処理の設定と実行
2017年10月10日 一部内容変更 AWS Glueのジョブ、クローラ、開発エンドポイントの課金が分単位から秒単位に変更になりました。 Announcement: AWS Glue now supports per-s […]
-
AWS Glue 実践入門：AWS Glue Data Catalogへのアップグレード方法
AWS GlueがGAになってから、Amazon Athena や AWS Glueの画面の先頭に、Upgrede to AWS Glue Data Catalog というメッセージがトップに表示されていると思います。本 […]
-
AWS Glue 実践入門：Apache Zeppelinによる Glue scripts(pyspark)の開発環境を構築する
AWS Glueは Apache Zeppelinによるインタラクティブな Glue scripts(pyspark)の開発が可能です。今回はAWS環境の準備とDev Endpointに設定して、Apache Zeppe […]
-
AWS Glue 実践入門：サービスメニュー内で展開されている「ガイド付きチュートリアル」を試してみた
AWS Glueには、公式ドキュメントによる解説の他にも管理コンソールのメニューから展開されている「チュートリアル」が存在します。まずは実際に動かしてみよう！という形でガイドも丁寧に用意されており、とても分かり易い内容と […]
-
AWS Glue 実践入門 環境準備編(2)：データストアアクセス・開発エンドポイント設定について
AWS Glueのサービスを本格活用するには、事前に幾つかの準備作業が必要となります。下記エントリで「IAM権限周り」に関する設定を行いましたが、当エントリではその続きとなる「データストアアクセス・開発エンドポイント設定 […]
-
AWS Glue 実践入門 環境準備編(1)：IAM権限周りの設定について
AWS Glueのサービスを本格活用するには、事前に幾つかの準備作業が必要となります。当エントリではそのうちの「IAM権限周り」に関する設定内容を1つずつ進めながら実際にどのような構成となっているかを見ていきたいと思いま […]
-
AWS Glue利用時の認証とアクセス制御について(主にIAM周り)
AWS Glueにアクセスするためには認証情報の設定が必要となります。これらの資格情報にはAWS GlueのテーブルやAmazon EC2インスタンスなどのAWS各種リソースにアクセスするための許可が必要となり、予めこの […]
-
203件のシェア(すこし話題の記事)
フルマネージド＆サーバレスなETLサービス「AWS Glue」の仕組みと構成要素を理解する
先日(日本時間の)2017年08月15日にAWS Summit 2017 NYCでアナウンスされたフルマネージドETLサービスの「AWS Glue」がついに一般利用開始となりました。早速色々触ってみたいと思っておりますが […]
-
86件のシェア(ちょっぴり話題の記事)
【新サービス】AWS上でフルマネージドなデータカタログとETLを実現するサービス『AWS Glue』がリリースされました！使い始めの準備をご紹介
はじめに こんにちは、yokatsukiです。 AWS re:Invent 2016のDAY2キーノートにて発表された『AWS Glue』が、本日2017年8月15日、NYC AWS Summitにて一般公開されました！ […]
-
【レポート】 ETL をサーバーレスで実現する新サービス AWS Glue のご紹介／AWS Solution Days 2017 ～AWS DB Day～ #AWSDBDay
2017年07月05日(水)に、大崎ブライトコアホールにて『AWS Solution Days 2017』なるイベントが開催されました。 AWS Solution Days 2017 ～AWS DB Day～（2017 […]
-
AWSのフルマネージド型 ETL サービス『AWS Glue』の紹介動画を観て来たるべきリリースに向けて情報収集してみる
昨年2016年12月の『AWS re:Invent 2016』で発表された、AWSによるフルマネージド型ETLサービス『AWS Glue』。イベント当日での発表では『今後リリース予定です』との内容に留まり、詳細なリリース […]
-
re:Growth2016 Sapporoで『ビックデータ観点で見た AWS re:Invent 2016』を話してきました #reinvent #cmdevio
12月14日に開催のAWS re:Invent 2016の報告イベント「re:Growth 2016 Sapporo」に登壇してきました。ビックデータエンジニアが気になる新サービスとして、Amazon Athena と […]