-
15分の壁を越えろ！GlueのPython shellでVPC Lambdaもどきの長時間ジョブを動かしてみた
こんにちは、平野です。 Lambdaが便利すぎて何でもLambdaで処理したい病になっているのですが、やはりタイムアウトが大敵です。 15分あるので、分割したりできる処理であればかなりのタスクがLambda関数に落とし込 […]
-
GlueのPython Shell Jobでwheelファイルを参照してみた
GlueのPythonシェルがまた少し便利になりました
-
AWS Glueをローカル環境で実行してみた
2019年8月28日にGlue ETLライブラリのバイナリがリリースされました。これにより、ローカル環境でGlueのETLスクリプトを実行出来るようになります。今回はローカル環境でGlue Python ETLライブラリを使用して、ETLスクリプトを実行してみます。
-
SageMakerの推論パイプラインについて調べてみた
「Amazon SageMaker」の「推論パイプライン」について調べてみました
-
119件のシェア(ちょっぴり話題の記事)
安全なデータレイクの構築が容易になる AWS Lake Formation がついにリリースされました
昨年のre:Invent2018で紹介されたAWS Lake Formation がついにリリースされました。東京リージョンでもリリースされましたので、早速、試してみたいと思います。 ついにきましたLake Format […]
-
Glue Sparkジョブのスクリプト編集画面のダイアログについて調べてみた
Glueと仲良くなるべく色々と触っています。今回はGlue Sparkジョブのスクリプト編集画面のダイアログについて調べてみたいと思います。
-
GlueのSparkジョブでTSVからParquetへ変換してみた
Glueと仲良くなるべく色々と触っています。今回はGlueのSparkジョブでTSVからParquetへファイルを変換してみたいと思います。
-
AWS Glue ジョブタイプ『Spark』が Apache Spark 2.4.3 と Python 3.6をサポートしました
本日から Apache Spark 2.4 と Python 3 による『Spark』ジョブを使用してスクリプトを実行できるようになりました。今後はPython 2（Spark 2.2 又は Spark 2.4）と Py […]
-
AWS再入門ブログリレー AWS Glue編
当エントリは弊社コンサルティング部による『AWS 再入門ブログリレー 2019』の14日目のエントリです。 『AWS Glue』についてご紹介いたします。
-
Amazon AppStream 2.0の利用状況をGlue/Athenaを使って解析する
Amazon AppStream 2.0 コンソールを使用してユーザーを削除することはできません。ユーザーを削除するには、AWS CLI/SDK からDeleteUser API アクションを使用する必要があります。
-
[小ネタ]GlueのSageMakerノートブックを開発エンドポイント無しで起動させようとしてみた
こんにちは！インテグレーション部の大高です。 以前にGlueのSageMakerノートブックを作成し、その後片付けとしてノートブックサーバーを停止して開発エンドポイントを削除しました。 Glueの開発エンドポイントとSa […]
-
Glueの開発エンドポイントとSageMakerノートブックを試してみた
Glueと仲良くなるべく色々と触っています。今回は「開発エンドポイント」を試してみたいと思います。
-
GlueのPython Shellジョブでファイルの文字コードを変更してみた
こんにちは。DI部の大高です。 突然ですが「AWS Glueと仲良くなりたい！」ということで、初心者ながら色々とGlueを触ってみたいと思います。これからGlueを触る方向けに参考になれば幸いです。 Glueのジョブは「 […]
-
80件のシェア(ちょっぴり話題の記事)
AWS Glue ETLワークロードをGUIでオーケストレーションする『Workflows』を実際に試してみました
AWS Glueは、ワークフローを用いて、クローラ、ジョブ（及びトリガ）の有向非循環グラフ（DAG）を作成して、ETLワークロードをオーケストレーションできるようになりました。AWS Glueが利用可能なすべての地域で利 […]
-
AWS Glue Spark ETL ジョブでリアルタイムの進行状況を追跡する『Continuous Logging』をサポートしました
AWS Glueは、Spark ETLジョブでApache Sparkのステージを実行するリアルタイムの進行状況を追跡する『Continuous Logging』をサポートしました。リアルタイムにDriver/Execu […]
-
Apache Arrow(PyArrow)を使って簡単かつ高速にParquetファイルに変換する
インメモリの列指向データフォーマットを持つApache Arrow(pyarrow)を用いて簡単かつ高速にParquetに変換できることを「db analytics showcase Sapporo 2018」で玉川竜司 […]
-
みずほ銀行、三菱UFJ銀行のデジタル・トランスフォーメーションにおけるデータ利活用 #AWSSummit
メガバンクにおけるAWS利活用についてのセッションレポートです。
-
AWS Glue のジョブタイプ『Python Shell』が Python 3.6と互換性のあるスクリプトをサポートしました
本日からPython 3.6と互換性のある Python Shell ジョブを使用してスクリプトを実行できるようになりました。今後はPython 2.7互換とPython 3.6互換のいずれかを選択可能になります。早速確 […]
-
[アップデート]AWS GlueのPython ShellでPython 3.6が利用できるようになりました！
AWS GlueのPython ShellでPython 3.6が利用できるようになりました！
-
GlueのPython ShellでクロスアカウントのS3ファイルコピーをしてみた
Glueで別アカウントのS3ファイルって触れる？ こんにちは。DI部の大高です。 先日、Glueで別アカウントのS3ファイルを触れるのかどうかという話が開発チーム内であり、気になったので実際に試してみました。 やりたいこ […]
-
AWS Glue の新しいジョブタイプ『Python Shell』を実際に試してみました
新しいジョブタイプ『Python Shell』は、単にPythonスクリプトを実行する目的のジョブです。AWS Glueを使っている人であれば、このありがたみが身にしみて感じるはずです。
-
327件のシェア(そこそこ話題の記事)
(2018/1/28更新) AWSのSLA対象サービスが大量増加したので一覧にまとめました！ どんどん増えて現在全45サービス
(2018/1/28更新) AWSのSLA対象サービスが続々と増えました。色々なサービスで設定されたので一覧にまとめてみました。現在全45サービス（SLA自体は40個）
-
[レポート] ANT376 : AWS Glue Data Catalog のアクセスコントロール #reinvent
はじめに ANT376-Access Control in AWS Glue Data Catalog のセッションのレポートとなります。AWS Lake Formation のセキュリティを正しく理解するには必須のセッ […]
-
[アップデート]Step FunctionsでDynamoDB + Glue を試してみた #reinvent
はじめに こんにちは、福岡オフィス所属、IT推進室の井手です。 re:Invent 2018にて、Step Functionsの連携サービスが大幅に追加されました。 [神アップデート]Step Functionsが新たに […]
-
SageMakerの前処理をGlue開発エンドポイントで実行させる:Amazon SageMaker Advent Calendar 2018
SageMakerの前処理をGlue開発エンドポイントで実行してみよう
-
[レポート] ANT308 : AWS Glue のサーバレスアナリティクスパイプライン構築する #reinvent
はじめに ANT308-Building Serverless Analytics Pipelines with AWS Glue のセッションのレポートとなります。AWS Glueの新機能やパフォーマンス改善方法につい […]
-
Sapporo.aws 第4回「re:Invent 2018 Analytics関連アップデート!」について発表しました #reinvent #sapporoaws
今回、Sapporo.aws 第4回 AWS re:Invent 2018 報告会において、以下の内容で話してきました。 「re:Invent 2018 Analytics関連アップデート!」 話題の新サービス AW […]
-
[レポート] ANT327 : AWSにおけるセキュアなデータレイクのベストプラクティス #reinvent
はじめに ANT327 - Best Practices to Secure Data Lake on AWS のセッションのレポートとなります。データレイクのセキュリティに関して包括的にまとめられています。 Best […]
-
[レポート] ANT326 : AWS Glue ETL Jobの Metrics-Driven パフォーマンスチューニング #reinvent
はじめに ANT326: Metrics-Driven Performance Tuning for AWS Glue ETL Jobs のChalk Talkのレポートとなります。本セッションではパフォーマンスチューニ […]
-
[レポート] ワークショップセッションENT302:余計な支出を抑える #reinvent
re:Invent 2018のワークショップ「ENT224-End Extra Spending」のレポートです。AWS 流 Cloud Financial Management Frameworkを学びます。