Glueの開発エンドポイントとSageMakerノートブックを試してみた

Glueと仲良くなるべく色々と触っています。今回は「開発エンドポイント」を試してみたいと思います。

大高大輔

2019.07.04

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんにちは。DI(データインテグレーション)部改めデータアナリティクス事業本部インテグレーション部の大高です。

Glueと仲良くなるべく色々と触っています。今回は「開発エンドポイント」を試してみたいと思います。

なお前回はこちらです。

GlueのPython Shellジョブでファイルの文字コードを変更してみた

「開発エンドポイント」とは？

下記ヘルプに記載のとおり、Glue開発時にはインタラクティブに開発ができるように「ノートブック」の機能が用意されています。「ノートブック」でコードの記述と実行ができますが、その実行環境が「開発エンドポイント」になるようです。

AWS Glue により、抽出、変換、およびロード (ETL) スクリプトを反復的に開発してテストする環境を作成できます。ノートブックでスクリプトを開発できます。AWS Glue エンドポイントを指してテストします。開発プロセスの結果に満足したら、スクリプトを実行する ETL ジョブを作成します。このプロセスにより、インタラクティブな方法で機能を追加してスクリプトをデバッグできます。

スクリプトの開発に開発エンドポイントを使用する - AWS Glue

「ノートブック」について

「ノートブック」は現在「Amazon SageMaker ノートブック」と「Apache Zeppelin ノートブックサーバー」の２種類を利用することが出来るようです。

ノートブックの管理 - AWS Glue

AWS Glue コンソールでノートブックを使用する - AWS Glue

「Apache Zeppelin ノートブックサーバー」は以下の記事にあるようにApache Zeppelinが利用できるEC2インスタンスが作成されるようです。

AWS Glue 実践入門：Apache Zeppelinによる Glue scripts(pyspark)の開発環境を構築する

一方で、「Amazon SageMaker ノートブック」は「統合された Jupyter オーサリングノートブックインスタンスを提供します。」と記載があるようにノートブックの作成や管理も出来るし、マネージメントコンソールからノートブックを開くこともできるようです。

動作イメージとしては以下の記事のような感じですね。

Amazon SageMakerでChainerのMNISTをさっそく試してみた #AWSSummit

今回は「Amazon SageMaker ノートブック」を試してみたいと思います。

IAMロールの準備

例によってIAMロールの準備が必要となります。

「開発エンドポイント」用のIAMロール

これは前回の記事でも作成しましたが、以下の記事の「Step2」を参考に作成します。

AWS Glue 実践入門環境準備編(1)：IAM権限周りの設定について

「Amazon SageMaker ノートブック」用のIAMポリシーとIAMロール

「Amazon SageMaker ノートブック」用には別途IAMロールが必要となります。以下を参考に作成してきます。

ステップ 6: Amazon SageMakerノートブックの IAM ポリシーを作成する - AWS Glue

ステップ 7: Amazon SageMaker ノートブックの IAM ロールを作成する - AWS Glue

まずはIAMポリシーを作成します。

IMAポリシーの作成画面を開き、「JSON」エディタを開いてヘルプに記載されているポリシーを貼り付けます。貼り付けたら、ヘルプに記載の通り赤字の部分を適宜修正します。

ヘルプでは作成した開発エンドポイントを指定するなどの記載がありますが、今回はお試しなので少し大きめに以下のポリシーで試します。（XXXXXXXXXXXXと記載している箇所はAWSのアカウントIDを指定します）

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:ListBucket"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::*"
            ]
        },
        {
            "Action": [
                "s3:GetObject"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::*"
            ]
        },
        {
            "Action": [
                "logs:CreateLogStream",
                "logs:DescribeLogStreams",
                "logs:PutLogEvents",
                "logs:CreateLogGroup"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:logs:ap-northeast-1:XXXXXXXXXXXX:log-group:/aws/sagemaker/*",
                "arn:aws:logs:ap-northeast-1:XXXXXXXXXXXX:log-group:/aws/sagemaker/*:log-stream:aws-glue-*"
            ]
        },
        {
            "Action": [
                "glue:UpdateDevEndpoint",
                "glue:GetDevEndpoint",
                "glue:GetDevEndpoints"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:glue:ap-northeast-1:XXXXXXXXXXXX:devEndpoint/*"
            ]
        }
    ]
}

最後に適宜名前を付けて「ポリシーの作成」をクリックして作成します。