Amazon SageMaker ドメイン作成時に設定が必要な各パラメータを解説

Amazon SageMaker Domain（ドメイン）作成時に設定するVPCやサブネット、セキュリティグループ、IAMロールなどの各パラメータについて解説します

#Amazon SageMaker

#SageMaker Studio

#AWS

平井裕二

2023.07.14

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

はじめに

Amazon SageMaker Studioを利用する場合、Amazon SageMaker Domain（以降、ドメイン）をセットアップする必要があります。

私がマネジメントコンソール上で、初めてドメインをセットアップしようとした際、各パラメータの意味が理解できなかったため、ドメインの構成をもとにパラメータを解説します。

また、ドメインを作成することで、自動作成されるリソースもありますので、ドメインを作成されたことがない方に参考になれば幸いです。

StudioやRStudio Workbenchの設定ではなく、ドメイン作成時の全般的なパラメータのみを解説します。

ドメイン構成について

ドキュメントに記載されているドメインの構成は、以下の通りです。

引用：https://docs.aws.amazon.com/ja_jp/whitepapers/latest/sagemaker-studio-admin-best-practices/domain-management.html

SageMaker Studioでは、以下の図の通り「JupyterServer」と「KernelGateway」の２種類のアプリケーションをEC2インスタンス（=ノートブックインスタンス）上のDockerコンテナで実行します。

JupyterServer
- UI表示用のサーバです。各ユーザは１つのドメインに1つ持ちます。ユーザがウェブブラウザからアクセスすると、コンテナで実行されているNotebook Serverに接続します。
KernelGateway
- 実際にカーネルを実行する環境で、各ユーザは１つのドメインに複数の KernelGatewayを同時に実行できます。

引用：https://aws.amazon.com/jp/blogs/machine-learning/dive-deep-into-amazon-sagemaker-studio-notebook-architecture/

実際の画面を見てみる

まずは、マネジメントコンソールから、ドメイン作成時の実際の画面をみてみます。

設定するパラメータは、以下です。

ドメイン名
認証
デフォルトの実行ロール
インターネット経由の有無
VPC
サブネット
セキュリティグループ
KMS

ドメイン名は、適当でよいです。

認証方法は、AWS IAM Identity Center もしくは、AWS IAMです。

デフォルトの実行ロールから解説します。

IAMロール

まず、抑えるべきポイントは、SageMakerで利用されるIAMロールは、主に３つある点です。

ドメインの実行用IAMロール(デフォルトの実行ロール)
サービスリンクロール
ドメイン内のユーザー用の実行ロール

ドメインの実行用IAMロール

ドメインの実行用IAMロールは、SageMakerのAPIやAmazon S3などの他のAWSのサービスにアクセスする際に利用されます。

ドメイン作成時に設定する場合、頭にAmazonSageMakerがついているIAMロール名から選択できます。

サービスリンクロール

サービスリンクロールは、AWSのサービスにリンクされているサービスロールの一種であり、ユーザーに代わってアクションを実行するロールです。

サービスリンクロールは、初回のサービス利用時に自動的に作成されます。

ドメイン作成時、EFSやセキュリティグループなどのAWSリソースは自動で作成されますが、その際にサービスリンクロールが利用されます。

SageMakerノートブックインスタンス用のサービスリンクロールの名前は、AWSServiceRoleForAmazonSageMakerNotebooksです。

ユーザー側で、ロールにアタッチされているポリシーは確認できますが、編集はできません。

ドメイン内のユーザー用の実行ロール

Amazon SageMaker Studioのドメイン内の各ユーザーには、ユーザーごとに実行ロールを設定します。

この実行ロールは、ユーザーがStudio環境内で実行できるアクションを制御します。

つまり、Studio内でユーザーがノートブックインスタンスなどのリソースを作成する際に、SageMakerがそのユーザーの代わりに引き受ける実行ロールです。

ネットワークとストレージのセクション

続いて、ネットワークとストレージのセクションの以下５点を解説します。

インターネット経由の有無
VPC
サブネット
セキュリティグループ
KMS

インターネット経由の有無

ネットワーク構成は、以下の２つに分かれます。

パブリックインターネットのみ
VPC のみ

どちらの場合でも、ドメインは、AWS側で管理されたアカウント内で作成されます。

パブリックインターネットのみ

引用：https://docs.aws.amazon.com/ja_jp/whitepapers/latest/sagemaker-studio-admin-best-practices/network-management.html

ノートブックインスタンスから、AWS側で管理されたアカウント内のインターネットゲートウェイ経由で、ユーザーアカウント内のSageMaker APIやCloudWatch Logs、S3バケットにアクセスします。

また、ドメイン作成時に選択したVPCのサブネット上に、EFSとセキュリティグループが作成されます。

VPCのみ

引用：https://docs.aws.amazon.com/ja_jp/whitepapers/latest/sagemaker-studio-admin-best-practices/network-management.html

ノートブックインスタンスから、AWS側で管理されたアカウント内のインターネットゲートウェイのルーティングは無効です。

図に示すように、ユーザーアカウント内のVPCエンドポイント経由で、SageMaker APIやCloudWatch Logs、S3バケットにアクセスします。

ユーザーアカウント内のパブリックサブネットにNAT Gatewayを設置することで、インターネット経由で、SageMaker APIやCloudWatch Logs、S3バケットにアクセスすることも可能です。

VPC

インターネット経由の有無で説明した通り、どのVPC上にEFSのマウントターゲットを作成するか選択します。

サブネット

インターネット経由の有無で説明した通り、どのサブネット上にEFSのマウントターゲットを作成するか選択します。

ノートブックインスタンスからEFSのマウントターゲットへのアクセスは、インターネット経由ではないので、プライベートサブネットを選択しましょう。

セキュリティグループ

ドメイン作成時に設定するセキュリティグループは、Studio を起動すると作成されるノートブックインスタンス（JupyterServerやKernelGateway）にとEFSのマウントターゲットで利用されます。

用途は、パブリックインターネットのみ、VPCのみの設定で異なります。

パブリックインターネットのみ

用途としては、ノートブックインスタンスからEFSのマウントターゲットにアクセスするためです。

ドメイン作成時、設定画面から、セキュリティグループは選択しなくて構いません。

理由は、ドメイン作成時に、EFSのマウントターゲット用とノートブックインスタンス用、合計２つセキュリティグループが自動作成されるためです。

後でドメインを作成しますので、その際に確認してみましょう。

VPCのみ

用途としては、以下の２点です。

ノートブックインスタンスからEFSのマウントターゲットにアクセスする
ノートブックインスタンスからSageMaker APIやCloudWatch Logs、S3バケットにアクセスする

ドメイン作成時、設定画面から、セキュリティグループの選択が必須です。

理由としては、ユーザーアカウント内のVPCエンドポイントやNATGatewayを設置したインターネット経由で、SageMaker APIやCloudWatch Logs、S3バケットにアクセスするため、アウトバウンドを許可したセキュリティグループが必要です。

後で実際の画面を見ながら確認します。

KMS

デフォルトでは、AWSマネージド型キーを使いEFSとEBSを暗号化します。

カスタマー管理型キーを使用するには、キーID または ARN を入力します。

SageMaker StudioとEFS、EBSの関係性は以下の通りです。

EFS
- ノートブックインスタンス用のストレージです。
- ドメイン内の各ユーザーは、ドメインに関連付けられたEFS上で個別のホームディレクトリを利用します。
- EFSは、ドメインやノートブックインスタンスが削除された後も残ります
EBS
- カーネル実行環境（KernelGateway）のノートブックインスタンスにEBSボリュームがアタッチされます。
- EBSは、ノートブックインスタンスが終了すると削除されます。

作成してみる

今回は、とりあえずSageMaker Studioを試してみたい、という目的で必要な機能が最小限の設定で作成します。

サブネットはプライベートサブネットを選択し、セキュリティグループ（new-sg）は、なくても問題ないですが、確認のため設定します。

パブリックインターネットのみを選択します。

後で、VPCのみを選択した場合も後で解説します

他の設定は不要のため、設定をオフにします。

ドメイン作成後に、ノートブックインスタンスを起動してみる

ドメインにユーザーを追加し、Studioを起動すると、JupyterServer（UIサーバー）が起動します。

起動をクリックすると、別タブで「Creating the JupyterServer application」の画面に遷移します。

ノートブックを作成してみます。

無事に立ち上がりました。

ドメイン作成後に、自動作成されるリソース

今回のドメイン設定で、自動作成されるリソースは、セキュリティグループとEFSの２つです。

セキュリティグループ

セキュリティグループは、２つ自動作成されました。

security-group-for-inbound-nfs-ドメインID
- EFSのマウントターゲットにアタッチされます
- ノートブックインスタンスからのインバウンドのみを許可してます
security-group-for-outbound-nfs-ドメインID
- ノートブックインスタンスが利用します
- EFSのマウントターゲットへのアウトバウンドのみを許可しています。

security-group-for-inbound-nfs-ドメインID