Amazon SageMaker Studio でマウントせずに s3fs で Amazon S3 のファイルを直接読めるか確認してみた

Amazon SageMaker Studio でマウントせずに s3fs で Amazon S3 のファイルを直接読めるか確認してみた

Mountpoint や S3 Files を使わなくても、SageMaker Studio の JupyterLab から s3fs で S3 のファイルを直接読めました。
2026.11.21

はじめに

Amazon S3 のデータをファイルとして扱う AWS の手段には、Mountpoint for Amazon S3 や Amazon S3 Files があります。どちらも S3 のデータをファイルシステムとしてマウントして使う仕組みです。Python から読み込むだけならマウントせずに s3fs で手軽に読めますが、Amazon SageMaker Studio の JupyterLab でも利用可能なのか確認してみました。

検証環境

SageMaker Studio のドメインとプライベートスペースを作成済みの状態から始めます。スペースからは PyPI に接続できる必要があります。VPC のみモードのドメインでは NAT ゲートウェイなどの経路を用意してください。

https://docs.aws.amazon.com/sagemaker/latest/dg/studio-notebooks-and-internet-access.html

検証環境の構成は次のとおりです。スペースの通信は VPC のプライベートサブネットから出ます。ルートテーブルでは S3 宛てをゲートウェイエンドポイントに、それ以外を NAT ゲートウェイに向けています。

SageMaker Studio のスペースから S3 と PyPI への通信経路を示した構成図

項目 値
リージョン ap-northeast-1
スペース プライベートスペース
インスタンスタイプ ml.t3.medium
イメージ SageMaker Distribution 4.6.2(CPU)
JupyterLab 4.5.11
uv 0.12.24(イメージに同梱)
Python 3.12.15
s3fs 2026.9.0

S3 の benchmark/ には 4 つの CSV を置きました。そのうち 10 万行(約 7.7 MiB)と 100 万行(約 77 MiB)のファイルを読み込めるか確認してみます。

仮想環境を作るところから

JupyterLab の環境のカスタマイズには、ライフサイクル設定よりパッケージマネージャーが推奨されています。今回は uv を使います。

ターミナルで venv を作ります。カーネルの登録に使う ipykernel と、s3fs の動作確認に使う pandas も入れておきます。-p でインストール先の Python を指定します。

uv venv ~/s3-demo --python 3.12
uv pip install -p ~/s3-demo/bin/python pandas ipykernel

venv に s3fs を入れる

s3fs は、S3 のオブジェクトをローカルのファイルのように開いて読めるオープンソースの Python ライブラリです。既定のカーネル(/opt/conda)には最初から入っていますが、uv で作った venv には入っていません。そこで venv に s3fs を入れます。

uv pip install -p ~/s3-demo/bin/python s3fs

venv をカーネルとして登録する

ノートブックから venv を使えるように、ipykernel でカーネルとして登録します。

~/s3-demo/bin/python -m ipykernel install --user --name s3-demo --display-name "Python (s3-demo)"

登録直後に開いたランチャーにはカーネルが表示されず、ブラウザーを再読み込みすると Notebook 欄に追加されました。

ランチャーの Notebook 欄に Python (s3-demo) が表示された画面

ランチャーの「Notebook」欄で「Python (s3-demo)」を選び、ノートブックを作成しておきます。

スペースの実行ロールを確認する

ノートブックから S3 へのアクセスには、スペースの実行ロールの権限が使われます。プライベートスペースは作成したユーザープロファイルの実行ロールを引き継ぎます。

SageMaker AI コンソールに戻り、「ドメイン」から対象のドメインを開きます。「ユーザープロファイル」タブで、Studio を開くときに選んだユーザー名を選びます。「詳細」の「実行ロール」にロールの ARN が表示されます。

ユーザープロファイルの詳細に表示された実行ロール

検証環境の実行ロールには AmazonSageMakerFullAccess が付いていました。このポリシーがオブジェクトの読み書き(s3:GetObject など)を許可する範囲は限られます。対象は主に名前に SageMaker、Sagemaker、sagemaker、aws-glue のいずれかを含むバケットやオブジェクトです。

The IAM managed policy, AmazonSageMakerFullAccess, used in the following procedure only grants the execution role permission to perform certain Amazon S3 actions on buckets or objects with SageMaker, Sagemaker, sagemaker, or aws-glue in the name.

出典: How to use SageMaker AI execution roles

s3:ListBucket などバケット単位の一部の操作は、すべてのバケットに許可されています。

https://docs.aws.amazon.com/aws-managed-policy/latest/reference/AmazonSageMakerFullAccess.html

名前にこれらの語を含まないバケットを読むには、実行ロールに読み取りの権限を追加します。

実行ロールに読み取り用のインラインポリシーを追加する

マネジメントコンソール上部の検索ボックスで IAM を開き、「ロール」で前の手順のロール名を検索して開きます。「許可」タブの「許可を追加」から「インラインポリシーを作成」を選びます。「ポリシーエディタ」で「JSON」を選び、次のポリシーを貼り付けます。<バケット名> はアクセス先のバケット名に置き換えてください。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "ListBucket",
            "Effect": "Allow",
            "Action": "s3:ListBucket",
            "Resource": "arn:aws:s3:::<バケット名>"
        },
        {
            "Sid": "ReadObjects",
            "Effect": "Allow",
            "Action": "s3:GetObject",
            "Resource": "arn:aws:s3:::<バケット名>/*"
        }
    ]
}

IAM のポリシーエディタに読み取り用のポリシーを貼り付けた画面

実行ロールの権限の変更はすぐには反映されないことがあります。読み込みが権限エラーになる場合は時間をおいて試してください。

s3fs で S3 のファイルを読む

「Python (s3-demo)」カーネルのノートブックで実行します。まず認証情報の取得元を確認します。venv には boto3 が入っていないため、botocore のセッションを使います。'container-role' が返れば、実行ロールの認証情報が使われています。

import botocore.session

botocore.session.get_session().get_credentials().method
実行結果
'container-role'

続いて s3fs の S3FileSystem で、S3 上のファイルを一覧できるかを ls で確かめます。

https://s3fs.readthedocs.io/en/latest/

import s3fs

fs = s3fs.S3FileSystem()
fs.ls("<バケット名>/benchmark/")

benchmark/ に置いた 4 つのファイルの名前が返りました。

実行結果
['<バケット名>/benchmark/house_100k.csv',
 '<バケット名>/benchmark/house_1m.csv',
 '<バケット名>/benchmark/house_2m.csv',
 '<バケット名>/benchmark/house_500k.csv']

detail=True を付けると、ファイルごとに Key、Size、ETag、type などを含む dict が返りました。

open で 10 万行の CSV の先頭行を読みます。

with fs.open("<バケット名>/benchmark/house_100k.csv") as f:
    print(f.readline())

open はバイナリモードが既定なので、readline() はヘッダー行を bytes で返しました。

実行結果
b'House_Price,Is_Park_Opened,Distance_to_Park,House_Area,Year_Built,Average_Income\n'

open ならローカルにファイルをコピーせずに S3 のオブジェクトを読めます。ローカルにコピーしたい場合は get を使います。

fs.get("<バケット名>/benchmark/house_100k.csv", "/tmp/sample.csv")

コピーした /tmp/sample.csv は S3 上と同じ 8,054,729 バイト(約 7.7 MiB)でした。

pandas から s3fs 経由で S3 の CSV を読む

pandas は s3:// で始まる名前を渡せば直接読めます。このために s3fs があればよいとのことで試してみます。

10 万行の CSV を読みます。

import pandas as pd

df = pd.read_csv("s3://<バケット名>/benchmark/house_100k.csv")
df.head()

read_csv で読んだ DataFrame の先頭を df.head() で表示した画面

df.shape で確認すると、10 万行をすべて読めていました。

df.shape
実行結果
(100000, 6)

100 万行の CSV の読み込み時間を確認する

ここまでで設定は完了しました。IAM ロールで対象の S3 バケットへの権限さえ設定されていれば問題ありませんでした。

読み込み時間の目安を知るために 100 万行(約 77 MiB)の CSV を %time を付けて 3 回読みました。

%time df = pd.read_csv("s3://<バケット名>/benchmark/house_1m.csv")

ml.t3.medium で経過時間(Wall time)は 1.26〜2.16 秒でした。

%time を付けた read_csv の 3 回分の結果と df.shape

この規模なら read_csv でも 2 秒前後で読めました。

おわりに

S3 の読み込みで権限エラーになったら、まず実行ロールのポリシーが対象のバケットを許可しているかを確認してみてください。
最初は JupyterLab のインスタンスで S3 Files を使うならどうしたらいいのかと考えていましたが、Python で使うことが多いのでこの方法で大方済みそうです。

参考

この記事をシェアする

AWSのお困り事はクラスメソッドへ

関連記事