Amazon SageMaker Studio でマウントせずに s3fs で Amazon S3 のファイルを直接読めるか確認してみた
はじめに
Amazon S3 のデータをファイルとして扱う AWS の手段には、Mountpoint for Amazon S3 や Amazon S3 Files があります。どちらも S3 のデータをファイルシステムとしてマウントして使う仕組みです。Python から読み込むだけならマウントせずに s3fs で手軽に読めますが、Amazon SageMaker Studio の JupyterLab でも利用可能なのか確認してみました。
検証環境
SageMaker Studio のドメインとプライベートスペースを作成済みの状態から始めます。スペースからは PyPI に接続できる必要があります。VPC のみモードのドメインでは NAT ゲートウェイなどの経路を用意してください。
検証環境の構成は次のとおりです。スペースの通信は VPC のプライベートサブネットから出ます。ルートテーブルでは S3 宛てをゲートウェイエンドポイントに、それ以外を NAT ゲートウェイに向けています。

| 項目 | 値 |
|---|---|
| リージョン | ap-northeast-1 |
| スペース | プライベートスペース |
| インスタンスタイプ | ml.t3.medium |
| イメージ | SageMaker Distribution 4.6.2(CPU) |
| JupyterLab | 4.5.11 |
| uv | 0.12.24(イメージに同梱) |
| Python | 3.12.15 |
| s3fs | 2026.9.0 |
S3 の benchmark/ には 4 つの CSV を置きました。そのうち 10 万行(約 7.7 MiB)と 100 万行(約 77 MiB)のファイルを読み込めるか確認してみます。
仮想環境を作るところから
JupyterLab の環境のカスタマイズには、ライフサイクル設定よりパッケージマネージャーが推奨されています。今回は uv を使います。
ターミナルで venv を作ります。カーネルの登録に使う ipykernel と、s3fs の動作確認に使う pandas も入れておきます。-p でインストール先の Python を指定します。
uv venv ~/s3-demo --python 3.12
uv pip install -p ~/s3-demo/bin/python pandas ipykernel
venv に s3fs を入れる
s3fs は、S3 のオブジェクトをローカルのファイルのように開いて読めるオープンソースの Python ライブラリです。既定のカーネル(/opt/conda)には最初から入っていますが、uv で作った venv には入っていません。そこで venv に s3fs を入れます。
uv pip install -p ~/s3-demo/bin/python s3fs
venv をカーネルとして登録する
ノートブックから venv を使えるように、ipykernel でカーネルとして登録します。
~/s3-demo/bin/python -m ipykernel install --user --name s3-demo --display-name "Python (s3-demo)"
登録直後に開いたランチャーにはカーネルが表示されず、ブラウザーを再読み込みすると Notebook 欄に追加されました。

ランチャーの「Notebook」欄で「Python (s3-demo)」を選び、ノートブックを作成しておきます。
スペースの実行ロールを確認する
ノートブックから S3 へのアクセスには、スペースの実行ロールの権限が使われます。プライベートスペースは作成したユーザープロファイルの実行ロールを引き継ぎます。
SageMaker AI コンソールに戻り、「ドメイン」から対象のドメインを開きます。「ユーザープロファイル」タブで、Studio を開くときに選んだユーザー名を選びます。「詳細」の「実行ロール」にロールの ARN が表示されます。

検証環境の実行ロールには AmazonSageMakerFullAccess が付いていました。このポリシーがオブジェクトの読み書き(s3:GetObject など)を許可する範囲は限られます。対象は主に名前に SageMaker、Sagemaker、sagemaker、aws-glue のいずれかを含むバケットやオブジェクトです。
The IAM managed policy,
AmazonSageMakerFullAccess, used in the following procedure only grants the execution role permission to perform certain Amazon S3 actions on buckets or objects withSageMaker,Sagemaker,sagemaker, oraws-gluein the name.
s3:ListBucket などバケット単位の一部の操作は、すべてのバケットに許可されています。
名前にこれらの語を含まないバケットを読むには、実行ロールに読み取りの権限を追加します。
実行ロールに読み取り用のインラインポリシーを追加する
マネジメントコンソール上部の検索ボックスで IAM を開き、「ロール」で前の手順のロール名を検索して開きます。「許可」タブの「許可を追加」から「インラインポリシーを作成」を選びます。「ポリシーエディタ」で「JSON」を選び、次のポリシーを貼り付けます。<バケット名> はアクセス先のバケット名に置き換えてください。
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "ListBucket",
"Effect": "Allow",
"Action": "s3:ListBucket",
"Resource": "arn:aws:s3:::<バケット名>"
},
{
"Sid": "ReadObjects",
"Effect": "Allow",
"Action": "s3:GetObject",
"Resource": "arn:aws:s3:::<バケット名>/*"
}
]
}

実行ロールの権限の変更はすぐには反映されないことがあります。読み込みが権限エラーになる場合は時間をおいて試してください。
s3fs で S3 のファイルを読む
「Python (s3-demo)」カーネルのノートブックで実行します。まず認証情報の取得元を確認します。venv には boto3 が入っていないため、botocore のセッションを使います。'container-role' が返れば、実行ロールの認証情報が使われています。
import botocore.session
botocore.session.get_session().get_credentials().method
'container-role'
続いて s3fs の S3FileSystem で、S3 上のファイルを一覧できるかを ls で確かめます。
import s3fs
fs = s3fs.S3FileSystem()
fs.ls("<バケット名>/benchmark/")
benchmark/ に置いた 4 つのファイルの名前が返りました。
['<バケット名>/benchmark/house_100k.csv',
'<バケット名>/benchmark/house_1m.csv',
'<バケット名>/benchmark/house_2m.csv',
'<バケット名>/benchmark/house_500k.csv']
detail=True を付けると、ファイルごとに Key、Size、ETag、type などを含む dict が返りました。
open で 10 万行の CSV の先頭行を読みます。
with fs.open("<バケット名>/benchmark/house_100k.csv") as f:
print(f.readline())
open はバイナリモードが既定なので、readline() はヘッダー行を bytes で返しました。
b'House_Price,Is_Park_Opened,Distance_to_Park,House_Area,Year_Built,Average_Income\n'
open ならローカルにファイルをコピーせずに S3 のオブジェクトを読めます。ローカルにコピーしたい場合は get を使います。
fs.get("<バケット名>/benchmark/house_100k.csv", "/tmp/sample.csv")
コピーした /tmp/sample.csv は S3 上と同じ 8,054,729 バイト(約 7.7 MiB)でした。
pandas から s3fs 経由で S3 の CSV を読む
pandas は s3:// で始まる名前を渡せば直接読めます。このために s3fs があればよいとのことで試してみます。
10 万行の CSV を読みます。
import pandas as pd
df = pd.read_csv("s3://<バケット名>/benchmark/house_100k.csv")
df.head()

df.shape で確認すると、10 万行をすべて読めていました。
df.shape
(100000, 6)
100 万行の CSV の読み込み時間を確認する
ここまでで設定は完了しました。IAM ロールで対象の S3 バケットへの権限さえ設定されていれば問題ありませんでした。
読み込み時間の目安を知るために 100 万行(約 77 MiB)の CSV を %time を付けて 3 回読みました。
%time df = pd.read_csv("s3://<バケット名>/benchmark/house_1m.csv")
ml.t3.medium で経過時間(Wall time)は 1.26〜2.16 秒でした。

この規模なら read_csv でも 2 秒前後で読めました。
おわりに
S3 の読み込みで権限エラーになったら、まず実行ロールのポリシーが対象のバケットを許可しているかを確認してみてください。
最初は JupyterLab のインスタンスで S3 Files を使うならどうしたらいいのかと考えていましたが、Python で使うことが多いのでこの方法で大方済みそうです。








