JupyterLabから簡単にS3にアクセスしてみる

kobayashi.m

2023.04.19

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

はじめに

データアナリティクス事業本部のkobayashiです。

分析業務をJupyterLabで行う場合にS3上のファイルを分析対象として取り扱うはよくあるかと思います。その際にS3上のファイルの存在確認やパスの確認もしくは中身を簡単に確認したいといった作業がしばしば出てきます。以前は別途AWSののマネージメントコンソールやJupyterLabでコードを記述していましたが、良さげな拡張機能があったので紹介します。

jupyterlab-s3-browserとは

JupyterLabの拡張機能でJupyterLab上のGUIでS3上のオブジェクトをブラウジングできるのもです。この拡張機能を使わない場合はAWSのマネージメントコンソールでオブジェクトを確認したうえで更に中身を確認したいときは手元にダウンロードしたり、JupyterLabでBoto3のlist_objects_v2やdownload_fileobjを使ったりしなくてはいけませんでしたのでS3上のファイルをJupyterLab上で扱う際にはjupyterlab-s3-browserを使うことで生産性を上げることができます。

GitHub - IBM/jupyterlab-s3-browser: A JupyterLab extension for browsing S3-compatible object storage

jupyterlab-s3-browserを使ってみる

では早速jupyterlab-s3-browserをインストールしてJupyterLabの画面で動作を確認してみます。

構築環境

AmazonLinux2
JupyterLab 3.6.1
Python 3.7.16

インストール

インストールはJupyterLab上のTerminalを開きpipでインストールした上で拡張機能を有効にします。その後にJupyterLabの再起動が必要になります。

pip install jupyterlab-s3-browser
jupyter serverextension enable --py jupyterlab_s3_browser

JupyterLab2の場合はインストールコマンドが若干異なり以下になります。こちらもインストール後にJupyterLabの再起動が必要になります。

jupyter labextension install jupyterlab-s3-browser
pip install jupyterlab-s3-browser
jupyter serverextension enable --py jupyterlab_s3_browser

またSageMakerでも使えるようでこちらもGitHub上にインストール方法があるのでご確認ください。

jupyterlab-s3-browser/SAGEMAKER.md at master · IBM/jupyterlab-s3-browser · GitHub

インストールした後にS3のオブジェクトを表示するために設定が必要になります。

EC2上のJupyterLab上でjupyterlab-s3-browserを使う際にはEC2にIAMロールが割り当てられてそのIAMロールにS3へのアクセスポリシーがついていれば特に設定する必要はありません。それ以外の環境で~/.aws/credentialsがない場合は基本的にはJupyterLab上でjupyterlab-s3-browserにアクセスするとS3のエンドポイント、アクセスキー、シークレットキーを入力する画面がでるので予めIAMでユーザーを作成しS3へのアクセス可能なポリシーをアタッチしアクセスキーとシークレットキーを発行しておきます。

なおMFAを設定している場合は現状アクセスできないようなのでMFAを設定しないIAMユーザーが必要です。

今回はEC2上で動かしていてEC2にロールを割り当てているので特に設定は行いません。