AWS Lambda PythonでSeleniumを使える環境を構築する

データアナリティクス事業本部のueharaです。

今回はAWS Lambda (Python)で、WebアプリケーションをテストするためのポータブルフレームワークであるSeleniumを使える環境を構築してみたいと思います。

バケットの準備

今回はLambda Layerを構築することになりますが、その資材をS3に配置するため、まずバケットを用意します。

AWSコンソールでサービスからS3を検索します。

「バケットを作成」から作業用のバケット「selenium-work」という名前のバケットを作成します。

その他の設定はデフォルトのままとします。

パッケージの用意

まず、Lambda (Python)でSeleniumを利用できるようにするために、各パッケージの用意を行います。 パッケージの用意には、無料で使えるサービスであるAWS CloudShellを利用します。

Seleniumのダウンロード

まず、東京リージョンを選択します。

次に、サービス欄からCloudShellを検索して、起動します。

起動ができたら、Pythonのデフォルトバージョンを確認してみます。

python --version

デフォルトではPython 2.7となっているようです。

デフォルトがPython 2.7だったので、今度は明示的にPython 3を指定してバージョンを確認してみます。

python3 --version

Python 3の場合、バージョンはPython 3.7となっていました。

今回はこのPython 3.7を利用したいと思います。

CloudShell上でpipを利用して、 ./python/lib/python3.7/site-packages 配下にSeleniumをダウンロードします。

pip3 install selenium==3.141.0 -t ./python/lib/python3.7/site-packages --use-feature=2020-resolver

※pipを利用した際に、boto3 1.26.11 requires botocore=1.29.11というエラーが発生する可能性がありますが、今回のSeleniumのダウンロードに影響は無いので無視しても大丈夫です。

ダウンロードが完了すると、直下に python ディレクトリができていると思うので、後でローカル環境にDLできるようにzip化しておきます。

zip -r python python

この時点でlsコマンドを利用すると、ディレクトリは以下のようになっていると思います。

chromedriver, headless-chromiumのダウンロード

次に、chromedriver, headless-chromiumを用意します。

まずは、CloudShell上で保存用ディレクトリを作成します。

mkdir headless

作成したディレクトリに移動します。

cd headless

次に、headless-chromiumのダウンロードを行います。

curl -SL https://github.com/adieuadieu/serverless-chrome/releases/download/v1.0.0-55/stable-headless-chromium-amazonlinux-2017-03.zip > headless-chromium.zip

ダウンロードが完了したら、展開します。

unzip -o headless-chromium.zip -d .

zipファイルの方はもう使わないので削除します。

rm headless-chromium.zip

続いて、chromedriverをダウンロードします。 先程ダウンロードしたheadless-chromiumのchromeバージョンは69なので、chromedriverのバージョンは2.43を利用します。

curl -SL https://chromedriver.storage.googleapis.com/2.43/chromedriver_linux64.zip > chromedriver.zip

先程と同じように、展開してzipファイルの方は削除を行います。

unzip -o chromedriver.zip -d .
rm chromedriver.zip

ここまでの作業が完了したら、homeディレクトリに戻り、headlessディレクトリをzip化します。

cd
zip -r headless headless

この時点で再度lsコマンドを利用すると、ディレクトリは以下のようになっていると思います。

用意したパッケージのS3へコピー

先の手順でzip化したファイル（python.zip, headless.zip）を、CloudShellからS3へコピーを行います。

CloudShell上ではAWS CLIのコマンドが使えますので、以下のコマンドでコピーを行います。

aws s3 cp python.zip s3://selenium-work

次のように表示されていればコピーは成功です。

同様に、headless.zipの方もS3へコピーを行います。

aws s3 cp headless.zip s3://selenium-work

Lambda Layersの構築

AWSコンソール上からAWS Lambdaのサービスに移動して、「レイヤー」を選択します。

seleniumレイヤーの作成

以下の設定で、seleniumレイヤーを作成します。

名前：selenium-layer
「Amazon S3 からファイルをアップロードする」を選択し、先の作業でS3へアップロードしたpython.zipのパス（s3://selenium-work/python.zip）を指定
ランタイム：Python3.7

headlessレイヤーの作成

以下の設定で、headlessレイヤーを作成します。

名前：headless-layer
「Amazon S3 からファイルをアップロードする」を選択し、先の作業でS3へアップロードしたheadless.zipのパス（s3://selenium-work/headless.zip）を指定
ランタイム：Python3.7

実行テスト

Lambda Layersの構築が完了したら、早速実行テストを行います。

関数の作成

AWS Lambdaのサービスから「関数の作成」を行います。

関数名はご自身のお好きな名前をつけ、ランタイムはPython 3.7を指定します。

関数名：uehara-test-func
ランタイム：Python 3.7

レイヤーの追加・設定変更

関数の作成が完了したら、下の方にある「レイヤー」から「レイヤーの追加」を行います。

カスタムレイヤーにチェックを入れ、「selenium-layer」を選択します。

selenium-layerの追加が完了したら、同様に、「headless-layer」の追加も行います。

以下のように、2つのレイヤーが追加されていれば成功です。

次に、「設定」の「一般設定」から、メモリサイズとタイムアウトをよしなに変更します。
※デフォルトのメモリ128MBとタイムアウト3秒では、Seleniumを動かすのが難しいため。

私の場合はメモリを256MBにして、タイムアウトを1分にしました。

コードの作成・デプロイ

ここまで作成ができたら、コードを作成しデプロイを行います。

作成したコードは以下の通りです。

from selenium import webdriver

def lambda_handler(event, context):
    URL = "https://dev.classmethod.jp/"

    options = webdriver.ChromeOptions()
    # headless-chromiumのパスを指定
    options.binary_location = "/opt/headless/headless-chromium"
    options.add_argument("--headless")
    options.add_argument('--single-process')
    options.add_argument('--disable-dev-shm-usage')
    options.add_argument("--no-sandbox")

    browser = webdriver.Chrome(
        # chromedriverのパスを指定
        executable_path="/opt/headless/chromedriver",
        options=options
    )

    browser.get(URL)
    title = browser.title
    browser.close()
    return title

作成したレイヤーは、Lambdaの実行環境の /opt ディレクトリに展開されるので、headless-chroniumやchromedriverのパスはそれぞれ/opt/headless/headless-chromiumや/opt/headless/chromedriverのように設定します。

コンソール上でコードを入力し、「Deploy」ボタンを押すとデプロイを行うことができます。

テスト実行

テスト実行するために、「Test」ボタンからテストイベントを作成します。

今回のテスト実行にイベントJSONは本質的な意味を持たないので、テンプレートは「hello-world」のまま「MyTestEvent」という名前をつけてそのまま保存を行います。

保存が完了したら、「Test」ボタンを押してテストを行います。

実行後、次のようにDevelopersIOのタイトルが取得できていれば成功です。

最後に

今回はAWS Lambda PythonでSeleniumを使える環境を構築し、実行テストまで行い動作の確認を行ってみました。

LambdaでSeleniumを利用したいという方の参考になりましたら幸いです。

参考文献

• GitHub - adieuadieu/serverless-chrome
• ChromeDriver - WebDriver for Chrome
• Selenium
• 【AWS Lambda】でseleniumを使ってスクレイピングをサーバーレスで行う～前編～
• AWS LambdaでSeleniumが動かないあなたへ