Nginx リバースプロキシの実行環境としてApp Runnerを利用してみた

月額利用料金は数ドル台、転送先のオリジンを環境変数で設定できる、汎用のリバースプロキシ環境として AWS App Runner を利用してみました。

suzuki.ryo

2023.06.08

オリジンを環境変数で指定、汎用のリバースプロキシとして動作する Nginxのコンテナイメージを Amazon Linux 2023 で作成し、 AWS App Runner をリバースプロキシの実行環境として利用する機会がありましたので、紹介させて頂きます。

作業環境(EC2)

AMIは Amazon Linux 2023 (x86_64)。 Dockerは標準リポジトリのパッケージを利用しました。

ECR、App Runnerを AWS CLIで操作するため、EC2ロールとして AdministratorAccessポリシーを付与したものを利用しました。

インストール

sudo yum install docker jq -y
sudo systemctl start docker
sudo systemctl enable docker
sudo usermod -a -G docker ec2-user
sudo su - ec2-user

バージョン情報

$ docker --version
Docker version 20.10.23, build 7155243

$ cat /etc/os-release
NAME="Amazon Linux"
VERSION="2023"
ID="amzn"
ID_LIKE="fedora"
VERSION_ID="2023"
PLATFORM_ID="platform:al2023"
PRETTY_NAME="Amazon Linux 2023"
ANSI_COLOR="0;33"
CPE_NAME="cpe:2.3:o:amazon:amazon_linux:2023"
HOME_URL="https://aws.amazon.com/linux/"
BUG_REPORT_URL="https://github.com/amazonlinux/amazon-linux-2023"
SUPPORT_END="2028-03-01"

コンテナイメージ作成

Docker設定

IMAGE='docker-nginx'
mkdir -p ~/${IMAGE}
cd ~/${IMAGE}

## Dockerfile
cat << "EoL" > Dockerfile
FROM nginx:latest
COPY ./default.conf.template /etc/nginx/templates/default.conf.template
COPY ./healthcheck.html /var/www/healthcheck.html
EoL

## default.conf.template
cat << "EoL" > default.conf.template
server {
  listen 8080 default_server;
  server_name localhost;
  set $backend ${PROXY_HOST};
  resolver 169.254.169.253 valid=5s;
  location = /healthcheck.html {
    access_log off;
    root /var/www;
  }
  location / {
    proxy_ssl_server_name on;
    proxy_set_header Host $backend;
    proxy_pass https://$backend;
  }
}
EoL

## healthcheck.html
cat << "EoL" > healthcheck.html
<html>ok</html>
EoL

Nginx設定

環境変数対応

環境変数をNginx設定に反映するため、Nginx 1.19 よりデフォルトサポートされた envsubst を利用しました。

環境変数を利用する設定項目、${PROXY_HOST} をとテンプレートファイルを /etc/nginx/templates/default.conf.template に配置。

テンプレートファイル中の ${PROXY_HOST}を、環境変数で指定した値に置換したファイルを、Nginxの設定ファイルとして利用しました。

Using environment variables in nginx configuration (new in 1.19)

By default, this function reads template files in /etc/nginx/templates/*.template and outputs the result of executing envsubst to /etc/nginx/conf.d.

Official build of Nginx.

名前解決

オリジン(リバースプロキシ先)のIPアドレスが変更される場合に備え、 Nginxのワークアラウンドとして知られる、proxy_pass を変数で定義する設定を行いました。

resolver には Route 53 Resolver のIPv4アドレス (169.254.169.25) を指定、一定頻度 (TTL5秒)でオリジンの名前解決が行われる設定としました。

proxy_pass

ヘルスチェック

App Runnerのヘルスチェック用にローカルファイルを配置しました。
ヘルスチェックのアクセスログ出力は抑制、CloudWatch Logs 費用の節約を図りました。

SNI

HTTPS接続に SNIを利用する CloudFront、API Gateway などをオリジンで利用可能とするため、proxy_ssl_server_name on を設定しました。

コンテナイメージ作成

IMAGE='docker-nginx'
cd ~/${IMAGE}
docker build -t ${IMAGE} .

起動

環境変数でオリジンとなるFQDN、弊社コーポレートサイト(CloudFront)を指定して、イメージを起動しました。

IMAGE='docker-nginx'
cd ~/${IMAGE}

## run
docker run --name ${IMAGE} --rm -p 8080:8080 --env "PROXY_HOST=classmethod.jp" -d ${IMAGE}

環境変数確認

Nginxの設定ファイルに指定したオリジンのFQDNが反映されている事を確認しました。

$ docker exec -it ${IMAGE} cat /etc/nginx/conf.d/default.conf | grep 'set $backend'
  set $backend classmethod.jp;

疎通確認

curlコマンドを利用した疎通確認を試みました。

$ curl -v localhost:8080/healthcheck.html
*   Trying 127.0.0.1:8080...
* Connected to localhost (127.0.0.1) port 8080 (#0)
> GET /healthcheck.html HTTP/1.1
> Host: localhost:8080
> User-Agent: curl/7.88.1
> Accept: */*
>
< HTTP/1.1 200 OK
< Server: nginx/1.25.0
< Date: Tue, 06 Jun 2023 02:24:59 GMT
< Content-Type: text/html
< Content-Length: 16
< Last-Modified: Tue, 06 Jun 2023 02:16:17 GMT
< Connection: keep-alive
< ETag: "647e96f1-10"
< Accept-Ranges: bytes

$ curl -s localhost:8080/healthcheck.html
<html>ok</html>

$ curl -s localhost:8080/ | head -n 4
<!doctype html>
<html lang="ja">
<head>
  <script>

イメージPush

ECRにプライベートリポジトリを作成、「latest 」タグを付与したイメージを Pushしました。

ECRのURL要素に含まれるアカウントIDはSTSの「get-caller-identity」、リージョンはメタデータ(IMDSv2)より取得しました

## Docker Image Name
IMAGE='docker-nginx'
## Account ID
ACCOUNT=`aws sts get-caller-identity | jq -r .Account`
## REGION
TOKEN_IMDSv2=`curl -s -X PUT "http://169.254.169.254/latest/api/token" -H "X-aws-ec2-metadata-token-ttl-seconds: 21600"`
REGION=`curl -s -H "X-aws-ec2-metadata-token: $TOKEN_IMDSv2" http://169.254.169.254/latest/meta-data/placement/availability-zone | sed -e 's/.$//'`

## Create Repository
aws ecr create-repository --repository-name ${IMAGE} --region ${REGION}

## ECR URI
ECR_URI="${ACCOUNT}.dkr.ecr.${REGION}.amazonaws.com/${IMAGE}"
echo "ECR_URI: ${ECR_URI}"

docker tag ${IMAGE}:latest ${ECR_URI}
aws --region ${REGION} ecr get-login-password | docker login --username AWS --password-stdin "${ECR_URI}:latest"
docker push ${ECR_URI}

App Runner環境作成

設定ファイル作成

今回、CLIで App Runner 環境を作成を試みました。

Nginx設定用の環境変数や、スペック、ヘルスチェックで設定などを反映したJSONファイルを用意しました。

cat << EoL > app-runner.json
{
  "ServiceName": "nginx-app",
  "SourceConfiguration": {
    "ImageRepository": {
      "ImageIdentifier": "${ACCOUNT}.dkr.ecr.${REGION}.amazonaws.com/${IMAGE}:latest",
      "ImageRepositoryType": "ECR",
      "ImageConfiguration": {
        "RuntimeEnvironmentVariables": {
          "PROXY_HOST": "classmethod.jp"
        },
        "Port": "8080"
      }
    },
    "AutoDeploymentsEnabled": false,
    "AuthenticationConfiguration": {
      "AccessRoleArn": "arn:aws:iam::${ACCOUNT}:role/service-role/AppRunnerECRAccessRole"
    }
  },
  "InstanceConfiguration": {
    "Cpu": "0.25 vCPU",
    "Memory": "0.5 GB"
  },
  "HealthCheckConfiguration": {
    "Protocol": "HTTP",
    "Path": "/healthcheck.html",
    "Interval": 20,
    "Timeout": 2,
    "HealthyThreshold": 1,
    "UnhealthyThreshold": 5
  }
}
EoL

cat app-runner.json | jq .

$ aws apprunner create-service --cli-input-json file://app-runner.json
{
    "Service": {
        "ServiceName": "nginx-app",
        "ServiceId": "00000000000000000000000000000000",
        "ServiceArn": "arn:aws:apprunner:ap-northeast-1:000000000000:service/nginx-app/000000000000",
        "ServiceUrl": "0000000000.ap-northeast-1.awsapprunner.com",
        "CreatedAt": "2023-05-27T15:42:27.605000+00:00",
        "UpdatedAt": "2023-05-27T15:42:27.605000+00:00",
        "Status": "OPERATION_IN_PROGRESS",
        "SourceConfiguration": {
            "ImageRepository": {
                "ImageIdentifier": "000000000000.dkr.ecr.ap-northeast-1.amazonaws.com/docker-nginx:latest",
                "ImageConfiguration": {
                    "RuntimeEnvironmentVariables": {
                        "PROXY_HOST": "classmethod.jp"
                    },
                    "Port": "8080"
                },
                "ImageRepositoryType": "ECR"
            },
            "AutoDeploymentsEnabled": false,
            "AuthenticationConfiguration": {
                "AccessRoleArn": "arn:aws:iam::000000000000:role/service-role/AppRunnerECRAccessRole"
            }
        },
        "InstanceConfiguration": {
            "Cpu": "256",
            "Memory": "1024"
        },
        "HealthCheckConfiguration": {
            "Protocol": "HTTP",
            "Path": "/healthcheck.html",
            "Interval": 20,
            "Timeout": 2,
            "HealthyThreshold": 1,
            "UnhealthyThreshold": 5
        },
        "AutoScalingConfigurationSummary": {
            "AutoScalingConfigurationArn": "arn:aws:apprunner:ap-northeast-1:000000000000:autoscalingconfiguration/DefaultConfiguration/1/000000000000",
            "AutoScalingConfigurationName": "DefaultConfiguration",
            "AutoScalingConfigurationRevision": 1
        },
        "NetworkConfiguration": {
            "EgressConfiguration": {
                "EgressType": "DEFAULT"
            },
            "IngressConfiguration": {
                "IsPubliclyAccessible": true
            }
        }
    },
    "OperationId": "000000000000"
}

動作確認

App RunnerのサービスURLを取得、curlコマンドで App Runner のリバースプロキシを経由して、オリジンのコンテンツを表示できる事を確認しました。

APP_URL="https://`aws apprunner list-services --output text --query 'ServiceSummaryList[?ServiceName==\`nginx-app\`].ServiceUrl'`"
echo ${APP_URL}
curl -s ${APP_URL}

実行結果

$ curl -s ${APP_URL} | head -n 3
<!doctype html>
<html lang="ja">
<head>

利用例

App Runner

Node.jsのコンテナ実行環境として App Runnerを利用する場合、前段に Nginxコンテナの App Runnerを配置する事で、Webサーバ経由で Node.jsの実行環境を公開する利用が可能です。

キャッシュ用ヘッダをNginxで設定、CloudFrontのキャッシュ制御などが可能となります。

Nginxでルーティング、特定パスを別サーバなどに転送するパスルーティングなどが可能になります。

アプリケーション実行環境のApp Runnerをプライベートアクセス用に設定し、 VPC Endpoint 経由で Nginx に公開する事で、Nginxを用いた認証利用も可能になります。

※VPCエンドポイントを利用する場合、AZ毎の維持、通信費用が発生する点にはご注意ください。

CloudFront切替

CloudFront、ディストリビューション間のCNAME重複が禁止されているため、無停止でCloudFrontディストリビューションを交換する場合、AWSサポートへの依頼や、同一アカウントであれば AssociateAlias APIを利用する必要がありました。

CloudFront ディストリビューションのCNAME交換作業中、 Nginxを公開環境として利用する事で、任意の時間帯にサービスダウンの無いメンテナンスが可能となります。

ただし、CloudFrontの前段に Nginxを配置する利用は、CDNの配信性能としては大きく低下します。 Nginx がボトルネックとならない事や、性能低下が許容できるレベルである事を事前に確認頂いた上で、極力短期間の利用に留める事をお勧めします。

移行前

移行中
移行後

まとめ

App Runner、CPU負荷が発生しない状態であれば、プロビジョニングされたコンテナインスタンス 0.007 USD/GBのメモリ費用に応じた費用で利用できます。

北米リージョンで、メモリ割り当て設定を最小の「0.5GB」とした場合、App Runnerの月額費用は 2.5ドル (0.007 USD x 0.5(GB) x 24(h) x 30(d)) の維持費と、CPU負荷に応じて発生する従量課金で利用できます。

Nginxの実行環境として、AWSではFargate(ECS)、EC2なども利用可能ですが、 HTTPS提供を必要とする場合、Let's Encrypt の設定や、ELBを利用する場合そのコストが発生します。

シンプルな要件、スモールスタートで Nginxを利用する場合、App Runner もお試しください。

Nginx リバースプロキシの実行環境としてApp Runnerを利用してみた

作業環境(EC2)

インストール

バージョン情報

コンテナイメージ作成

Docker設定

Nginx設定

環境変数対応

名前解決

ヘルスチェック

SNI

コンテナイメージ作成

起動

環境変数確認

疎通確認

イメージPush

App Runner環境作成

設定ファイル作成

動作確認

利用例

App Runner

CloudFront切替

まとめ

イベント

EVENT【4/23リモート】クラスメソッドのフリーランスエンジニア会社説明会〜AWS / システムアーキテクト案件特集〜を開催します

EVENT【5/28（火）】AWSを最大活用するための1dayカンファレンス

EVENT【5/17（金）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー

EVENT【5/14（火）】アノテーションの中途向けオンライン会社説明会を開催します

EVENT【5/23（木）】ユースケースに学ぶAWS運用のノウハウ～可視化から統制まで～

EVENT【5/16（木）】Snowflakeを触ってみよう！初めての方向けハンズオンセミナー

EVENT【5/10（金）名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【4/25（木）リモート】Google Cloudに携わるエンジニアのキャリア～クラスメソッド会社説明会～

EVENT【4/30（火）リモート】クラスメソッドの会社説明会を開催します

EVENT【5/9（木）】組織的なクラウド統制はじめの一歩

Nginx リバースプロキシの実行環境としてApp Runnerを利用してみた

作業環境(EC2)

インストール

バージョン情報

コンテナイメージ作成

Docker設定

Nginx設定

環境変数対応

名前解決

ヘルスチェック

SNI

コンテナイメージ作成

起動

環境変数確認

疎通確認

イメージPush

App Runner環境作成

設定ファイル作成

動作確認

利用例

App Runner

CloudFront切替

まとめ

イベント

EVENT【4/23リモート】クラスメソッドのフリーランスエンジニア会社説明会 〜AWS / システムアーキテクト案件特集〜 を開催します

EVENT【5/28（火）】AWSを最大活用するための1dayカンファレンス

EVENT【5/17（金）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー

EVENT【5/14（火）】アノテーションの中途向けオンライン会社説明会を開催します

EVENT【5/23（木）】ユースケースに学ぶAWS運用のノウハウ～可視化から統制まで～

EVENT【5/16（木）】Snowflakeを触ってみよう！初めての方向けハンズオンセミナー

EVENT【5/10（金） 名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【4/25（木）リモート】Google Cloudに携わるエンジニアのキャリア～クラスメソッド会社説明会～

EVENT【4/30（火）リモート】クラスメソッドの会社説明会を開催します

EVENT【5/9（木）】組織的なクラウド統制 はじめの一歩

関連記事

AWS入門ブログリレー2024〜AWS App Runner編〜

[レポート]App Runner を使用してウェブアプリケーションと API サービスを最新化する #AWSreInvent

ドメイン及びIPアドレス制限WAF付きのApp RunnerをCloudFormationで実装してみた

[ENT302] レガシーアプリケーションをモダナイズするワークショップに参加してきた #AWSreInvent

EVENT【4/23リモート】クラスメソッドのフリーランスエンジニア会社説明会〜AWS / システムアーキテクト案件特集〜を開催します

EVENT【5/10（金）名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【5/9（木）】組織的なクラウド統制はじめの一歩