AWS DevOps Agent と EC2 障害調査をやってみた 〜inode 枯渇編〜

# パッケージインストール
sudo dnf install -y nginx php-fpm

# nginx 設定
sudo tee /etc/nginx/conf.d/app.conf << 'EOF'
server {
    listen 80;
    root /var/www/html;
    index index.php;

    location /health {
        return 200 "ok";
        add_header Content-Type text/plain;
    }

    location / {
        try_files $uri $uri/ =404;
    }

    location ~ \.php$ {
        root /var/www/html;
        fastcgi_pass unix:/run/php-fpm/www.sock;
        fastcgi_param SCRIPT_FILENAME $realpath_root$fastcgi_script_name;
        include fastcgi_params;
    }
}
EOF

# テスト用 PHP ファイルの配置
sudo mkdir -p /var/www/html
sudo tee /var/www/html/index.php << 'EOF'
<?php
$result = session_start();
if ($result === false) {
    http_response_code(500);
    echo "session error";
    exit;
}
$_SESSION['ts'] = time();
echo "session id: " . session_id();
EOF

# パーミッション設定
sudo chown -R nginx:nginx /var/www/html
sudo chmod 755 /var/www/html
sudo chmod 644 /var/www/html/index.php

# PHP-FPM の実行ユーザーを nginx に変更
sudo sed -i 's/^user = .*/user = nginx/' /etc/php-fpm.d/www.conf
sudo sed -i 's/^group = .*/group = nginx/' /etc/php-fpm.d/www.conf

# セッション保存ディレクトリの権限設定
sudo chown -R nginx:nginx /var/lib/php/session
sudo chmod 700 /var/lib/php/session

# サービス起動
sudo systemctl enable --now nginx php-fpm

# 2. inode 数を制限した仮想ディスクを作成
sudo dd if=/dev/zero of=/tmp/sessionfs.img bs=1M count=100
sudo mkfs.ext4 -N 50000 /tmp/sessionfs.img

# 3. /var/lib/php/session にマウント
sudo mount -o loop /tmp/sessionfs.img /var/lib/php/session
sudo chown nginx:nginx /var/lib/php/session

# 4. マウント確認（Inodes が 50000 程度になっていれば OK）
df -i /var/lib/php/session

sudo python3 << 'EOF'
import os, random, string, sys

base = '/var/lib/php/session/'
chars = string.ascii_lowercase + string.digits
target = 510000  # inode 総数の約 98% を目標に

print(f"Creating {target:,} session files...")
for i in range(target):
    fname = ''.join(random.choices(chars, k=26))
    open(f'{base}sess_{fname}', 'w').close()
    if i % 50000 == 0:
        print(f"  {i:,} / {target:,} ...")

print("Done! Check with: df -i")
EOF

df -i /var/lib/php/session
Filesystem     Inodes IUsed IFree IUse% Mounted on
/dev/loop0      50024 50024     0  100% /var/lib/php/session

1️⃣ Webサーバーの状態確認

# Apache の場合
sudo systemctl status httpd

# Nginx の場合
sudo systemctl status nginx

2️⃣ PHP-FPM プロセスの確認

sudo systemctl status php-fpm
3️⃣ index.php ファイルの存在確認

# ファイルが存在するか、パーミッションは適切か
sudo ls -la /var/www/html/index.php

# ドキュメントルートの確認（Apache）
grep DocumentRoot /etc/httpd/conf/httpd.conf
4️⃣ Webサーバーのエラーログ確認

# Apache の場合
sudo tail -n 100 /var/log/httpd/error_log

# Nginx の場合
sudo tail -n 100 /var/log/nginx/error.log
5️⃣ PHPエラーログの確認

sudo tail -n 100 /var/log/php-fpm/error.log
# または
sudo tail -n 100 /var/log/php-fpm/www-error.log
6️⃣ アクセスログで500エラーの詳細確認

# Apache の場合
sudo grep "index.php" /var/log/httpd/access_log | grep " 500 "

# Nginx の場合
sudo grep "index.php" /var/log/nginx/access.log | grep " 500 "
7️⃣ ディスク容量の確認
df -h

以下のコマンドを実行してください:

1️⃣ 古いセッションファイルを削除

# 全セッションファイルを削除（アクティブセッションがない前提）
sudo find /var/lib/php/session -type f -delete

# 実行後、inode使用状況を確認
df -i /var/lib/php/session
2️⃣ PHP-FPM と Nginx を再起動

sudo systemctl restart php-fpm
sudo systemctl restart nginx
3️⃣ 動作確認

# index.phpへアクセスしてエラーがないか確認
curl -I http://localhost/index.php
🛡️ 恒久的な対策
オプションA: PHPセッションガベージコレクションの有効化

# セッション自動削除の設定を確認
sudo grep -E "session.gc" /etc/php.ini

# 以下の設定を追加・修正（viまたはsedで編集）
sudo vi /etc/php.ini
以下を設定:

session.gc_probability = 1
session.gc_divisor = 100
session.gc_maxlifetime = 1440  # 24分（1440秒）

オプションB: cronで定期的にセッションファイルを削除

# cronジョブを追加（10分ごとに古いセッションを削除）
sudo crontab -e
以下を追加:

*/10 * * * * find /var/lib/php/session -type f -mmin +30 -delete