t4g.nanoのAmazon Linux 2023でyumが止まる問題を、インスタンスタイプを上げずにswapfileで解決してみた

Out of memory: Killed process 1633 (yum) total-vm:1203732kB, anon-rss:149584kB, ...

#!/bin/bash
# 計測: vmstat と yum/dnf プロセスの oom_score_adj を 1 秒ごとに記録
# ログの置き場所を作る
mkdir -p /var/log/oomtest
# メモリとswapの使用量を、1秒ごとに vmstat.log へ記録する（バックグラウンドで実行）
nohup vmstat -t 1 > /var/log/oomtest/vmstat.log 2>&1 &
# 1秒ごとに yum/dnf のプロセスを探し、PID・親のPID・oom_score_adj・メモリ使用量（RSS）・コマンドを procs.log へ記録する
nohup bash -c 'while true; do for p in $(pgrep -x "yum|dnf|dnf-3|python3"); do c=$(tr "\0" " " < /proc/$p/cmdline 2>/dev/null) || continue; case "$c" in *yum*|*dnf*) echo "$(date +%T) pid=$p ppid=$(ps -o ppid= -p $p) adj=$(cat /proc/$p/oom_score_adj) rss_kb=$(ps -o rss= -p $p) cmd=$c";; esac; done; sleep 1; done' > /var/log/oomtest/procs.log 2>&1 &
# 以降の出力を、画面と userdata.log の両方に書き出す
exec > >(tee -a /var/log/oomtest/userdata.log) 2>&1
# 開始時刻と、swap（zram）の状態を記録する
echo "start $(date +%T)"; swapon --show; zramctl
# パッケージを1つずつ yum install し、パッケージごとに終了コード（rc）と時刻を記録する
for p in lftp telnet vsftpd nodejs cronie https://s3.amazonaws.com/mountpoint-s3-release/latest/arm64/mount-s3.rpm; do
  echo "== $(date +%T) yum install $p"; yum install -y "$p"; echo "rc[$p]=$? $(date +%T)"
done
# 終了時刻、yumのキャッシュの大きさ、カーネルログのOOMの行を記録する
echo "done $(date +%T)"; du -sh /var/cache/dnf; journalctl -k | grep -iE "killed process|oom"

NAME       ALGORITHM DISKSIZE  DATA COMPR TOTAL STREAMS MOUNTPOINT
/dev/zram0 lzo-rle       418M 26.3M  6.5M  9.2M       2 [SWAP]

grep -E "^(start|rc|done)" /var/log/oomtest/userdata.log | sed "s/^/OOMTEST /" > /dev/console

aws ec2 get-console-output --instance-id <インスタンスID> --latest --output text | grep -E "OOMTEST|Killed process"

Out of memory: Killed process 1629 (yum) total-vm:1236004kB, anon-rss:167288kB, file-rss:0kB, shmem-rss:0kB, UID:0 pgtables:1276kB oom_score_adj:0
OOMTEST start 02:48:25
OOMTEST rc[lftp]=137 02:48:47
OOMTEST rc[telnet]=0 02:49:18
OOMTEST rc[vsftpd]=0 02:49:22
OOMTEST rc[nodejs]=0 02:49:30
OOMTEST rc[cronie]=0 02:49:33
OOMTEST rc[https://s3.amazonaws.com/mountpoint-s3-release/latest/arm64/mount-s3.rpm]=0 02:49:40
OOMTEST done 02:49:40

#!/bin/bash
# 計測: vmstat と yum/dnf プロセスの oom_score_adj を 1 秒ごとに記録
# ログの置き場所を作る
mkdir -p /var/log/oomtest
# メモリとswapの使用量を、1秒ごとに vmstat.log へ記録する（バックグラウンドで実行）
nohup vmstat -t 1 > /var/log/oomtest/vmstat.log 2>&1 &
# 1秒ごとに yum/dnf のプロセスを探し、PID・親のPID・oom_score_adj・メモリ使用量（RSS）・コマンドを procs.log へ記録する
nohup bash -c 'while true; do for p in $(pgrep -x "yum|dnf|dnf-3|python3"); do c=$(tr "\0" " " < /proc/$p/cmdline 2>/dev/null) || continue; case "$c" in *yum*|*dnf*) echo "$(date +%T) pid=$p ppid=$(ps -o ppid= -p $p) adj=$(cat /proc/$p/oom_score_adj) rss_kb=$(ps -o rss= -p $p) cmd=$c";; esac; done; sleep 1; done' > /var/log/oomtest/procs.log 2>&1 &
# 以降の出力を、画面と userdata.log の両方に書き出す
exec > >(tee -a /var/log/oomtest/userdata.log) 2>&1
# 開始時刻と、swap（zram）の状態を記録する
echo "start $(date +%T)"; swapon --show; zramctl
# すべてのパッケージを1回の yum install で入れ、終了コード（rc）と時刻を記録する
echo "== $(date +%T) yum install all"
yum install -y lftp telnet vsftpd nodejs cronie https://s3.amazonaws.com/mountpoint-s3-release/latest/arm64/mount-s3.rpm; echo "rc=$? $(date +%T)"
# 終了時刻、yumのキャッシュの大きさ、カーネルログのOOMの行を記録する
echo "done $(date +%T)"; du -sh /var/cache/dnf; journalctl -k | grep -iE "killed process|oom"

#!/bin/bash
# 計測: vmstat と yum/dnf プロセスの oom_score_adj を 1 秒ごとに記録
# ログの置き場所を作る
mkdir -p /var/log/oomtest
# メモリとswapの使用量を、1秒ごとに vmstat.log へ記録する（バックグラウンドで実行）
nohup vmstat -t 1 > /var/log/oomtest/vmstat.log 2>&1 &
# 1秒ごとに yum/dnf のプロセスを探し、PID・親のPID・oom_score_adj・メモリ使用量（RSS）・コマンドを procs.log へ記録する
nohup bash -c 'while true; do for p in $(pgrep -x "yum|dnf|dnf-3|python3"); do c=$(tr "\0" " " < /proc/$p/cmdline 2>/dev/null) || continue; case "$c" in *yum*|*dnf*) echo "$(date +%T) pid=$p ppid=$(ps -o ppid= -p $p) adj=$(cat /proc/$p/oom_score_adj) rss_kb=$(ps -o rss= -p $p) cmd=$c";; esac; done; sleep 1; done' > /var/log/oomtest/procs.log 2>&1 &
# 以降の出力を、画面と userdata.log の両方に書き出す
exec > >(tee -a /var/log/oomtest/userdata.log) 2>&1
# 開始時刻と、swap（zram）の状態を記録する
echo "start $(date +%T)"; swapon --show; zramctl
# 1GBのswapfileを作って有効にし、swaponの終了コードとswapの状態を記録する
fallocate -l 1G /swapfile; chmod 600 /swapfile; mkswap /swapfile; swapon /swapfile; echo "swapon rc=$?"; swapon --show
# パッケージを1つずつ yum install し、パッケージごとに終了コード（rc）と時刻を記録する
for p in lftp telnet vsftpd nodejs cronie https://s3.amazonaws.com/mountpoint-s3-release/latest/arm64/mount-s3.rpm; do
  echo "== $(date +%T) yum install $p"; yum install -y "$p"; echo "rc[$p]=$? $(date +%T)"
done
# 終了時刻、yumのキャッシュの大きさ、カーネルログのOOMの行を記録する
echo "done $(date +%T)"; du -sh /var/cache/dnf; journalctl -k | grep -iE "killed process|oom"