awscliでRDSのログを見る
よく訓練されたアップル信者、都元です。本日は小ネタで。
RDSのログ参照API
RDS for MySQLでは、DBParameterGroupに設定を行うことにより、slow query log や general log を参照できるようになることが知られています *1。
このログファイルは、API経由で参照できます。具体的には、DescribeDBLogFilesアクションによって今存在するログファイルの名前・サイズ・最終更新タイムスタンプを確認し、DownloadDBLogFilePortionアクションでファイルの内容を参照できます。
awscliでログ参照
awscliにおいては、下記のようなコマンドでDescribeDBLogFilesアクションを実行可能です。
$ aws rds describe-db-log-files --db-instance-identifier xxxx
{
"DescribeDBLogFiles": [
{
"LastWritten": 1398999600000,
"LogFileName": "error/mysql-error.log",
"Size": 0
},
{
"LastWritten": 1398999899000,
"LogFileName": "general/mysql-general.log",
"Size": 110709
},
{
"LastWritten": 1398999600000,
"LogFileName": "general/mysql-general.log.3",
"Size": 264104
},
{
"LastWritten": 1398999600000,
"LogFileName": "slowquery/mysql-slowquery.log",
"Size": 183
},
{
"LastWritten": 1398999300000,
"LogFileName": "slowquery/mysql-slowquery.log.3",
"Size": 1281
}
]
}
ファイルが大量にある場合はこのままでは見づらいので、jqで整形しましょう。1ファイル1行で、そこそこ見やすくなりました。
$ aws rds describe-db-log-files --db-instance-identifier xxxx | jq -c ".DescribeDBLogFiles[]"{"Size":0,"LogFileName":"error/mysql-error.log","LastWritten":1398999600000}
{"Size":106323,"LogFileName":"general/mysql-general.log","LastWritten":1398999855000}
{"Size":264104,"LogFileName":"general/mysql-general.log.3","LastWritten":1398999600000}
{"Size":183,"LogFileName":"slowquery/mysql-slowquery.log","LastWritten":1398999600000}
{"Size":1281,"LogFileName":"slowquery/mysql-slowquery.log.3","LastWritten":1398999300000}
さて、DownloadDBLogFilePortionアクションはというと…。
$ aws rds download-db-log-file-portion --db-instance-identifier xxxx --log-file-name general/mysql-general.log
{
"LogFileData": [
"/",
"r",
"d",
"s",
"d",
"b",
"b",
"i",
"n",
"/",
"m",
"y",
"s",
"q",
"l",
"/",
"b",
"i",
思わず目を疑いました。 / ... r ... d ... s ... d ... b ... b ... i ... n ... って1文字ずつかよｗ
よろしい、ならばjqで整形だ
でも大丈夫。jqは非常に優秀です。addという関数で一発結合！
$ aws rds download-db-log-file-portion --db-instance-identifier xxxx --log-file-name general/mysql-general.log | jq ".LogFileData | add" "/rdsdbbin/mysql/bin/mysqld, Version: 5.6.13-log (MySQL Community Server (GPL)). started with:\nTcp port: 3306 Unix socket: /tmp/mysql.sock\n（略）
うーん、改行コードが\nで表現されているため、全体が1行で出ちゃいました。そこでraw-outputオプション-rを使うと…。
$ aws rds download-db-log-file-portion --db-instance-identifier xxxx --log-file-name general/mysql-general.log | jq -r ".LogFileData | add" /rdsdbbin/mysql/bin/mysqld, Version: 5.6.13-log (MySQL Community Server (GPL)). started with: Tcp port: 3306 Unix socket: /tmp/mysql.sock Time Id Command Argument 21943 Query select @@session.tx_read_only 21943 Query SELECT 1 21943 Query select @@session.tx_read_only 21943 Query select name from mysql.plugin 21943 Query select @@session.tx_read_only 21943 Query SELECT 1 21943 Query select @@session.tx_read_only
欲しい結果が得られました。いやーー、jqって強力ですねぇ。
