Pythonのloggingについて基本的な部分を確認する

DA事業本部の横山です。

今回は。普段から利用しているPythonのloggingについてなんとなくで理解している部分が多かったため、基本的なことから復習したので確認した内容を共有します。

前提条件

本記事で利用しているPythonのバージョンは以下になります。

• Python: 3.8.13

確認した内容

今回は、以下の項目について公式ドキュメントを中心に確認を行いました。

• ログレベル
• loggerの定義方法の種類
• 設定ファイル形式
• Formatter

一番簡単な利用例

import logging
logging.warning('Watch out!')  # will print a message to the console
logging.info('I told you so')  # will not print anything

WARNING:root:Watch out!

ログレベル

普段利用しているログレベルは、DEBUG,INFO,WARNING,ERRORでCRITICALを使うことはほぼない気がします。これはプロジェクト毎のログ設計次第ではありますが、各ログレベルがどういった状況で利用されるのかは意識して使い分ける必要がありますね。

loggerの定義方法

1. 設定用のメソッドを呼び出す。Python コードを明示的に使って、ロガー、ハンドラ、そしてフォーマッタを生成する。
   • ハードコードになり柔軟性に書けるため避けたい
2. ロギング設定ファイルを作り、それを fileConfig() 関数を使って読み込む。
   • configparser形式(≒INIファイル)で記述する必要がある
   • よく見かけるスタイルではあるが、可読性には欠ける
3. 設定情報の辞書を作り、それを dictConfig() 関数に渡す。
   • 設定ファイルに基づく方法の上位版としてPython3.2から提供され、推奨されている模様
   • 辞書化さえできれば渡せるので、JSON,YAML,TOML等　設定ファイルの形式は選ばない

Logging HOWTO Logging CookBook configparser 環境設定辞書スキーマ

以上からdictConfig()用いた実装が推奨されており、設定ファイルを何らかの形で辞書として読み込んでdictConfig()に渡してあげるのがよさそうです。

設定ファイル形式

ここからは、dictConfig()を利用する前提で、その設定辞書を記述する設定ファイルの形式について考えていきます。

1. configparser
   • この形式であればfileConfig()使えばいい
2. JSON
   • 標準ライブラリでパース可能、大多数の人が触ったことがある
3. YAML
   • 外部ライブラリが必要、JSONと比べ記述量が少なく可読性が高い
4. TOML
   • Python3.11から標準ライブラリでパース可能
   • 外部ライブラリが必要となるが、将来的にパーサーが追加されるのは標準らしさがある

tomllib TOML v1.0.0-rc.2

私が経験したことがあるのは、fileConfig()を利用した際のconfigparser、またはdictConfig()を利用した際のTOMLになります。

ここに関しては、Python3.11以降ではパーサーが標準化されることもありTOMLで記述することに慣れていきたいですね。

Formatter

私が業務上よく利用するのはLambdaやGlue jobなのですが、それらにおいてログ出力された内容がどのソースから出力されたかを同定するには以下のような項目が必要となります。

• 出力項目
  • 時刻
  • スクリプト名
  • 関数名
  • 行番号
  • ログレベル
  • メッセージ
• 出力する必要があるかケースバイケースのもの
  • プロセスID
  • プロセス名
  • スレッドID
  • スレッド名

まずは以下のようなフォーマット内容で出力しておけば、最低限困らなそうです。

%(asctime)s %(name)s %(funcName)s %(lineno)-3d [%(levelname)] %(message)s

LogRecord 属性

おわりに

今回は、Pythonのloggingについてなんとなくで理解している部分が多かったため、基本的なことから復習してみました。 特にloggerの設定方法の違いや、Formatterで出力できる項目など普段なんとなくで理解していた部分について整理できたと思います。

以上になります。この記事がどなたかの助けになれば幸いです。