jcを使ってUnixコマンド結果をJSON形式に変換する

Introduction

jcは、標準的なUnixコマンドの出力を受け取って
その出力をJSONにパースするという、python製ツールです。
（コマンドラインまたはpythonのモジュールとして使用可能）

例えば、Unixコマンド結果を少し加工したり一部の出力だけほしいときには
ちょっとしたスクリプトを書いたりします。
そんなとき、Unixコマンドの出力形式がJSON形式で扱えれば
スクリプトを書く手間が多少は省けます。

今回はUnixコマンド出力結果をJSON形式に変換するツールの
jcを紹介します。

Setup

インストールはMacならHomebrewで可能です。

% brew install jc

pipでも可能。

%pip3 install jc

その他、各種パッケージマネージャでインストールできるので、 こちらを参照してください。

Try jc

jcは標準入力からパイプを使って入力されたデータを受け取り、
直前のコマンドの出力をJSONで標準出力に出力します。
使い方は↓のようになります。

COMMAND | jc PARSER [OPTIONS]

ls結果をJSON形式に変換したい場合は下記のようにします。
lsコマンドの結果をパイプでうけとり、jcのlsパーサーを指定してJSON形式に変換しています。

% ls -la | jc --ls

[{"filename":".","flags":"drwxr-xr-x","links":4,"owner":"nakamura.shuta","group":"staff","size":128,"date":"Apr 8 15:19"},{"filename":"..","flags":"drwxr-xr-x","links":7,"owner":"nakamura.shuta","group":"staff","size":224,"date":"Apr 8 15:19"},{"filename":"app.js","flags":"-rw-r--r--@","links":1,"owner":"nakamura.shuta","group":"staff","size":3463,"date":"Apr 7 10:49"},{"filename":"foo.txt","flags":"-rw-r--r--","links":1,"owner":"nakamura.shuta","group":"staff","size":0,"date":"Apr 6 12:19"}]

変換するコマンドの前にjcを付与してもOKです。

jc [OPTIONS] COMMAND

% jc ls -la
・・・

pingのように、コマンド実行後に処理を開始して結果を
JSON　linesで１行ずつうけとるコマンドもあります。　
こういったケースではStreaming Parserを指定します。
Streaming Parserを使うとコマンドのパースに必要なメモリを削減して、
高速なデータが可能になります。

% ping 127.0.0.1 | jc --ping-s
{"type":"reply","destination_ip":"127.0.0.1","sent_bytes":56,"pattern":null,"response_bytes":64,"response_ip":"127.0.0.1","icmp_seq":0,"ttl":64,"time_ms":0.051}
{"type":"reply","destination_ip":"127.0.0.1","sent_bytes":56,"pattern":null,"response_bytes":64,"response_ip":"127.0.0.1","icmp_seq":1,"ttl":64,"time_ms":0.174}
・・・

ls -lのStreaming Parser。

% ls -l | jc --ls-s
{"filename":"app.js","flags":"-rw-r--r--@","links":1,"owner":"nakamura.shuta","group":"staff","size":3463,"date":"Apr 7 10:49"}
{"filename":"foo.txt","flags":"-rw-r--r--","links":1,"owner":"nakamura.shuta","group":"staff","size":0,"date":"Apr 6 12:19"}

jc結果をjqとパイプでつないで、任意のフィールドだけ取得することもできます。
↓はls結果をjcでJSON化して、jqでパーミッション用のフィールドのみを抽出しています。

ls -la | jc --ls | jq ".[].flags"
"drwxr-xr-x"
"drwxr-xr-x"
"-rw-r--r--@"
"-rw-r--r--"

jcとjqを組み合わせることで、Unixコマンドと
JSONを操作するライブラリやツール間をブリッジしてくれます。
ちなみに、csv ・ yaml ・ /etc/hosts ・ iniなども
パーサーがあるので、jcでJSONへの変換が可能です。

参照：https://github.com/kellyjonbrazil/jc#examples

Custom Parsers

主要なコマンドについては
デフォルトでパーサーが用意されてますが、
対応していないコマンド(自作のシェルなども含む）もあります。

そういったケースでは、自分でパーサーを記述することができます。
※デフォルトのパーサーを上書きすることも可能

References

• jc公式
• Github