【MediaPipe】Multi Hand Trackingの性能を確かめてみた（解像度）
カフェチームの山本です。（アイキャッチ画像はわざと低解像度にしています、ミスではありませんのでご安心ください）
前回は、MediaPipeのMulti Hand Trackingが利用できるか確かめるために、カフェで撮影した動画で動作を確かめました。
今回は、Multi Hand Trackingが動作する条件として、どのくらいの解像度であれば検出できるか確かめます。
結論として、以下のことがわかりました。
- 解像度が96*54pxあれば、映像に映った手を検出できた
MediaPipeに関連する記事はこちらにまとめてあります。
確認方法
画面の1/4くらいに手が映っている動画（1920*1080）を用意し、以下の解像度に縮小してMulti Hand Trackingに入力します。
- 64*36
- 96*54
- 128*72
- 160*90
- 320*180
- 640*360
- 1280*720
- 1920*1080
縮小にはFFmpegを利用しました。実行するコマンドとしては、以下のようです。
# 縦のピクセル数を720px（横のピクセルは自動）にする場合 ffmpeg -i in.mp4 -vf scale=-1:720 out_720.mp4
結果
検出動画
今回の動画は、こちら（YouTubeの再生リスト）にまとめています。
64*36pxの場合：検出できていない
96*54pxの場合：検出できている（一応）
128*72pxの場合：検出できている
160*90pxの場合：検出できている
320*180pxの場合：検出できている
640*360pxの場合：検出できている
それ以上の場合：検出できている
分析
96*54px以上の動画で検出でき、それよりも小さいと検出できませんでした。人間が動画をみてもわかるくらいであれば、検出できそうです。
まとめ
ある程度の解像度で映っていれば、手の検出ができることがわかりました。
次↓
