【MediaPipe】Multi Hand Trackingの性能を確かめてみた(解像度)

2020.05.20

カフェチームの山本です。(アイキャッチ画像はわざと低解像度にしています、ミスではありませんのでご安心ください)

前回は、MediaPipeのMulti Hand Trackingが利用できるか確かめるために、カフェで撮影した動画で動作を確かめました。

【MediaPipe】カフェで手が検出できるか確かめてみた

今回は、Multi Hand Trackingが動作する条件として、どのくらいの解像度であれば検出できるか確かめます。

結論として、以下のことがわかりました。

  • 解像度が96*54pxあれば、映像に映った手を検出できた

MediaPipeに関連する記事はこちらにまとめてあります。

【MediaPipe】投稿記事まとめ

確認方法

画面の1/4くらいに手が映っている動画(1920*1080)を用意し、以下の解像度に縮小してMulti Hand Trackingに入力します。

  • 64*36
  • 96*54
  • 128*72
  • 160*90
  • 320*180
  • 640*360
  • 1280*720
  • 1920*1080

縮小にはFFmpegを利用しました。実行するコマンドとしては、以下のようです。

# 縦のピクセル数を720px(横のピクセルは自動)にする場合
ffmpeg -i in.mp4 -vf scale=-1:720 out_720.mp4

結果

検出動画

今回の動画は、こちら(YouTubeの再生リスト)にまとめています。

64*36pxの場合:検出できていない

96*54pxの場合:検出できている(一応)

128*72pxの場合:検出できている

160*90pxの場合:検出できている

320*180pxの場合:検出できている

640*360pxの場合:検出できている

それ以上の場合:検出できている

分析

96*54px以上の動画で検出でき、それよりも小さいと検出できませんでした。人間が動画をみてもわかるくらいであれば、検出できそうです。

まとめ

ある程度の解像度で映っていれば、手の検出ができることがわかりました。

次↓

【MediaPipe】Multi Hand Trackingの性能を検証するため実験してみた