【MediaPipe】テスト動画で検出性能を確かめてみた

2020.05.20

カフェチームの山本です。

前回は、MediaPipeを動かすために、Windowsで環境構築し、Multi Hand Trackingを動かしました。

【MediaPipe】Windowsで環境構築し、Multi Hand Trackingを動かしてみた

今回は、Multi Hand Trackingの大まかな性能を知るために、いくつかの動画を入力して検出結果を見ていきます。今回使用した動画は、以下の2種類です。

  • 自宅で撮影した動画
    • 映っている人数:1人
    • フレームレート:20fps
    • 解像度:1280*720・1920*1080(2種類)
  • Developers IO Cafeで確認用に記録されていた動画
    • 映っている人数:2人
    • フレームレート:2fps
    • 解像度:640*480

結論として、以下のことがわかりました。

  • 自宅で撮影した動画では、ほぼ検出できた
  • カフェの記録映像では、ほとんど検出できなかった

MediaPipeに関連する記事はこちらにまとめてあります。

【MediaPipe】投稿記事まとめ

実行方法・確認方法

前回の記事に記載の通り、MediaPipeのMulti Hand Trackingに動画を入力することで、検出を実行します。

確認は目視で行いました。

検出結果

自宅で撮影した動画

全動画はこちら(YouTube 再生リスト)にまとめてあります。

複数の手を検出できることがわかりました。また、Hand Tracking(Single Hand)のときと同じく、手の形を変えたり、早く動かしたりしても、追跡してる様子がわかります。

カフェで記録されていた動画

全動画はこちら(YouTube 再生リスト)にまとめてあります。

動画はいくつかの角度から撮影されているものでしたが、どれに対してもほとんど検出できませんでした。また誤検出も多かったです。原因としては、解像度が低い、フレームレートが低い、明るさ(露出補正)が適していないといったことが考えられます。

まとめ

今回の結果から、条件によって検出性能が大きく変わる(落ちる)ことがわかりました。今後、どのような条件であれば検出できるのか詳しく調べていきます。

次↓

【MediaPipe】カフェで手が検出できるか確かめてみた