【MediaPipe】カフェで手が検出できるか確かめてみた

MediaPipeで手の形状検出

山本紘暉

2020.05.20

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

カフェチームの山本です。

前回は、MediaPipeのMulti Hand Trackingの性能を大まかに確かめるために、自宅で撮影した動画と、カフェに記録されていた動画を入力し、出力結果を確認しました。

【MediaPipe】テスト動画で検出性能を確かめてみた

今回は、Multi Hand Trackingが性能よく動作する条件を調べるため、新たにカフェで撮影した動画に対して検出を実行し、結果を見ていきます。

結論として、以下のことがわかりました。

MediaPipeに関連する記事はこちらにまとめてあります。

【MediaPipe】投稿記事まとめ

対象データ

前回のカフェの記録動画と、今回の撮影した動画は以下のように異なります（今回の動画の方が高品質です）。手元にあった３つの機材で動画を撮影しました。また、そのうち１つのWebカメラに関しては、距離を変えながら撮影を行いました。

今回検出した様子はこちら（YouTube の再生リスト）にまとめています。

天井（床から3m程度）近くから撮影しました。解像度は1920*1080です。

検出に失敗することがほとんどなく、うまく検出できました（今回のテストの中でこれが一番うまく検出できました）

いくつか条件を変化させながら撮影しました。解像度は1920*1080です。

距離を変えながら撮影しました。照明はついています。（数字は床からの距離です）

距離が近い方が、検出が外れることが少なく、手に商品をもっていても検出できることが多かったです。

カフェの設備の照明を消して撮影しました。

照明がある場合よりも、少し精度よく取れているようでした。

人数を２人にして撮影し、照明なし・ありで撮影しました。撮影距離は床から2.2m程度です。どちらの状況でも同様にうまく検出できました

天井付近（床から3m程度）から撮影しました。解像度は1280*720です。

ときどき検出できないことが発生しました

前回はカフェの動画ではうまく動作しませんでしたが、今回の動画でうまくいったことから、カフェのような環境でも動作することがわかりました。
検出領域は広く、商品棚をカバーできる。
商品を持っていても手を検出できる場合がある。
ただし、撮影の仕方が適していないと検出性能が落ちることがわかりました。できなかった原因としては、解像度、カメラの画角、映っている手の大きさ、各機材における映像の補正などが影響したことが考えられます。
現在の設定では、手は２つまでしか検出できませんでした。どこか設定を変更する必要がありそうです。
今回のカフェの状況では、照明をつけていても、消していても手の検出ができました。