【MediaPipe ✕ Cubemos SDK】骨格検出した身体と手を対応付ける（その２：3D動画編）
カフェチームの山本です。
前回は、1枚の画像で、Cubemos SDKで検出した骨格とMediaPipe Multi Hand Trackingで検出した手の対応づけを試し、結果を確認しました。
今回は、もう詳しく様子を確認するため、動画で同様の対応づけを行い、結果を確認しました。また、手の左右を区別して対応付けを行い、結果を確認しました。
（MediaPipeに関連する記事はこちらにまとめてあります。）
結論としては、今回の方法ではうまく対応づけできない状況があることがわかりました。
実験１
動画でどのような結果になるかを確認するため、実験しました。
方法１
検出した骨格と手を紐付ける方法は、前回と同様で、以下のような手順でした。
- 手順１：Cubemos SDKで骨格を検出する
- 手順２：骨格の手首が検出されていれば（検出の確信度が0でなければ）、手首（左手首・右手首）の座標を取り出す
- 手順３：手首周辺の画像を切り出し、MediaPipe Multi Hand Trackingで手を検出する
- 手順４：検出した手のうち、手の骨格中の手首の位置が、身体の骨格の手首の位置と距離が最も近いものを、その骨格の手として対応づける
（今回は、動画から1フレームずつキャプチャした画像に対して、繰り返し処理を行いました）
結果１
結果は、下の動画のようでした。手順１で検出した骨格ごとに色を定めて色付けして描画しました。関節は、丸で示しており、確信度が高い順に、緑・黄色・赤で描画しました。また、手順４で対応付けた手は、その骨格の色で描画しました。
分析１
良い点
前回の結果と同様、おおまかには正しく対応付けができました。
悪い点
- 悪い点１：近くにある別の手があると、誤判定される
下の図のように、左から２番目の人物と３番目の人物の間にある手が、２人のどちらの手でもあると判定される場合がありました。理由としては、２番目の人物の手は検出されていたものの、３番目の人物の手の方が距離が近かったため、そちらに対応づけられました。
このとき、左から２番目の骨格の手首の位置は正しく検出されず、左から３番目の骨格の手首の位置は正しく検出されました。それにも関わらず、２番目の方が確信度が高く、３番目の方が確信度が低くなっていました。
- 悪い点２：手が検出されないと、誤判定される
下の図のように、左から１番目の手に対して、左から２番目の骨格が対応付けられる場面がありました（左から１番目の人の骨格も、同じ手に対応付けられていました）。理由としては、２番目の人物の手が検出されず、１番目の人物の手が検出されたため、そちらに対応づけられていました。
実験２
上の悪い点１を改善するため、対応付けの方法を修正して、結果をみました。
方法２
方法１と同様に、骨格を検出し、周辺を切り出して、手を検出しました（手順１～３）。
対応付けの際に、骨格の手首の左右と同じように判定された手だけを対象として、最も距離が近いものを対応づけました（右手首には右手と判定された手のみを、左手首には左手と判定された手のみを、それぞれ対応づけました）（手順４）。このとき、こちらの記事で分析したように、MediaPipeのHandLandmarkSubgraphからは手の左右は逆になって出力される（v0.7.5の場合）ため、反転して利用しました。
結果２
結果は、下の動画のようでした。描画方法は結果１と同様です。
分析２
悪い点
- 手の左右が間違っていると、誤判定される
下の図のように、左から２番目の人物の左手が３番目の人物の右手に、左から３番目の人物の右手が２番目の人物の左手に、それぞれ対応付けられています。これは、手の左右の判定が間違っていたためでした。
MediaPipeの左右の判定の精度はあまり高くなく、かなりこのケースが多く見受けられました。
考察
今回の方法では、骨格を検出し、その情報をもとに対応づけをする、という方法を取りましたが、この方法では、以下のような問題がありそうです。
- 骨格の検知にミスがあると、対応付けのミスにそのまま繋がる
- 骨格の間で判定を考慮していない。そのため、同じ手に２つの骨格が対応付けられてしまう、といったことが起きる。
まとめ
今回は、骨格と手の対応付けを、動画に対して行い、結果を見てみました。今回の方法では、あまりうまく対応付けできないことがわかりました。
今後は、考察に挙げた問題を解決する方法を考えます。
