【MediaPipe】Hair Segmentation動かしてみた

カフェチームの山本です。

今までは、Multi Hand Trackingを動かし、手の検出を行っていました。

【MediaPipe】投稿記事まとめ

今回は少し手を伸ばして、同じくMediaPipeで公開されている、Hair Segmentationを動かしてみたいと思います。

Hair Segmentationを動かす

今回はWebブラウザで動かしました。こちらのページの「Example Apps」「Web」の項目にリンクがありますので、アクセスします。別ページの「MediaPipe on the Web」の項目に飛ばされるので、「MediaPipe Hair Segmentation」を選択します。ページ右上の実行のアイコン（非常口のピクトグラムのようなマーク）をクリックすると、ブラウザで実行します。（これも簡単ですね）

利用したMediaPipeのバージョンはv0.7.5でした。

WSLやUbuntuから動かしたい場合は、CPU版がないため、GPU版を動かす必要があります。GPUで動作させるための設定をして、以下のコマンドを打てば、実行できると思われます。入出力ファイルへのパスは適宜変更してください。GPUで動作させるための設定としては、MediaPipeのインストールガイドのページとGPU関連のページをご参照ください。

export GLOG_logtostderr=1

bazel run --copt -DMESA_EGL_NO_X11_HEADERS --copt -DEGL_NO_X11 \
    mediapipe/examples/desktop/desktop/hair_segmentation:hair_segmentation_gpu

GLOG_logtostderr=1 bazel-bin/mediapipe/examples/desktop/desktop/hair_segmentation/hair_segmentation_gpu \
--calculator_graph_config_file=mediapipe/graphs/hair_segmentation/hair_segmentation_mobile_gpu.pbtxt \
--input_video_path="/mnt/c/Users/yamamoto.hiroki/Pictures/Camera Roll/sample.mp4" \
--output_video_path="/mnt/c/Users/yamamoto.hiroki/Pictures/Camera Roll/output.mp4"

結果

使用したPCの機種はSurface Laptop 3、利用したブラウザはGoogle Chrome、画面はWindows10のキャプチャ機能で録画しました。

結果１：正面からの映像

そのまま実行すると、下の動画のようになりました。髪の毛の部分が青色に変わっていることがわかります。頭を動しても追従してきます。

髪にオーバレイしている色は、実行画面のエディタで162行目で指定されているので、ここを修正すれば変更できます。

color { r: 0 g: 0 b: 255 }

例えば、下のように変更すると、髪の色を赤色にすることができます。

color { r: 255 g: 0 b: 255 }

結果２：上からの映像

上から撮影した映像を想定し、頭の上の部分から撮影して検出を行いました。これも検出できています。

結果３：複数人の映像

複数人が映っている場合を想定して、画像を複数並べて検出させてみました。一部の髪は検出できていますが、全員の髪は検出できませんでした。途中から検出する領域が増えているため、もう少し長く検出されると、全て検出されるかもしれません。タブレットで写しているため、それが影響している可能性もあると思います。

まとめ

今回はMediaPipeのHair Segamentationを動かしてみました。1人であれば正しく検出できましたが、複数人が映っていると検出されない場合がありました。