顔認証のクラウドサービスMercury Cloudで遊んでみる – 品質チェック –

前回、顔認証のクラウドサービス　Mercury Cloud　を使って顔比較を行いました。

顔認証のクラウドサービスMercury Cloudで遊んでみる – 顔比較 –

顔検知、顔比較では画像データをバイナリ化してAPIのパラメータとして渡し、Mercury Cloudはその画像データをもとに結果を返してくれます.

ベストプラクティスとして

APIを呼び出す前に、高品質・正面・鮮明な画像を、有効な顔サイズが200x200ピクセル以上を確保しながら、画像をトリミングして200KB未満に圧縮することを強くお勧めします

とされています。　画質が高いほど認識精度が高くなるので品質の確認は重要と言えますね。

Mercury Cloudでは品質チェックのAPIが用意されていて、顔のサイズ、角度、明るさ、鋭さ、遮蔽などを分析し、すべての要素の値を応答します。

まだ記事化していませんが、顔検索APIを使用するときのデータベースに顔の画像を登録する前には品質チェックのAPIを実行してチェックを行うことが推奨されています。

使ってみる

前提

Mercury CloudのAPIを使うには、全てのAPI共通で認証を行っておく必要があります。

x-dateとAuthorizationのheaderが必要で、含まれていないと４０１エラーとなります。

前回の記事で行いましたので、本記事では詳細を割愛します。

例)

x-date: Fri, 09 Jul 2021 01:51:02 GMT

Authorization: hmac username="005c5acf-5ea9-499c-8d3e-690413f9b5b9", algorithm="hmac-sha256", headers="x-date request-line", signature="kUJ6OHiMMBZnxgSEa2ARxVAlgjC2kzjedZgxOz07i+Y="

品質チェックAPIへリクエスト

URL：　https://{domain}/openapi/face/v1/{app_id}/quality

画像のバイナリデータをRequest Bodyに与える必要があります。

リクエスト例)

curl --location --request POST 'https://{domain}/openapi/face/v1/{app_id}/quality' \
--header 'x-date: Tue, 02 Nov 2021 01:27:49 GMT' \
--header 'Authorization: hmac username="{access_key}", algorithm="hmac-sha256", headers="x-date request-line", signature="v7mUOcnEsftAhicEG+fSRzrhIY065KyBb15YrgWYNjQ="' \
--header 'Content-Type: application/json' \
--data-raw '{
  "image": {
    "data": "/9j/4AAQSkZJRgA...Tpi3Q1lZTCn//Z"
  }
}'

レスポンスの確認

上記画像をリクエストした時の結果を見てみます。

{
    "trace_id": "2ddb80237f03f3e3c10855ab590cca07",
    "result": {
        "code": 0,
        "message": "Success.",
        "internal_code": 0
    },
    "face": {
        "angle": {
            "yaw": -20.232817,
            "pitch": -0.82377076,
            "roll": -8.167998
        },
        "quality": {
            "distance2center": 0.23039812,
            "size": 0.18051992,
            "brightness": -0.09724788,
            "sharpness": 0.764679,
            "mouth_open": 0.45437628,
            "missing": 1,
            "align_score": 9.999924
        },
        "occlusion": {
            "eye": 0,
            "nose": 0,
            "mouth": 0,
            "eyebrow": 0,
            "face_line": 0,
            "occlusion_total": 0
        },
        "rectangle": {
            "top": 45,
            "left": 88,
            "width": 70,
            "height": 77
        },
        "orientation": 1
    }
}

上記のように結果が返ってきますが、この情報をもとに自身で許容レベルを決定して判断する必要があります。

以下の表がチェック項目と推奨されるしきい値を示しています

いろんな画像でチェック

目の付近を黒く塗りつぶしたりしてみた結果は以下のようになりました、

{
    "trace_id": "c145d857f9aa1bfb3f4901aa70702ded",
    "result": {
        "code": 0,
        "message": "Success.",
        "internal_code": 0
    },
    "face": {
        "angle": {
            "yaw": -18.884073,
            "pitch": 0.59742945,
            "roll": -9.100546
        },
        "quality": {
            "distance2center": 0.22264344,
            "size": 0.18051992,
            "brightness": -0.23255374,
            "sharpness": 0.99760157,
            "mouth_open": 0.48383373,
            "missing": 1,
            "align_score": 9.998194
        },
        "occlusion": {
            "eye": 0.6111111,
            "nose": 0,
            "mouth": 0,
            "eyebrow": 0.22222221,
            "face_line": 0,
            "occlusion_total": 0.14705884
        },
        "rectangle": {
            "top": 45,
            "left": 87,
            "width": 68,
            "height": 76
        },
        "orientation": 1
    }
}

何もしていない画像に比べて、

occlusion の eye が 0.6111111、eyebrowが0.22222221　となっていて、目の付近を隠した画像だということがデータとしてもわかります。

この画像のようにマスクをした状態だと

{
    "trace_id": "e07ea65d50a92852e95b518e36f86a5d",
    〜〜〜,
        "occlusion": {
            "eye": 0,
            "nose": 0.23076922,
            "mouth": 1,
            "eyebrow": 0,
            "face_line": 0.45454544,
            "occlusion_total": 0.372549
        },
     〜〜〜
    }
}

occlusionのnose、　mouth の値が増えます。

ちょっと明るくして不鮮明な感じの画像だと

{
    "trace_id": "a9e5f2d66386ab5eb6716fa70c7944ca",
    ~~~
        "quality": {
            "distance2center": 0.07739246,
            "size": 0.17479675,
            "brightness": 0.8932953,
            "sharpness": 0.65244,
            "mouth_open": 0.46528304,
            "missing": 1,
            "align_score": 9.98233
        },
        ~~~
    }
}

qualityの　brightnessの値が大きくなります。

最後に

品質チェックAPIを使っていろんな画像を確認しました。 APIを呼び出すことは非常に簡単で、返ってくるデータも正確だと感じます。

できるだけ精度を高くした顔認証をサービスに組み込む際、

• APIで返されるチェック項目を使ってしきい値を決める
• 実際に顔検知や顔比較、顔検索の画像をアップロードされた時に閾値と比較するようにプログラムする

といったことが必要になってきますね。