[Amazon SageMaker] iPhoneをRTSPサーバにしてイメージ分類(Image Classification)を試してみました

2020.05.21

1 はじめに

CX事業本部の平内(SIN)です。

前回、Webカメラでイメージ分類を行う場合、解像度は、あまり関係なく「距離」に限界があるという事になってしまいました。

って事で、試しにカメラを変えてみました。

今回試したのは、iPhone5です。 iPhoneをRTSPサーバにして、カメラの画像をリアルタイムに取得し、イメージ分類してみました。使用したモデルは前回と同じで、17種類のお菓子を分類するものです。

カメラと商品の距離は、5mです。

2 RTSPサーバ(iPhone)

iPhoneをRTSPサーバにするために、下記のアプリを利用させて頂きました。インストールするだけで簡単に利用可能です。

Live-Reporter スマートフォンをライブカメラに

設定は、以下のとおりとしました。

3 コード

確認に使用したコードは、以下のとおりです。 OpenCVのVideoCapture()は、パラメータにURLを指定することで、リモートサーバを入力とする事ができます。

import json
import datetime
import cv2
from boto3.session import Session

PROFILE = 'developer'
END_POINT = 'sampleEndPoint'
CLASSES = ['PORIPPY(GREEN)', 'OREO', 'CUNTRY_MAM', 'PORIPPY(RED)', 'BANANA'
, 'CHEDDER_CHEESE', 'PRETZEL(YELLOW)', 'FURUGURA(BROWN)', 'NOIR'
, 'PRIME', 'CRATZ(RED)', 'CRATZ(GREEN)', 'PRETZEL(BLACK)', 'CRATZ(ORANGE)'
, 'ASPARA', 'FURUGURA(RED)', 'PRETZEL(GREEN)']

RTSP = 'rtsp://192.168.0.113/'

TARGET_WIDTH = 200
TARGET_HEIGHT = int(TARGET_WIDTH*1.5)
BIAS = 100
RESIZE = 0.5
FONT_SIZE = 1

class SageMaker():
def __init__(self, profile, endPoint):
self.__end_point = endPoint
self.__client = Session(profile_name=profile).client('sagemaker-runtime')

def invoke(self, image):
data = self.__client.invoke_endpoint(
EndpointName=self.__end_point,
Body=image,
ContentType='image/jpeg'
)
return json.loads(data['Body'].read())

def putText(frame, x, y, font_size, text):
font_color = (255, 255, 255)
cv2.putText(frame, text, (x, y), cv2.FONT_HERSHEY_SIMPLEX, font_size, font_color, 2, cv2.LINE_AA)

def onClick(event, x, y, flags, frame):
if event == cv2.EVENT_LBUTTONUP:
now = datetime.datetime.now()
cv2.imwrite(str(now) + '.jpg', frame)
print("Saved.")

def createArea(width, height, w, h, bias):
x_1 = int(width/2-w/2)
x_2 = int(width/2+w/2)
y_1 = int(height/2-h/2) - bias
y_2 = int(height/2+h/2) - bias
return [x_1, y_1, x_2, y_2]

def main():

cap = cv2.VideoCapture(RTSP)

fps = cap.get(cv2.CAP_PROP_FPS)
width = cap.get(cv2.CAP_PROP_FRAME_WIDTH)
height = cap.get(cv2.CAP_PROP_FRAME_HEIGHT)
print("FPS:{} WIDTH:{} HEIGHT:{}".format(fps, width, height))

area = createArea(width, height, TARGET_WIDTH, TARGET_HEIGHT, BIAS)

sageMake = SageMaker(PROFILE, END_POINT)

while True:

# カメラ画像取得
_, frame = cap.read()
if(frame is None):
continue

img = frame[area[1]: area[3], area[0]: area[2]]

_, jpg = cv2.imencode('.jpg', img)
results = sageMake.invoke(jpg.tostring())
probabilitys = {}
for i, result in enumerate(results):
probabilitys[CLASSES[i]] = result

probabilitys = sorted(probabilitys.items(), key = lambda x:x[1], reverse=True)
for i in range(3):
(name, probability) = probabilitys[i]
text = "{} {}".format(name, probability)
putText(frame, 20, int(height) - 120 + i * (FONT_SIZE * 50), FONT_SIZE, text)

# 対象範囲の枠表示
frame = cv2.rectangle(frame, (area[0], area[1]), (area[2], area[3]), (255, 255, 0), 3)

# フレーム表示
frame = cv2.resize(frame, (int(width*RESIZE), int(height*RESIZE)))
cv2.imshow('frame', frame)

# マウスクリックでスナップ撮影
cv2.setMouseCallback('frame', onClick, frame)

cv2.waitKey(1)

cap.release()
cv2.destroyAllWindows()

main()

4 結果

LIVE Reporterでは、画面上の+−アイコンで拡大縮小が可能なので、商品が判別できる程度まで、拡大しています。

拡大(望遠)で撮影している関係上、少しのカメラのズレで、大きく画角が変わるので、商品の位置を捕まえるのが難しいですが、エリアが合っていれば、結構安定して分類できました。

OREO 0.9811

BANANA 0.6793

CRATZ(RED) 0.3665

NOIR 0.4059

PRIME 0.3007

5 最後に

Webカメラでは、2mぐらい離れると殆ど検出できなかったことを考えると、カメラさえうまく準備できれば、距離は、ある程度問題なくなるのかも知れません。

しかし、距離が離れれば離れるほど、商品エリアの設定は難しくなるし、コストは、Webカメラを間違いなく上回るはずなので、費用対効果での判断が必要になるでしょう。