[Amazon SageMaker] イメージ分類のモデルをNeoで最適化して、Greengrass+RasPi4+OpenCV+Webカメラで使用してみました

SIN

2020.06.15

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

1 はじめに

CX事業本部の平内（SIN）です。

Amazon SageMager Neo（以下、Neo）を使用すると、既存のモデルを簡単にRaspberryPiで動作させる事ができます。今回は、Neoで最適化したモデルをAmazon Greengrass（以下、Greengrass）で機械学習リソースとして組み込み、エッジ(RasPi)上のLambdaから利用してみました。

作業にあたっては、下記の記事を参考にさせて頂きました。

やってる事は、上記ブログと同じなのですが、少し、DLRの利用方法や、Neoの出力形式が変化していたので、改めて纏めさせて頂きました。

最初に動作している様子です。

RaspberryPiに接続したWebカメラの画像を推論にかけて、結果をGreengrassのMQTTメッセージで送っています。推論には、2秒弱かかるため、反応は少し時間がかかります。

2 Neoによる最適化

使用したモデルは、Amazon SageMaker(以下、SageMaker)で以前作成した、商品を検出するイメージ分類（SageMakerの組み込みアルゴリズム）で作成したのです。

SageMakerで作成したイメージ分類のモデルをNeoで最適化する手順は以下のとおりです。

SageMakeのコンソールから推論 > コンパイルジョブ > コンパイルジョブの作成を選択し、新しくジョブを作成します。

アーティファクトの場所には、先に作成したイメージ分類のモデル（XXXX.tar.gz)を指定します。
データ入力は、イメージ分類の場合、{"data", [1, 3, 224, 224]} になります。
機械学習フレームワークは、MXNetを選択します。

S3出力先：最適化されたモデルの出力場所を指定します。
対象デバイスは、rasp3b を選択しました。(RasPi model 4は、選択リストに無かったのですが、RasPi4で動作確認できました)

作成をクリックすると、最適化モデルの生成が始まり、1分程度で、ステータスはCOMPLATEDになります。

出力先に指定したS3のバケットにmodel-rasp3b.tar.gzが生成されている事が確認できます。

注意：この出力先URLをGreengrassの機械学習モデルリソースの指定でそのまま使用するためには、デフォルトのパーミッションでは、バケット名にgreengrass若しくは、sagemakerが含まれている必要があります。

3 RaspberryPiの設定

(1) 使用環境

Raspberri Piは、Model4で、OSは、今年5月の最新版(Raspberry Pi OS (32-bit) with desktop and recommended software）2020-05-27-raspios-buster-full-armhf.img　です

$ cat /proc/cpuinfo  | grep Revision
Revision    : c03112

$ lsb_release -a
No LSB modules are available.
Distributor ID: Raspbian
Description:    Raspbian GNU/Linux 10 (buster)
Release:    10
Codename:   buster

$ uname -a
Linux raspberrypi 4.19.118-v7l+ #1311 SMP Mon Apr 27 14:26:42 BST 2020 armv7l GNU/Linux

(2) スワップ

RasPi4はメモリが1Gで、デフォルトで設定されているswapが100Mとなっているのですが、機械学習のモデルを読み込むのにメモリ不足となってしまうため、スワップのサイズを上げました。

デフォルは、100Mです。

$ swapon
NAME      TYPE SIZE USED PRIO
/var/swap file 100M   0B   -2

設定ファイルを編集します。

$ sudo vi /etc/dphys-swapfile
CONF_SWAPSIZE=2048

dphys-swapfileの再起動すると2Gになっている事を確認できます。

$ sudo /etc/init.d/dphys-swapfile restart
$ swapon
NAME      TYPE SIZE USED PRIO
/var/swap file   2G   0B   -2

(3) Greengrassのセットアップ

RaspberryPiへのGreengrassのセットアップは、クイックスタートを使用させて頂きました。
参考：【小ネタ】[AWS IoT Greengrass] クイックスタートを使用して、コマンド３行でセットアップする（RaspberryPi）

指定した内容は、以下のとおりです。

グループ名： RasPi_Sample_Group
リージョン: ap-northeast-1
Lambda: あり

$ wget -q -O ./gg-device-setup-latest.sh https://d1onfpft10uf5o.cloudfront.net/greengrass-device-setup/downloads/gg-device-setup-latest.sh \
&& chmod +x ./gg-device-setup-latest.sh \
&& sudo -E ./gg-device-setup-latest.sh bootstrap-greengrass \
--aws-access-key-id XXXXX \
--aws-secret-access-key XXXXX \
--region ap-northeast-1 \
--group-name My_GG_Group \
--hello-world-lambda \
--verbose
$ sudo reboot
$ sudo -E ./gg-device-setup-latest.sh bootstrap-greengrass \
--aws-access-key-id XXXXX \
--aws-secret-access-key XXXXX

クイックスタートが正常に完了している事を確認するため、AWS IoTのテスト画面で hello/world をSubscribeしてメッセージが到着して事を確認します。

また、クイックスタートで作成されたLambdaの名前も確認しておきます。 Helloで検索して、最終更新時間が新しいことで分かると思います。

(4) DLR

RasPi上でNeoのモデルを使用するためには、DLR(Compact Runtime for Machine Learning Models)が必要です。
https://neo-ai-dlr.readthedocs.io/en/latest/install.html

以前は、いくつかのビルド済みのモジュールがpipから利用可能でしたが、現在、そのリンクが無くなってしまったので、ソースからコンパイルします。

最初にpip3等、必要なパッケージをインストールします。

$ sudo apt-get update
$ sudo apt-get install -y python3 python3-setuptools build-essential curl ca-certificates
$ curl https://bootstrap.pypa.io/get-pip.py -o /tmp/get-pip.py
$ sudo python3 /tmp/get-pip.py
$ rm /tmp/get-pip.py

ソースコードをcloneします。

$ git clone --recursive https://github.com/neo-ai/neo-ai-dlr
$ cd neo-ai-dlr

コンパイルします。

$ mkdir build
$ cd build
$ cmake ..
$ make -j4
$ cd ..

インストールします。（--userでは、greengrassから利用できなかったの絵、rootでインストールしています）

$ cd python
$ sudo python3 setup.py install
$ cd ../..

下記のコマンドでエラーが無ければ、Python3.7で利用可能になっていることが確認できます。（Greengrassからは。Python3.7が使用されます）

$ python3.7 -c "import dlr"

(5) OpenCV

今回のサンプルで利用するOprnCVもインストールします。

$ sudo apt-get upgrade
$ sudo apt-get install libhdf5-dev libhdf5-serial-dev libhdf5-103
$ sudo apt-get install libqtgui4 libqtwebkit4 libqt4-test python3-pyqt5
$ sudo apt-get install libatlas-base-dev libjasper-dev
$ sudo pip3 install opencv-python opencv-contrib-python

環境変数(LD_PRELOAD)を設定することで、OpenCVが利用可能になっていることが確認できます。（この環境変数は、後ほど、GreengrassのLambdaで設定します）

$ export LD_PRELOAD=/usr/lib/arm-linux-gnueabihf/libatomic.so.1
$ python3.7 -c "import cv2"

4 Greengrassの設定

(1) Lambdaの設定

GreengrassグループのLambdaの設定です。

実行ユーザーは、デフォルトのggc_userからpiに変更しています。Python用のライブラリなど、ユーザpiで設定したので、この方法が一番簡単だと思います。

※ piのユーザーID及び、グループIDは、1000です。

pi~$ grep pi /etc/passwd
pi:x:1000:1000:,,,:/home/pi:/bin/bash

メモリ制限は、1.5Gとしました。モデルのサイズにも依存しますが、今回のモデルは、1Gでは、不足となってしまいました。

環境変数は、numpyのためのものです。

(2) リソース(Machine Larning)

リソースのMachine Larningで、Neoで作成したモデルをLambdaで利用可能なようにデバイス側に送ります。

リソース名は任意でOKです。

S3のモデルをアップロードを選択すると、NeoのS3への出力を、そのまま指定できます。ローカルパスは、Lambdaから見えるパスになります。(今回は、/modelsとしました）

なお、Neoで最適化されたモデルは、上記のような圧縮ファイル(tar.gz)となっていますが、こちらが、エッジ側で下記のように展開されることになります。


/models
├── compiled.meta
├── compiled.params
├── compiled.so
├── compiled_model.json
└── model-shapes.json

最後に、モデルにLambdaからの読み取り専用アクセスを設定します。

(3) リソース(ローカル)

RaspberryPiに接続されたWebカメラは、Lambdaに利用許可を与える必要があります。

任意のリソース名をつけ、デバイスパスを/dev/video0とします。

リソースを所有するLinuxグループOSグループアクセスを許可を自動的に追加するにチェックし、読み取りと書き込みアクセスでLamdaを関連付けます。

映像を取得するだけなので、読み取り専用でいいような気もしますが、OpenCVがデバイスを開く時に、設定も可能なように、Write権限を必要とするので、読み取り専用では、OpenCVで利用できません。

5 Lambdaのコード

Lambdaのコードは、以下のとおりです。

Webカメラの画像を2秒に一回、推論にかけて、レスポンスをMQTTで送信しています。このLambdaは、Greengrass起動時にInvokeされ、ハンドラは使用されていません。

import logging
import sys
import greengrasssdk
import cv2
import numpy as np
import dlr
import time

CLASSES = ['PORIPPY(GREEN)', 'OREO', 'CUNTRY_MAM', 'PORIPPY(RED)', 'BANANA', 
           'CHEDDER_CHEESE', 'PRETZEL(YELLOW)', 'FURUGURA(BROWN)', 'NOIR', 'PRIME',
           'CRATZ(RED)', 'CRATZ(GREEN)', 'PRETZEL(BLACK)', 'CRATZ(ORANGE)', 'ASPARA',
           'FURUGURA(RED)', 'PRETZEL(GREEN)']

logger = logging.getLogger(__name__)
logging.basicConfig(stream=sys.stdout, level=logging.DEBUG)
client = greengrasssdk.client("iot-data")

def publish(message):
    print("punlish:{}".format(message))
    try:
        client.publish(
            topic="hello/world",
            queueFullPolicy="AllOrException",
            payload=message
        )
    except Exception as e:
        logger.error("Failed to publish message: " + repr(e))

def main():

    print("Ver dlr:{} cv2:{}".format(dlr.__version__, cv2.__version__))

    DEVICE_ID = 0
    WIDTH = 800
    HEIGHT = 600
    FPS = 24

    cap = cv2.VideoCapture (DEVICE_ID)
    
    cap.set(cv2.CAP_PROP_FRAME_WIDTH, WIDTH)
    cap.set(cv2.CAP_PROP_FRAME_HEIGHT, HEIGHT)
    cap.set(cv2.CAP_PROP_FPS, FPS)

    width = cap.get(cv2.CAP_PROP_FRAME_WIDTH)
    height = cap.get(cv2.CAP_PROP_FRAME_HEIGHT)
    fps = cap.get(cv2.CAP_PROP_FPS)
    print("fps:{}　width:{}　height:{}".format(fps, width, height))


    print("DLRModel() start")
    model = dlr.DLRModel('/models','cpu')
    print("DLRModel() end")
    print("model.get_input_dtypes(): {}".format(model.get_input_dtypes()))
    print("model.get_input_names(): {}".format(model.get_input_names()))

    # 2秒ごとに推論する
    counter = 0
    span = 2 
    
    while(True):
        
        _, img = cap.read()
        if(img is None):
            continue
        counter += 1

        if(counter > fps*span):
            counter = 0
            
            img = img[0 : int(height), 0 : int(height)] # 横長の長方形 => 正方形
            img = cv2.resize(img, dsize=(224, 224)) 
            img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
            img = img.transpose((2, 0, 1))
            img = img[np.newaxis, :]
        
            print("img.shape: {}".format(img.shape))

            start = time.time()
            out = model.run({'data' : img})
            elapsed_time = time.time() - start
            probability = "{:.5f}".format(np.max(out))
            index = np.argmax(out[0])
            str = "{} - {} - {:.2f}sec".format(CLASSES[index], probability, elapsed_time)
            publish(str)

main()

def function_handler(event, context):
    return

GreengrassのLambdaは、バージョン若しくは、エリアスで識別されますが、クイックスタートで生成されたLambdaは、バージョン1になっているため、コードを更新するためには、バージョンを更新し、グループ設定でLambda及び、サブルクリプションの再設定が必要です。

なお、エリアス指定にしておくと、Lambdaの更新時は、新しいバージョンにエリアスを貼り直すだけになるので、開発が捗ると思います。