この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
1 はじめに
CX事業本部の平内（SIN）です。
Amazon SageMaker（以下、SageMaker）の組み込みアルゴリズム（物体検出）で作成されたモデルは、MXNetの環境で利用するために変換（損失層の削除とNMS層を追加）が必要です。
また、同モデルをSageMaker Neo（以下、Neo）でコンパイルする際も、この変換が必要です。
この変換作業は、https://github.com/zhreshold/mxnet-ssdのdeploy.pyで可能なことを以前紹介しましたが、この時点では、Python2.xの環境が必要でした。
[Amazon SageMaker] 組み込みアルゴリズムのオブジェクト検出(ResNet-50)をMac上のMXNetで利用してみました
今回、同じ作業を確認すると、Python3でも可能になっていたので、改めて、纏めておくことにしました。 Amazon SageMaker Studio（以下、SageMaker Studio）では、Python3による各種環境が用意されているので、こちらで作業を進めています。
2 環境
DemoNotebooksの下に、作業環境としてConvertMXNetを作成し、convert_mxnet.ipynbというノートブックを配置しました。
Kernelは、Python 3 (MXNet 1.8 Python 3.7 CPU Optimized、インスタンスは、ml.t3.mediumを利用しています。
3 Notebook
ノートブックで作業している内容は、以下のとおりです。
(1) mxnetのインストール
最初に、mxnetをインストールしています。pipでインストールすると、バージョンは、1.7となっていました。
!pip3 install mxnet
import mxnet
print("MXNet Version {}".format(mxnet.__version__))
(2) ライブラリ・パス
必要なライブラリのimportと、パスの指定です。
import os
import shutil
import boto3
import glob
# 作業フォルダ
TMP_FOLDER='./tmp'
# モデル名
MODEL_NAME='model.tar.gz'(3) 作業フォルダ
フォルダの初期化では、存在する場合は、一旦削除して再作成しています。
if os.path.exists(TMP_FOLDER):
shutil.rmtree(TMP_FOLDER)
os.mkdir(TMP_FOLDER)(4) 変換元モデル
変換元となる物体検出モデルをS3バケットからダウンロードします。手元にmodel.tar.gzがある場合は直接作業フォルダにアップロードしても構いません。
InputBucket = 'sagemaker-working-bucket-xxx'
InputKey = 'smart-cooler-500/output/' + MODEL_NAME
s3 = boto3.resource('s3')
bucket = s3.Bucket(InputBucket)
bucket.download_file(InputKey, TMP_FOLDER + '/' + MODEL_NAME)また、作業フォルダ内で展開しています。
!tar xvfz $TMP_FOLDER/$MODEL_NAME -C $TMP_FOLDER(5) ツールのダウンロード
Githubからツールをダウンロードして、ヘルプ表示で動作確認しています。
os.environ['PYTHONPATH'] = os.getcwd() + '/mxnet-ssd/symbol/'
print("export PYTHONPATH={}".format(os.environ.get('PYTHONPATH')))
!git clone https://github.com/zhreshold/mxnet-ssd.git
!python mxnet-ssd/deploy.py -h実は、そのまま実行すると、下記のようにエラーとなってしまいます。
ImportError: cannot import name 'multi_layer_feature' from 'common' (/home/sagemaker-user/.local/lib/python3.7/site-packages/common/__init__.py)これは、 mxnet-ssd/symbol/commonが読み込めないのが原因なので、最初にPYTHONPATHにパスを追加しています。
参考：https://github.com/zhreshold/mxnet-ssd/issues/229
実行環境に問題がなければ、下記のようにヘルプが表示されます。
(6) ハイパーパラメータ確認
元モデルのhyperparams.jsonから、ハイパーパラメータを確認しています。これは、変換時に指定する必要があるパラメーター（クラス数など）を確認するためです。
!cat $TMP_FOLDER/hyperparams.json
(7) 変換
ツール(deploy.py)による変換の前に、一部コードを修正しています。
mxnet-ssd/symbol/symbol_factory.pyには、Python3で廃止となった、xrangeが使用されているため、このままでは実行できないので、rangeに置き換えています。
# mxnet-ssd/symbol/symbol_factory.pyの「xrange」を「range」に修正
file_name = os.getcwd() + '/mxnet-ssd/symbol/symbol_factory.py'
with open(file_name) as f:
data_lines = f.read()
data_lines = data_lines.replace("xrange", "range")
with open(file_name, mode="w") as f:
f.write(data_lines)以下が、変換です。ベースネットワークやクラス数などのパラメータ指定が必要です。
!python mxnet-ssd/deploy.py --network resnet50 --num-class 6 --nms .45 --data-shape 512 --prefix $TMP_FOLDER/model_algo_1
(8) 出力
出力されたファイルです。
!ls -la $TMP_FOLDER/deploy*
Neoでのコンパイルする際の元となるモデルとしては、この２つのファイルをtar.gzに圧縮して、S3に配置することで利用可能です。
4 最後に
今回は、SageMakerの組み込みアルゴリズム（物体検出）で作成されたモデルをMXNetで利用可能なように変換するNotebookをSageMaker Studioで作成してました。
１つこの環境を用意しておけば、軽易に変換の作業ができそうです。
3
