[レポート] AIM367: Introducing AWS DeepRacer #reinvent

はじめに

本記事はAWS re:Invent 2018のセッション「AIM367 - Introducing AWS DeepRacer」のレポートです。

Developers start your engines! This breakout session will provide an introduction to the newly launched AWS DeepRacer. Learn about the basics of reinforcement learning, what’s under the hood and your opportunities to experience AWS DeepRacer for yourself.

スピーカーはMike Miller - Sr. Mgr, AWS AI Devices。Fire TV等のデバイスも手がけてきた方だそうです。

DeepRacerについての速報は以下の記事をご参照下さい。

• [速報] 1/18スケールのラジコンカー！ AWS DeepRacer が登場！ #reinvent

レポート

　DeepRacer
　今朝のKeynoteで発表された
　バックステージで聴いていたけど超エキサイティングだったね
　全てのデベロッパーをディープサイエンティストに変えるものだ

Origin Story
　本日Amazon SageMakerの拡張サービスがたくさん発表された
　AIのコンテキスト
　　ベースとなるのが機械学習、AIは機械学習を内包するもの
　　機械学習は様々な学習モデルを内包している
　パックマンの例
　　RLアルゴリズムのシュミレーション
　　リワードを得ながら最適解を探していく
　　最終的にはかなり高得点を得られるようになる
　強化学習のユースケース
　　自動運転カー
　　　多くの強化学習を繰り返さないと精度が上がらない
　　運送改善
　　金融トレーディング
　　データセンターの温度調整
　デベロッパーが強化学習を覚えるのを手助けする方法はないか？
　AWS DeepRacer
　　1/18のミニマムなレースカー
　　強化学習によって自動運転する
　AWS DeepRacer Console
　　バーチャルなレーシングシュミレーター
　　SageMakerとRoboMakerをインテグレートしている
　　バーチャルなコースでレースカーを動かすことで強化学習をイテレートする
　AWS DeepRacer Leagure
　　デベロッパー向けのグローバルなレースリーグ
　　オンラインステージをAWS Summitで行う
　　re:Invent 2019で物理的なレースを行う、チャンピオンズカップ
　　オンラインに向けた練習は管理コンソールで行える

RL for the Sunday Driver
　リアルワールドでの強化学習
　　報酬の設定
　　ネガティブ報酬の設定
　　実行！繰り返し行う
　強化学習とは？
　　モデル、エージェント、アクション、環境、そしてゴール
　　モデルはDeepRacerによって最初から提示
　　エージェントはバーチャルカー、環境もバーチャル
　　ゴールはトラックを走り切ること
　どのように行うか
　　エージェントであるバーチャルカーをバーチャルコースで動かす
　　報酬、ネガティブ報酬を得る
　　繰り返し実行する
　　長い時間の学習が必要
　　実行はシンプル、Pythonで簡単に行える

Under the Hood
　（実物を出してくる）
　ステッカーでカスタマイズしている
　DeepRacer console
　　モデルの作成
　　トレーニングの設定
　　トレーニングにおける報酬を設定
　　トレーニングの実行
　　評価
　　モデルの複製
　　トレーニングを繰り返し
　　完成したら実写にデプロイ
　シミュレーターのアーキテクチャ
　　内部的にSageMakerとRoboMakerで強化学習
　　SageMakerやRoboMakerは個別に設定する必要はない
　　モデルはS3に保存
　　シミュレーションビデオはKinesis VIdeo Stream経由で配信
　　メトリクスはCloudWatchで取得
　Under the Hood
　　（実物を分解）
　　カメラ、USBポート、ストレージ、USBポート等で構成
　　バッテリーは真ん中に大きなものを搭載

　　USBポートはUSBメモリスティックも使えるしその他のものも使える
　　miniHDMIケーブルがある、カメラの映像を外部出力出来る
　　USB-Cポートは電源供給
　ソフトウェアアーキテクチャ
　　モデルはOpenVINOをオプティマイザーとして利用
　　カメラの映像はストリームデータをOpenVINOで推論、自動運転に利用

Rubber Meets the Road
　MGM Speedway
　　MGM Grand Garden Arenaでレースやってます
　DeepRacer Leagure
　　2019年オンラインで開催、AWS Summitの会場でやる

さいごに

とりあえず欲しいって気持ちしかありません。プレビューが使えるようになったら実機がなくても練習できるようなので、早く触りたいです！