[レポート] AIM367: Introducing AWS DeepRacer #reinvent

はじめに

本記事はAWS re:Invent 2018のセッション「AIM367 - Introducing AWS DeepRacer」のレポートです。

Developers start your engines! This breakout session will provide an introduction to the newly launched AWS DeepRacer. Learn about the basics of reinforcement learning, what’s under the hood and your opportunities to experience AWS DeepRacer for yourself.

スピーカーはMike Miller - Sr. Mgr, AWS AI Devices。Fire TV等のデバイスも手がけてきた方だそうです。

DeepRacerについての速報は以下の記事をご参照下さい。

レポート

 DeepRacer
 今朝のKeynoteで発表された
 バックステージで聴いていたけど超エキサイティングだったね
 全てのデベロッパーをディープサイエンティストに変えるものだ

Origin Story
 本日Amazon SageMakerの拡張サービスがたくさん発表された
 AIのコンテキスト
  ベースとなるのが機械学習、AIは機械学習を内包するもの
  機械学習は様々な学習モデルを内包している
 パックマンの例
  RLアルゴリズムのシュミレーション
  リワードを得ながら最適解を探していく
  最終的にはかなり高得点を得られるようになる
 強化学習のユースケース
  自動運転カー
   多くの強化学習を繰り返さないと精度が上がらない
  運送改善
  金融トレーディング
  データセンターの温度調整
 デベロッパーが強化学習を覚えるのを手助けする方法はないか?
 AWS DeepRacer
  1/18のミニマムなレースカー
  強化学習によって自動運転する
 AWS DeepRacer Console
  バーチャルなレーシングシュミレーター
  SageMakerとRoboMakerをインテグレートしている
  バーチャルなコースでレースカーを動かすことで強化学習をイテレートする
 AWS DeepRacer Leagure
  デベロッパー向けのグローバルなレースリーグ
  オンラインステージをAWS Summitで行う
  re:Invent 2019で物理的なレースを行う、チャンピオンズカップ
  オンラインに向けた練習は管理コンソールで行える

RL for the Sunday Driver
 リアルワールドでの強化学習
  報酬の設定
  ネガティブ報酬の設定
  実行!繰り返し行う
 強化学習とは?
  モデル、エージェント、アクション、環境、そしてゴール
  モデルはDeepRacerによって最初から提示
  エージェントはバーチャルカー、環境もバーチャル
  ゴールはトラックを走り切ること
 どのように行うか
  エージェントであるバーチャルカーをバーチャルコースで動かす
  報酬、ネガティブ報酬を得る
  繰り返し実行する
  長い時間の学習が必要
  実行はシンプル、Pythonで簡単に行える

Under the Hood
 (実物を出してくる)
 ステッカーでカスタマイズしている
 DeepRacer console
  モデルの作成
  トレーニングの設定
  トレーニングにおける報酬を設定
  トレーニングの実行
  評価
  モデルの複製
  トレーニングを繰り返し
  完成したら実写にデプロイ
 シミュレーターのアーキテクチャ
  内部的にSageMakerとRoboMakerで強化学習
  SageMakerやRoboMakerは個別に設定する必要はない
  モデルはS3に保存
  シミュレーションビデオはKinesis VIdeo Stream経由で配信
  メトリクスはCloudWatchで取得
 Under the Hood
  (実物を分解)
  カメラ、USBポート、ストレージ、USBポート等で構成
  バッテリーは真ん中に大きなものを搭載

  USBポートはUSBメモリスティックも使えるしその他のものも使える
  miniHDMIケーブルがある、カメラの映像を外部出力出来る
  USB-Cポートは電源供給
 ソフトウェアアーキテクチャ
  モデルはOpenVINOをオプティマイザーとして利用
  カメラの映像はストリームデータをOpenVINOで推論、自動運転に利用

Rubber Meets the Road
 MGM Speedway
  MGM Grand Garden Arenaでレースやってます
 DeepRacer Leagure
  2019年オンラインで開催、AWS Summitの会場でやる

さいごに

とりあえず欲しいって気持ちしかありません。プレビューが使えるようになったら実機がなくても練習できるようなので、早く触りたいです!