この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
はじめに
本記事はAWS re:Invent 2018のセッション「AIM367 - Introducing AWS DeepRacer」のレポートです。
Developers start your engines! This breakout session will provide an introduction to the newly launched AWS DeepRacer. Learn about the basics of reinforcement learning, what’s under the hood and your opportunities to experience AWS DeepRacer for yourself.
スピーカーはMike Miller - Sr. Mgr, AWS AI Devices。Fire TV等のデバイスも手がけてきた方だそうです。
DeepRacerについての速報は以下の記事をご参照下さい。
レポート
DeepRacer
今朝のKeynoteで発表された
バックステージで聴いていたけど超エキサイティングだったね
全てのデベロッパーをディープサイエンティストに変えるものだ
Origin Story
本日Amazon SageMakerの拡張サービスがたくさん発表された
AIのコンテキスト
ベースとなるのが機械学習、AIは機械学習を内包するもの
機械学習は様々な学習モデルを内包している
パックマンの例
RLアルゴリズムのシュミレーション
リワードを得ながら最適解を探していく
最終的にはかなり高得点を得られるようになる
強化学習のユースケース
自動運転カー
多くの強化学習を繰り返さないと精度が上がらない
運送改善
金融トレーディング
データセンターの温度調整
デベロッパーが強化学習を覚えるのを手助けする方法はないか？
AWS DeepRacer
1/18のミニマムなレースカー
強化学習によって自動運転する
AWS DeepRacer Console
バーチャルなレーシングシュミレーター
SageMakerとRoboMakerをインテグレートしている
バーチャルなコースでレースカーを動かすことで強化学習をイテレートする
AWS DeepRacer Leagure
デベロッパー向けのグローバルなレースリーグ
オンラインステージをAWS Summitで行う
re:Invent 2019で物理的なレースを行う、チャンピオンズカップ
オンラインに向けた練習は管理コンソールで行える
RL for the Sunday Driver
リアルワールドでの強化学習
報酬の設定
ネガティブ報酬の設定
実行！繰り返し行う
強化学習とは？
モデル、エージェント、アクション、環境、そしてゴール
モデルはDeepRacerによって最初から提示
エージェントはバーチャルカー、環境もバーチャル
ゴールはトラックを走り切ること
どのように行うか
エージェントであるバーチャルカーをバーチャルコースで動かす
報酬、ネガティブ報酬を得る
繰り返し実行する
長い時間の学習が必要
実行はシンプル、Pythonで簡単に行える
Under the Hood
（実物を出してくる）
ステッカーでカスタマイズしている
DeepRacer console
モデルの作成
トレーニングの設定
トレーニングにおける報酬を設定
トレーニングの実行
評価
モデルの複製
トレーニングを繰り返し
完成したら実写にデプロイ
シミュレーターのアーキテクチャ
内部的にSageMakerとRoboMakerで強化学習
SageMakerやRoboMakerは個別に設定する必要はない
モデルはS3に保存
シミュレーションビデオはKinesis VIdeo Stream経由で配信
メトリクスはCloudWatchで取得
Under the Hood
（実物を分解）
カメラ、USBポート、ストレージ、USBポート等で構成
バッテリーは真ん中に大きなものを搭載
USBポートはUSBメモリスティックも使えるしその他のものも使える
miniHDMIケーブルがある、カメラの映像を外部出力出来る
USB-Cポートは電源供給
ソフトウェアアーキテクチャ
モデルはOpenVINOをオプティマイザーとして利用
カメラの映像はストリームデータをOpenVINOで推論、自動運転に利用
Rubber Meets the Road
MGM Speedway
MGM Grand Garden Arenaでレースやってます
DeepRacer Leagure
2019年オンラインで開催、AWS Summitの会場でやる
さいごに
とりあえず欲しいって気持ちしかありません。プレビューが使えるようになったら実機がなくても練習できるようなので、早く触りたいです！
3
