【ハンズオン】AWS DeepRacer Workshop 2020 #AWSSummit

2020年9月8日から9月30日の間で開催されているAWS Summit Online のセッションに参加しています。 AWS Summit Onlineでは基調講演等の他、ハンズオンセッションという手を動かすセッションがあります。

今回は機械学習全くの初心者の私がAWS DeepRacer Workshop 2020に参加したのでレポートします。

セッション概要

スピーカー

大渕 麻莉 氏

アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 機械学習

ソリューションアーキテクト

セッション

DRL-01：AWS DeepRacer Workshop 2020

動画&資料はこちらになります。

目的

1/18 スケールのレーシングカーを使い、楽しみながら強化学習を学ぶことができる「AWS DeepRacer」。

2018年12月に発表された AWS DeepRacer は、2019 年に多くの皆様から高い関心を寄せていただきました。2020 年もすでに仮想レース「Virtual Circuit」がスタートし、2つの新たなレース「対戦型」と「障害物回避」形態が加わっています。ワークショップでは AWS DeepRacer についての解説つののち、実際にモデルを作る過程をハンズオンで体験していただくことができます。

すでにリーグに参加された方も、初めて AWS DeepRacer を知った方もぜひこのワークショップを受講してレースにご参加ください！

ハンズオン概要

• AWS DeepRacer の概要の説明（動画） • 強化学習の概要 • AWS DeepRacer のシミュレータの説明 • AWS DeepRacer の構成
• ハンズオン（もくもく）

AWS DeepRacer の概要の説明

DeepRacerとは？

強化学習で駆動する1/18スケールの自立型走行車を使い、楽しみながら機械学習を学べるサービス。2世代目としてLIDAR（光検出および測距）センサーとステレオカメラセンサーを新しく搭載したDeepRacer Evoが登場。DeepRacer Evoではオブジェクトの検出や他のマシンの回避を可能にするさらに高度な強化学習モデルのトレーニングができるようになった。

強化学習の概要

• 人工知能 AI は非常に広い概念でざっくり言うと人間ぽく動いたり判断したりする何か
• 人工知能を実現する手段の一つとして機械学習がある
• これは人間が物事やイベントを分類したり過去の経験から何かを予測したりするのと同じような事を行う手法
• 機械学習には大きく分けて三つの手法(強化学習、教師あり学習、教師なし学習)がある

• DEEP RACER は強化学習を使って走り方を学んでいく

AWS DeepRacer のシミュレータの説明

• DeepRacerのシミュレーターではコースの運転中に1秒あたり15枚の画像を撮影する

• どの状態でどの行動を選べば良いか学習するためにはまず環境を探索する必要がある
• モデルの初期状態ではエージェントはどの行動を取れば良いのかまったく決めることができないので、強化学習のアルゴリズムはランダムに行動を選択する
• ある程度のエピソードが経過したらモデルを学習してさらに改善していく
• 改善したモデルはさらに経験を集め、その経験はより良いモデルを学習するために利用される

AWS DeepRacer の構成

• 強化学習環境としてAmazonSageMakerを利用を利用
• シミュレーション環境のためにはAWSRoboMakerを利用
• モデルの保存にはAmazon S3を利用
• ログの保存にはAmazon Cloud Watchを利用
• コンソールに動画を表示するために Amazon kinesis Video Streamsを利用

ハンズオン

準備

マシンを設定

全部初期値だとすごい遅かったので、speedだけ3にしてみました。だいぶコースアウトしたのでもう少し遅い方がいいのかも…

モデルを設定

初期設定のままでも、そこそこ走ります。

今回は分からないながらにも少しだけ報酬関数をいじってみたりして遊んでみました。

走らせる

学習

学習風景が見れるようになってます。最初はすぐにコースアウトするのですが、そのうちコースアウトが減って、コースに沿って走れるようになってきます。

検証

学習が終わったら、実際に三回コースを走らせてみて、検証ができます。

レース

とりあえず、レースに出してみました。

半分以下くらいの順位でしたが、ランキングに入りました！

感想

機械学習全く初心者の私でも、学習させることができました。

なんだか楽しくなってしまったので、暇を見つけて勉強しながら、もう少し成長させたいと思います。なんか、学習風景をずっと眺めてたら愛着湧いてしまった?可愛い?