[新サービス] [速報] 強化学習用のSageMaker「Amazon SageMaker RL」が発表されました! #reinvent

せーの@ラスベガスでございます。

たった今、機械学習のフルマネージドサービス、Amazon SageMakerの新サービス、その名も「Amazon SageMaker RL」が発表されましたので速報でご紹介します。

SageMakerって？

SageMakerは、今まで機械学習をやってきたエンジニアが純粋に機械学習に関する部分にのみ集中できるように、モデルを構築する開発環境、GPUコストがとてもかかる学習環境の構築、推測用のエンドポイントの提供などをまるっと提供する、という大変便利な統合機械学習サービスです。

ところで、機械学習には「教師あり学習」と「教師なし学習」というのがあります。
教師あり学習、というのはデータとともに正解を一緒に学習させるものです。例えばメールのスパム判定であればメールアドレス、タイトル、本文、そして「このメールはスパムかどうか」をセットにデータとして学習させることで、新しいメールに対して「これはスパムかどうか」を推測します。この正解を一緒に提供することを「ラベリング」といいます。

一方「教師なし学習」というのはその名の通り「正解」がない状態のデータを学習させ、共通点は機械が自ら見つけていく、というものです。これは例えばECサイトの「あなたへのお薦め」のようなレコメンド機能によく使います。

そしてもう一つ、機械学習には別のアプローチでの学習方法があります。それが「強化学習（中間学習）」です。
これはゴールに対してより適切な道順を見つける、というものです。具体的には何千万回のトライアンドエエラーを繰り返す方式が取られ、よりゴールに近ければ近いほど高い報酬を与えるようにします。そうすることで機械は最短でよりゴールに近い道順をたどるようになるのです。例えば囲碁のソフト「Alpha-Go」などはこの強化学習を採用しています。

SageMaker RLは「強化学習をするためのSageMaker」

つまり、強化学習をするにはこのトライアンドエラー、シミュレーションがとても大事なわけです。SageMaker RLはこの強化学習をサポートする環境を提供します。

SageMaker RLはSageMaker上に構築されます。ツールキットの形で提供されます。つまりSageMakerと同じように開発環境と学習環境は分離でき、Jupiterのノートブックも付属しています。そしてシミュレーション環境として

• AWS RoboMakerとAmazon Sumerianシミュレータとの連携
• Gymインターフェイスを使用して開発されたオープンAIのジム環境とオープンソースのシミュレーション環境との連携
• MATLABやSimulinkなどの商用シミュレータとの連携（BYOL)

といった様々なシミュレータとの連携が可能となります。SageMakerなのでGreengrassへのデプロイ、リモート管理も可能です！！

使えるリージョン

SageMaker RLはSageMakerが使えるリージョンすべてで使用できます！

さらに詳細はこのあと！