[レポート]深層強化学習によるトッププレイヤーレベルのAI #cedec2022 #classmethod_game #GranTurismo #GTSophy #GranTurismoSophy

A report of CEDEC2022 session about GT Sophy AI

CEDEC2022

#ゲーム開発・運用

#gamedev

#classmethod_game

#AI

小渕ヒューゴ

2022.09.02

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

最初

セッション内容

自動車レースでは、高速で走行する車両を安定させながら他の車両を追い越したりブロックしたりするなど、複雑で戦術的ドライビングを行わなければならない。PlayStation のゲームシリーズである「グランツーリスモ」では実際のレース車両にみられる非線形制御の難しさを忠実に再現しており、FIA公認の世界大会では現実のモータースポーツと同じレギュレーションでレースが行われている。本講演では、リアルドライビングシミュレーター『グランツーリスモSPORT』において、世界最高レベルのeスポーツプレイヤーたちに勝利したAIレーサー Gran Turismo Sophy を紹介し、このチャレンジに含まれる技術課題とそれを解決した手法、そして今後の展望について述べる。

この開発では、モデルフリー深層強化学習アルゴリズムと混合シナリオによる学習の組み合わせ、さらにクラウドゲーミングインフラストラクチャー上の多数のPlayStation 4を利用した大規模な分散学習によって、並外れたラップタイムと優れた戦術を兼ね備えたレーシングAIを学習させた。このAIは様々なドライビングスキルをその時々の状況に応じて自在に使いこなすだけでなく、世界トップレベルのプレイヤーたちを相手に、レースのマナーを尊重しながらも互いに安全限界のぎりぎりでしのぎを削るエキサイティングなレースを行うことができた。この結果をもとに、ゲーム内の複雑で動的なシステムの実時間制御に対して深層強化学習手法を用いることの可能性と課題についても議論する。

セッション講演者

(株)ポリフォニー・デジタル CTO 高野修一
株式会社ソニーAI, Tokyo Laboratory, Senior AI Engineer 河本献太

前半（GT Sophyの紹介・AI開発など）

Gran Turismo Sophyとは？

Gran Turismo Sophyはなんですか？ - 深層強化学習を使用した革新的なレーシングAIエージェント - GTのトップドライバーと競い合いながら、新たなゲーム体験を創り出すために作られたもの

昔からゲームAIがあったんですが、Sophyはリアルタイムで処理されるので、過去のAIと違います。

Race Together 2021

（AI）GT Sophy 4名と（人間）GTシリーズの世界トップドライバー4名、三つのレースコースのポイント制チーム戦が2021年に2回行われました。

1回目の試合は人間チームが勝ったんですが、2回目はAIの方が圧勝でした。
トップドライバーに、「AIと競争することを忘れてしまって、すごく楽しかったです」や「GT Sophyのレース・テクニックに興奮させてられて、たくさんインスピレーションを受けました」というコメントをいただきました。この試合でAIの可能性を示すことになっていると思われます。

GT Sophy / Rece Together 2021の成果と技術が国際科学業界にも高く評価されました。