データアナリティクス事業本部 機械学習チームの鈴木です。
CEDEC2023に参加してきました。 聴講したセッション『アクションゲームにおけるディープニューラルネットワーク付きステートマシンを用いたキャラクターAI強化学習』についてレポートします。
現在研究が進められている手法であるディープニューラルネットワーク付きステートマシン（FSM-DNN）によるゲームAI開発の方法についてご紹介頂きました。
この記事では私の感じたポイントと感想をざっくりとご紹介します。より詳しくはCEDiLより発表資料をご確認頂ければと思います。
セッション概要
本セッションはこれからのゲームAIの基礎となる技術について、どなたでも分かる形で実際のデモ映像をお見せしつつ解説します。ご提示する手法はシンプルでありながらも、高い有効性を持ち、また開発しやすいというメリットを持ちます。これまでゲームAI技術はステートマシンやビヘイビアツリーのように記号とグラフを組み合わせた手法が主流でしたが、記号主義とコネクショニズムが融合した研究成果である新しいキャラクターAI制作手法『ディープニューラルネットワーク付きステートマシン』（FSMDNN）を解説します。ステートマシンのステートごとに1つのDNNを付与するアーキテクチャであり、DNNをステートの遷移と同時に切り替えながら学習させます。本手法をキャラクターAIの作成に運用し、アクションゲームのキャラクターにバトルの仕方を学習させ有効性と性能を検証したデモをお見せいたします。本セッションで、新しいゲームAIの潮流を感じ取ることができます。
※ 『アクションゲームにおけるディープニューラルネットワーク付きステートマシンを用いたキャラクターAI強化学習』セッションページより引用
ゲームAIの大きな方針としてあるシンボリズムとコネクショニズムについて、両方を組み合わせることによってより使い勝手と性能を高める試みの具体例の一つである「ディープニューラルネットワーク付きステートマシン（FSM-DNN）」の紹介でした。
ポイントと感じた点
ゲームAIでのニューラルネットの利用と課題
深層強化学習によるゲームAI開発が盛んに進められているものの、このアプローチには以下の課題がありました。
- ゲーム業界では有限ステートマシンやビヘイビアツリーのようなシンボリズムによるAIの方が馴染み深い。
- コネクショニズムのAI（ニューラルネットによるもの）は調整時にモデル全体を再学習する必要があるため、一部を修正できるシンボリズムによるAIに比べて、細かな調整を意図して行うことが難しい。
ニューラルネットによるAIは業界的には使われにくかったものの、圧倒的な勢いで進化を続けており、業界的にもより良い活用方法が求められています。
FSM-DNNについて
シンボリズムの手法はいくつかありますが、今回は特に有限ステートマシンとニューラルネットを組み合わせたFSM-DNNについて紹介頂きました。
この方法には、以下のメリットがありました。
- 深層学習モデルは複数必要なものの、1つあたりのモデルのサイズを抑えることができ、学習にかかる時間など開発コストも効率化できる。
- ステートごとにモデルを作成するため、ゲーム開発者が慣れ親しんだものに近い開発ができる。ステートに対応するモデルを調整することで、挙動の調整もしやすい。
- ステートごとに報酬（ニューラルネットの出力を最適化する際の設定）をカスタマイズできる。
- ステートマシンの設計をすることで、AIの挙動を制御しやすい。
- ステートマシンのステートを追加することで、容易に拡張ができる。
セッション内で紹介された評価方法では、評価参加者からFSM-DNNにより行動するキャラクターが強さ・賢さ・動きの多様性の3点全てで一番優秀と評価されました。なにより、評価に参加したプレイヤーから見て敵が楽しくなったとのコメントがあったそうです。
ゲームAI制作工程について
FSM-DNNの制作工程については以下の2つのポイントを紹介頂きました。FSM-DNNでは、ステートは多くのシンボリズムのAIと同じでプランナーが設計する必要があります。この設計によりキャラクターの行動の大枠が決まります。各ステートでキャラクターが取る細かな挙動は、エンジニアが作成するニューラルネットのモデルによって調整がなされると考えられます。シンボリズムのAIを使っている現場であれば、エンジニアのAIの作成方法は変わる可能性がありそうですが、プランナーは同じ工程で進められると思われます。
コネクショニズムのAIを使っている現場の場合は、ステートマシンの設計を別途行う必要が出てきますが、代わりにステートに対応するモデルを作成するため問題が簡単になり、モデルを小さくしても性能の低下が抑えられたり、学習させやすかったりするメリットが見込まれます。
最後に
シンボリズムの手法である有限ステートマシンと、猛烈な勢いで進化しているコネクショニズムの手法であるニューラルネットを組み合わせ、性能を高めつつも開発工程はより現場で使いやすい方法を目指した、素晴らしい試みだと感じました。
ステートの目的ごとにニューラルネットを分割することで、軽量化と問題を簡潔にすることを両立しているのも大きなポイントだと思います。複数のモデルを作成するため、分担して作業を進めることができるのも大きなメリットだと思いました。
3
