【セッションレポート】 強化学習の恩恵をユーザー体験に 〜 運営型ゲームにおけるエッジAI開発の舞台裏 #CEDEC2025

登壇者: 竹村　伸太郎 (株式会社ディー・エヌ・エー)、坂見 耕輔 (株式会社ディー・エヌ・エー)、 村上 直輝 (株式会社ディー・エヌ・エー)
日時: 2025 年 7 月 23 日 (水) 14:40 ～ 15:40
会場: CEDEC2025 第 4 会場
カテゴリ: ENG (エンジニアリング) | レギュラーセッション | 公募

概要

本セッションでは、運営型ゲームにおける強化学習の実用化を通じて、ユーザー体験の向上を目指したエッジ AI の導入事例が紹介されました。

ゲーム開発においては、敵 AI や仮想プレイヤーを制御する手法として、これまでルールベースのアルゴリズムや探索木が広く用いられてきました。しかし、サービス運営型のゲームでは、ゲームロジックやマスターデータが日々更新されるため、定常的な振る舞いを前提とした手法では環境変化への追従が難しくなります。こうした背景を受けて、柔軟性と拡張性に優れた強化学習の導入が検討されました。

本事例では、サーバーサイド推論ではなくオンデバイス推論 (クライアント内で AI モデルを動作させる方式) を選択することで、通信回数の削減やリアルタイム性の向上といった運用上の課題を解決しています。モデル互換性の維持やデバッグの効率化といった実装設計上の工夫についても詳細に言及されており、ゲーム AI を実環境に組み込む際の実践的な視点に富んだセッションとなりました。

オンデバイス推論を支える技術設計

本セッションでは、強化学習を用いた AI を実際のゲームクライアントに組み込むための設計方針と実装上の工夫について、詳細な技術的知見が共有されました。とくにオンデバイス推論を前提とした設計は、エンジニアリング全体に大きな影響を与える要素となっています。

まず、オンデバイス推論の採用理由としては、通信回数の削減と応答速度の向上が挙げられました。サーバー側で推論処理を行う従来の構成では、AI の呼び出し時に毎回通信が発生し、処理の遅延やネットワーク負荷が問題になります。これに対し、クライアント側で推論処理を完結させることで、リアルタイム性とスケーラビリティの両立が可能になります。また、特徴量をクライアント内で直接取得できる点も、設計上の利点とされています。

AI モデルは ONNX 形式で保存され、ゲームクライアント上で直接読み込めるように設計されています。

特徴量は列 (カラム) 単位で管理されており、モデルの後方互換性を担保する仕組みが採用されています。これは、過去のモデルで定義されていなかった特徴量に対してはゼロ値を代入することで、旧モデルによる推論結果の再現性を保つという設計です。これにより、新旧モデル間の互換性を維持したまま継続的に機能拡張が可能になります。

学習データの生成においては、ユーザーの実プレイログの活用に加え、AI 同士による自己対戦やシミュレーションによって大量のプレイデータを生成しています。これらのデータは、分散処理ライブラリである HandyRL を用いて高速に学習へ投入されます。HandyRL は公開ライブラリであり、既存のインフラに容易に組み込める点が評価されています。

学習インフラには SkyPilot を用いることで、Kubernetes を使用せずに透過的にリソースをスケジューリングし、分散処理を実行しています。これにより、インフラ管理の手間を最小限に抑えながら、大規模なモデル学習をコスト効率よく行えるようになっています。

開発環境の構築においても工夫が施されており、Linux 環境でのゲームヘッドレス実行を実現することで、GPU インスタンスやスポットインスタンスを活用した柔軟なスケーリングが可能になっています。これにより、低コストかつ継続的なモデル更新サイクルを確立しています。

強化学習導入の成果

特徴量設計における後方互換性の担保により、将来的な仕様変更に対応しやすくなり、モデルの再学習コストを抑えることができました。また、スケール変換やテンソル化などの前処理をモデル内部に持たせる構成とすることで、推論ロジックの可搬性が高まり、デバッグや単体テストも行いやすくなりました。

推論処理をクライアント内で実行するオンデバイス推論の採用は、通信量の削減だけでなく、プレイ中の処理高速化にもつながりました。とくに、特徴量の収集と推論実行を同一環境で完結できる点は、実装上の分岐を減らし、構成の単純化にも寄与しています。

まとめ

本セッションでは、強化学習とオンデバイス推論を組み合わせたゲーム AI の実装事例が、技術選定から運用設計に至るまで包括的に紹介されました。特徴量設計の工夫や、ONNX 形式によるモデル互換性の確保、分散学習の効率化など、AI を実プロダクトに組み込む際の実践的な課題に対し、明確な技術的解法が提示されました。

とくに、環境変化に適応可能な強化学習モデルを、通信負荷の少ない形でクライアントに実装するというアプローチは、GaaS (Game as a Service) 型のゲームにおいて今後ますます重要になると考えられます。本事例は、エッジ AI の導入に踏み出したいゲーム開発チームにとって、汎用性と再現性に優れた技術的な足がかりとなる内容でした。