【セッションレポート】多人数不完全情報ゲームAIのための数理最適化と機械学習 #CEDEC2026
はじめに
CEDEC2026 で聴講したセッションのレポートです。相手の手札などが見えない不完全情報ゲームで、強い対戦 AI をどう作るのかという理論が、株式会社サイバーエージェントの研究者から解説されました。
セッションの概要は次の通りです。
- タイトル: 多人数不完全情報ゲームAIのための数理最適化と機械学習
- 登壇者: 阿部 拳之 氏 (株式会社サイバーエージェント Game AI Lab リサーチサイエンティスト)
- 日時: 2026 年 7 月 24 日 16:40 から 17:40
- 会場: 第 10 会場
不完全情報ゲームにおける強さとは
チェスや将棋のように盤面がすべて見える完全情報ゲームでは、先読みの木探索が有効です。一方、ポーカーや麻雀のように相手の手札や山札が見えない不完全情報ゲームでは、単純な木探索は使えません。
強い対戦 AI は、プレイヤーの相手になるだけでなく、ゲームのバランス調整や自動テストの基盤としても役立ちます。ただし、特定の相手に勝つように作り込んだ AI は、その相手に対策された途端に勝率が急落します。じゃんけんで特定の手ばかり出す相手に合わせて勝ちにいくと、相手が変えてきた瞬間に負けるのと同じです。つまり、特定の相手に強いことと、どんな相手にも強いことは違います。
そこで登場するのが、ナッシュ均衡という考え方です。これは、どのプレイヤーも自分だけ戦略を変えても得をしない、という釣り合いのとれた戦略の組を指します。特に 2 人で勝ち負けが決まる二人零和ゲームでは、均衡にあたる戦略は、最悪の相手に対しても一定の成績を保証してくれます。じゃんけんでどの手も 3 分の 1 ずつ出す戦略が、どんな相手にも 5 割を確保できるのが分かりやすい例です。この崩れにくい戦略を学習することが、強い AI づくりの目標になります。
ナッシュ均衡をどう学習するか
均衡の計算は一般には非常に難しく、多くの場合、現実的な時間では解けないことが知られています。ただし二人零和ゲームは例外で、効率的に計算でき、数理最適化の問題として定式化できます。
とはいえ、現実のボードゲームやカードゲームは規模が大きく、直接解くのは困難です。そこで、ゲームを繰り返しプレイしながら戦略を少しずつ更新して、均衡に近づけていくオンライン学習が使われます。相手の戦略を知らなくても、プレイした結果だけを手がかりに各自が独立して更新できるため、大規模なゲームにも広げやすい手法です。
代表的な手法が、過去の後悔 (リグレット) の大きい行動を選びやすくしていく Regret Matching です。これを不完全情報ゲームの木構造へ拡張したものが CFR (Counterfactual Regret Minimization) で、ゲーム全体の後悔を場面ごとの小さな後悔に分解して抑えていきます。この CFR は、ポーカーで人間を超えた Libratus や Pluribus といった AI の中心的な部品になっています。
大規模なゲームへ広げる機械学習
さらに大きなゲームでは、場面ごとの戦略をニューラルネットワークで近似する関数近似が使われます。ただし、この方法にはいくつかの難しさがあります。学習の過程で戦略が均衡の周りをぐるぐると循環し、収束しないことがあるのです。お互いが相手に勝てる手へ更新し続けると、じゃんけんのように一周して元に戻ってしまうためです。
この対策として、利得に正則化という項を加え、参照する戦略から離れすぎないようにする方法が紹介されました。これにより、更新している戦略そのものを均衡へ向かわせられます。さらに、参照する戦略を少しずつ更新し直していくことで、本来のゲームの均衡へ収束させられます。この考え方は、相手の駒の正体が隠れたまま進む Stratego で人間を超えた DeepNash にも使われています。
感想
派手な最新手法というより、多人数不完全情報ゲームの AI を支える土台となる考え方を、順を追って解説する発表でした。特定の相手に強いだけでは足りず、どんな相手にも崩れない強さをナッシュ均衡として数学的に捉え直すという視点は、対戦 AI を設計するうえでの出発点になる考え方だと感じました。
