自動運転用途でCosmos3の動画生成を試してみた
NVIDIAのCosmosで自動運転向けの動画生成を3パターン試してみました。text2videoやimage2videoによるシーン生成から、行動条件付きの未来予測「forward_dynamics」まで、それぞれの役割と限界を検証結果を交えて解説します。
2026.07.10
はじめに
NVIDIAのCosmos 3で自動運転まわりで役立ちそうな動画生成を3種類ためしてみました。
今回試した内容は以下の3つです。
- ① text2video: 運転シーンを生成する（学習用の合成映像づくり）
- ② image2video: 1枚の運転フレームから「この先どうなるか」を予測する
- ③ forward_dynamics: 「この操作をしたらこうなる」を予測する
同じ「動画が出てくる」でも、①②と③は役割がまったく違います。
今回はこれらを一つずつ試してみたので、その記録を書きます。
環境
| 項目 | 内容 |
|---|---|
| インスタンス | p5.48xlarge（NVIDIA H100 80GB × 8） |
| モデル | nvidia/Cosmos3-Super |
| 実行 | 公式 cosmos-framework |
環境構築の記録はこちら
① text2video: 運転シーンを生成する
まずはテキストから運転シーンの動画を生成してみます。学習用データが足りないケースで合成映像で補おう、というケースですね。
{"model_mode":"text2video","prompt":"<運転シーンの記述>","num_frames":121,"fps":24,"aspect_ratio":"16,9","resolution":"720"}
- 生成映像は主観的には大きな破綻が目立ちませんでした。
② image2video: 1枚のフレームから未来を予測する
次は、運転中の1フレームを入力して「この先どう展開するか」を動画で予測させます。
{"model_mode":"image2video","prompt":"<continue the driving scene>","vision_path":"<運転フレームjpg>","num_frames":121,"fps":24,"aspect_ratio":"16,9","resolution":"720"}
- 入力フレームを起点に、もっともらしい数秒後を生成してくれます。
- ただしこれは受動的な予測です。どういった操作をした結果の未来かを指定できるわけではなく、"放っておいたらこうなりそう"というシナリオです。
③ forward_dynamics: 行動条件つき世界モデル
forward_dynamicsモードは、開始フレーム＋行動系列（自車の動き）を条件に、その行動を取った結果の未来フレームを予測生成します。アクション系列は action.json で与えます。
{"model_mode":"forward_dynamics","prompt":"...","vision_path":"<開始フレーム>","action_path":"<アクション系列>"}
- これは①②と異なり、入力した行動に条件づけて「その行動を取った結果の未来」を生成するモードで、行動を差し替えれば返ってくる未来も変わります。
- 今回は公式のサンプル映像を入力として使用して、予測動画を生成しました。このサンプルは、6.1秒のドライブ映像と、その走行の自車の動きを記録した行動系列（9次元×60step）がセットになっています。ここから先頭2フレームと、その走行の行動系列を条件に、61フレーム（6.1秒・10fps）を予測生成しました。渡したのは元の走行の動きそのものなので、出力は元の走行をなぞった映像になります。
- 今回できたのは「記録どおりの操作を与えて、その走行を再現する」ところまで。これは生成の精度を見る目的で実施しました。操作を差し替えて別の未来を出すという使い方までは、インスタンスの予約時間切れで到達できませんでした。こちらについては再度検証をし、別の記事として公開します。
まとめ
次回以降で、forward_dynamicsでの未来生成をやってみます。
Built on NVIDIA Cosmos. 生成物はnvidia/Cosmos3-Super（OpenMDW-1.1）を使用しています。
