動画から3Dシーンを生成するAI「3D Gaussian Splatting」を試してみた

3D Gaussian Splatting(以下3DGS)とは、複数の視点から撮影した画像から、3Dシーンを作成する手法です。以下は公式が用意したサンプル動画です。生成した3Dデータをレンダーすると、ドローンで撮影したかのような映像も作れます。

ここからは実行手順を書いていきます。3DGSの動作要件は以下です。

ハードウェア要件

• Compute Capability 7.0以上の CUDA 対応 GPU
• 24 GB VRAM (推奨)

ソフトウェア要件

• Conda (推奨)
• PyTorch拡張用のC++コンパイラ
• PyTorch拡張用のCUDA SDK 11
• C++ コンパイラ

iPhoneで動画を撮ります。その動画をMacに送ってffmpegを使って、複数枚の画像を取り出します。

ffmpeg -ss 0 -i video.mp4 -t 30 -r 4 -q:v 1 -f image2 %06d.jpg

ffmpeg -ss [開始時間] -i [入力ファイル]　-t [切り出す時間範囲] -r [1秒間から切り出す枚数] -q:v [出力画像の品質(1が高画質)] -f image2 %06d.jpg

次に、colmapという複数の写真からカメラ位置や向きを推定してくれるツールを使って、データセットを作成します。
colmapもcolab上で動かしたかったのですが、自分のやり方が悪かったのかソースコードからビルド、実行すると何故か著しく精度が低くなりました。そこでMacで実行可能なappファイルが配布されていたので、そちらを使ってローカル環境でデータセットを作成しました。
自分はCOLMAP-3.5-mac-no-cuda.zipを利用しました。それ以上のバージョンだとうまく動作しなかったです。

ローカルで動かした場合は、このエラーが出て、カメラのモデルをSIMPLE_PINHOLEに変更する必要がありました。 自分はFILE > Export model as text でテキスト形式で出力したファイルを編集して、SIMPLE_PINHOLEに変更して再度インポートすることで解決しました。

Colab上でGPUを選択します。
ランタイム > ランタイムのタイプを変更 > T4 GPU

スペック確認

一応スペック確認をする場合は、以下のコマンドでColabで割り当てられたGPUのスペックやcudaのバージョンを確認できます。
Colabでは先頭にビックリマークをつけるとLinuxコマンドとして実行されます。

!nvidia-smi
!nvcc -V

NVIDIA Tesla T4 16GB GDDR6メモリ
Compute Capability 7.5
Cuda v12.2

colabのGPUだと、VRAMが24GBまで足りず16GBしかありませんでした。ですがVRAMが少なくても3DGSを動かすことは出来ます。もしメモリ不足で不具合が発生する場合は、READMEに対処法が書いてあり、メモリの使用量を抑える設定ができます。

インストール

3DGS本体と、サブモジュールのインストールを行います。

%cd /content
!git clone --recursive https://github.com/camenduru/gaussian-splatting
!pip install -q plyfile
%cd /content/gaussian-splatting
!pip install -q /content/gaussian-splatting/submodules/diff-gaussian-rasterization
!pip install -q /content/gaussian-splatting/submodules/simple-knn

colmapで作成したデータセットをColabに転送したあと、3DGSの学習を行います。

!python train.py -s /content/colmap_ws

学習した結果出力されたデータを閲覧できるビューワー(SIBR_viewers)がありますが、colabだとディスプレイを認識しない関係でエラーが出てインストールできませんでした。そこで3DGSから出力されたデータを一度ローカルに落として、こちらのリポジトリにあるcolab上で動かせるビューワーを使いました。ブラウザにplyファイルをドラッグするとファイルを閲覧できます。