CVPR 2026 〜コンピュータビジョン分野の世界最高峰の国際会議〜
2026年6月にコンピュータビジョン分野最高峰の国際会議 CVPR 2026が開催されました。
コンピュータビジョンとは、コンピュータに画像や動画を見せて人間のように理解させる技術です。自動運転、AR/VR、画像編集、製造業の外観検査、医療画像診断、文字認識などのジャンルで役立ちます。
本記事では受賞論文を中心に4本をピックアップします。
1. D4RT — 動画を撮るだけで「動く3D空間」が手に入る
論文著者: Google DeepMind、UCL、Oxford
最優秀論文賞
D4RTは、一言で言うと、動画から時間軸を持った3D空間を再構成するAIモデルです。
このページの「Interactive 4D Reconstruction」というセクションがイメージしやすいです。このセクションでは出力結果をドラッグして視点の角度を自由に動かせます。入力動画を元に、静的なもの=背景の地形に対しては3D点群として再構成が行われており、動的なもの=ダンスする人に対しては、3D点群として再構成された上で虹色の線で軌跡が描かれています。少し荒いのはデモ用に点群データが最大90%削減されているためです。
残念ながら現時点でソースコードは未公開なので手元で試すことはできません。
D4RTの特長
- 「別々の道具」を1つにした — 深度推定・カメラ位置推定・点の追跡は、これまで別々のツールを繋いで解いていた。D4RTは1つのモデルへの「問い合わせ方」を変えるだけで全部できる
- 「動くもの」を敵から味方にした — 従来技術は動く人や車を「ノイズ」として除去するか、騙されて破綻するかだった。D4RTは動くものを動くものとして追跡・再構成できる
- 桁違いに速い — 従来10分かかった1分の動画の処理が約5秒。カメラ位置推定は従来比9〜100倍の200FPS超
応用先
筆者の私見を含んだ将来的な応用先のアイディアです。
- 自動運転・ロボット・ドローンの空間理解
- カメラ映像から「歩行者がどこへ動いているか」を含めて空間を把握して障害物回避を補助
- 動的環境でのAR
- 目の前を横切る人の背後にAR表示を正しく隠したり、人混みのような動的な環境でもARの位置合わせが破綻しにくくなる
- スポーツの自由視点リプレイ
- 選手の動きをスマホで撮り、「別アングルからフォームの確認」が個人レベルで可能になる。ゴルフスイングやダンスの練習アプリで、プロとの詳細なフォーム比較など
- 3Dスキャン
- 不動産向けに動画を元に自由に移動できるバーチャルな部屋の作成
- Googleストリートビューの3D版
2. TRELLIS.2 — 高品質3Dアセットが作れるオープンモデル
論文著者: 清華大学、Microsoft Research、中国科学技術大学(USTC)、Microsoft AI
最優秀学生論文賞
TRELLIS.2は、一言でいうと「画像から高品質のテクスチャ付き3Dモデルを生成するオープンソースのモデル」です。
このページの先頭に「Demo」と書かれたhugging faceへのリンクがあり、誰でもすぐに試すことができます。
TRELLIS.2は、生成される3Dモデルの品質が既存の商用サービスと同等以上と評価されていながら、学習済みモデル・学習コードまで公開されています。推論も高速で、動作環境を満たすGPUさえあればローカルで生成し放題になります。しかし商用利用には注意が必要で、TRELLIS.2自体はMITライセンスですがNVIDIA製ライブラリに依存しており、そちらが非商用のライセンスです。
TRELLIS.2の特長
- 布のような薄い面も表現可能 — 従来のAI 3D生成は、風船のように内と外の境界で形を作る方式のため、葉っぱや布のような薄い面、鋭い角が苦手だった。TRELLIS.2は新表現「O-Voxel」でどんな形も素直に作れる
- 「形」と「質感」を同時に作る — 従来は形を作ってから色を塗る2段階でズレが生じた。TRELLIS.2はブロック1つ1つに形と質感(色・金属感・ツヤ・透明度まで)を一緒に記録するのでズレない
- 圧縮でスケールを勝ち取った — 巨大なボクセルデータを要点だけ残して約16分の1に圧縮する専用AI(VAE)を開発し、40億パラメータの大規模モデルでの学習を成立させた。結果、H100で512³が約3秒という速度も実現
面白そうだったので、私も某ラーメン屋さんの画像を渡して試してみました。ゲームのアセットとしては十分な精度で、1分以内に生成できました。ただし角度を変えるとお皿が欠けていたり、色味が少し違うなど少し気になるところもありました。設定を変えたり、料理以外の画像だと精度が高くなるかもしれません。
3. SAM 3D — 写真1枚が「3Dシーン」になる
論文著者: Meta Superintelligence Labs
最優秀論文賞 次点
SAM 3Dは2つのモデル(SAM 3D objects / SAM 3D body)の総称です。
それぞれを一言で表すと以下です。
- 「1枚の写真から、写っている複数の物体をそれぞれ3Dモデル化するAIモデル」
- 「1枚の写真から、人物の姿勢・体型を3Dモデル化するAIモデル」
両モデルともコード・学習済みモデルが公開されており、独自ライセンス(SAM License)の下で商用利用も可能です。
SAM 3Dの特長
SAM 3D objectsでは画像内の物体をマスクで指定すると、テクスチャ付きの3Dモデルを生成します。写っていない裏側まで生成してくれます。物体の向きと位置も同時に推定するので、元の写真の通りの配置でシーン全体を再現できます。
SAM 3D bodyでは画像内の人物の全身3Dメッシュを、手の形や体型まで含めて復元します。体の一部が隠れていても推定してくれたり、複数人が写っていても指定した人物だけを、画像内での位置関係も含めて再現してくれます。
このリンク先のページで両方試せました。サンプル画像が用意されていて、簡単な操作で数秒で生成できました。複雑な画像だと無関係な箇所までマスクされて選択が手間な時がありました。TRELLIS.2ほど画像の細部まで再現されないものの、形状としては綺麗で欠けのないものが出力できました。
4. SliderEdit — AI画像編集に「つまみ」が付く
論文著者: University of Maryland / Adobe Research
論文採択(Oral)
AI画像編集時に「もっと明るく」といった編集指示の効き具合を、スライダーで調整できるようにする技術です。
このページでデモがあるので試せます。コードも公開はされていますが、ライセンスファイルが無く商用利用は避けるべき状態です。
SliderEditの特長
画像生成では指示内容の効き具合はテキストプロンプトで調整するしかなく、細かい調整が難しいです。その課題に対して、指示の効き具合をスライダーとして操作可能にしています。
「背景を夕方に+人物を笑顔に」のような複合指示でも、それぞれ独立したスライダーにできるため、細かい合わせ込みが可能です。
感想
個人的に以前から、カメラ映像を元に三次元を再構成するような技術に興味がありました。カメラ映像には奥行き情報がないのに立体ができるのは面白いです。
D4RTでは、ついに動的環境の映像にも対応し始めたのをみて、時代が進んでいるなと感じました。自動運転分野への応用も期待できそうです。さすがGoogle DeepMindだなと思いました。
今回取り上げた4本の研究元を見ると、Google DeepMind、Microsoft、Meta、Adobeと世界的なテック企業が並んでいます。大規模なモデルの開発は、予算(計算資源)やデータセットが必要となるため、大きなテック企業が強いようです。
発表から日の浅い技術で商用利用可能なものがあれば、アプリに組み込むと先行者として話題性があると思います。
オープンモデルでも、個人開発者がホスティングしてサービスとして展開しようと思うとインフラ費用が掛かります。かなりリクエスト数が多いなら採算が取れますが、そうでないうちはモデルをAPIとして提供しているサービスを利用すると良さそうです。
今回紹介したTRELLIS.2やSAM 3Dについても、サービスとしてAPIを提供している企業があります。アプリに利用する何か良いアイディアがあれば試してみて下さい！
