【iOSDC Japan 2024 レポート】DAY2「visionOSで空間演出を実現する方法」を聞いてきた。
2024.08.26はじめに
年に一度のiOSエンジニアの為のお祭りiOSDC Japan 2024に参加しています。
せっかくなので、参加したセッションのレポートを書きたいと思います。
visionOSで空間演出を実現する方法
登壇者
- 服部 智さん
概要
Apple Vision Proには、2D動画を再生するとその場面に応じて現実空間に対して演出効果が表示されるという、
とても面白い機能を持つアプリがあります。例えば、突然飛行機が上空を通り過ぎたり、周辺がヨーロッパの街並みに変わったり、たくさんの風船が表示されたり。
グラス型端末の没入感と相まって、これまでとは一線を画した斬新な体験です。
この面白い機能はどうやって実装するのでしょう。
何がきっかけで演出が始まるのでしょうか？
演出はどう作るのでしょうか？
動画のスキップ、一時停止には対応しているのでしょうか？これらの疑問に答えるため、このセッションでは、Swiftネイティブの環境でその機能をいくつか実装していきます。
作業手順を説明しソースコードを解説し、ライブデモを行います。具体的には以下の内容をカバーします：
- HLS動画へのmeta data埋め込み
- OSCによる外部からの制御
- 演出開始、任意発火、発火制御ボタンの実装と作法
- 周辺を変える演出、戻る演出
- Particleによる演出
このセッションを通じて、参加者は実際にvisionOSでの空間演出を実装するための具体的な手法を学び、自分で独自の体験を作り上げるスキルを身につけることができます。
visionOSの可能性を知り、今後も体験が進化していくワクワクを届けたいと思います。
引用: fortee
資料
感想
このトークでは、Apple Vision Proを使った空間的な演出事例が紹介され、具体的な実装方法が解説されました。
登壇者の服部さんは、visionOS 300DaysというリポジトリのオーナーとしてvisionOSでの実装やTipsを共有されていたり、
Apple Vision Pro開発に関する書籍を出版されています。
今回のトークの中で空間表現が面白いアプリとして、GUCCIアプリの一例を挙げており、動画の進行に従って空間表現を表示する方法と実装を解説していただけました。
「アパレルブランドがどうやって、Apple Vision Pro アプリに参入するのか？」 と疑問に思っていたのですが、GUCCIのような一例を紹介していただき、そのような参入方法があるのかと勉強になりました。
表現方法を紹介した上で、実際にどうやって同じような表現を実装するのか、2D動画と現実空間を融合させるエフェクトの作り方、特にメタデータを利用した制御やパーティクルを用いた演出の詳細が示され、非常に実践的な内容でした。
紹介していただいた内容はざっくり下記のような感じで
- 動画を作成
- 動画にメタデータを埋め込み
- 動画を配置
- パーティクル表現を作成
- ViewModelをそれぞれ作成
- 透明度0で表現を配置
- メタデータが取得されたらアクションを生成
- アクションが変更されたら、パーティクル表現の表示、非表示
Visio Proでの実装に関わる情報が少ない中、こういった試行錯誤を共有していただけるのはとてもありがたいです、、皆さんにもパーティクルの演出を色々試していただき、visionOSのコミニュティで情報を共有しあい知見を増やしていきたいとのことでした。
表現に関する細かい数値は実際に実機で体験しながら調整する必要があるとのことでした。
最後には、実際のApple Vision Pro上で動作させたデモを見せていただきました。特にビデオ映像で花火が流れている間、目の前に花火が沢山打ち上げれる演出はとてもカッコよかったです。あんな実装できたら楽しいだろうな、、
おわりに
Apple Vision Proがとても欲しくなりました、、Apple Vision Proをもっと欲しくなりたい人にオススメのトークです。
![[SwiftUI] iOS 17以降の@Environmentまとめ](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-291ab56731465588aade0a1c471324b7/8ec78a461f25144ed01585a448b8974b/swift-ui-eyecatch.png)
