【レポート】Amazon Sumerian によるVR/AR/MRアプリケーションの開発 #AWSSummit
こんにちは、大前です。AWS Summit も2日目ですね。いろんなコンテンツがあってとても楽いです。
最近は様々なVRゴーグルが発売されたり、ARのスマホゲームが大流行したりと、「自分でVR/ARコンテンツ作ってみたいぞ！」な方もいらっしゃるのではないのでしょうか。
そんな折に、Day2のセッションである「Amazon Sumerian によるVR/AR/MRアプリケーションの開発」を受講したので、レポートを記載します。
本ブログは、AWS Summit 2019 day2のセッションレポートになります。
セッション概要
登壇者
アマゾン ウェブ サービス ジャパン株式会社
技術統括本部
ソリューションアーキテクト
大井 友三 様
概要
昨今、VR/ARといった技術をトレーニングや保守業務などビジネスの現場に活用を始めるケースが増えてきました。本セッションでは、Amazon Sumerian や他のAWSサービスとの連携によるVR/ARアプリケーションの開発と活用についてご紹介致します。
内容
- Amazon Sumerian紹介
- Amazon Sumerian活用シーン
- VR / AR / MR のアプリケーション作成の流れ
- デモ（Sumerian単体/他のサービスとの連携）
本セッションのターゲット
- Amazon Sumerianを利用するとどんなことができるのか知りたい方
- Amazon Sumerianを利用してどのようにVR/AR/MRのアプリケーションを作っていくのか知りたい方
Amazon Sumerianの位置付け
VR / AR / MRの定義
- VR(Virtual Reality) ... 仮想の世界に没入
- AR(Augmented Reality) ... 物理に仮想をオーバーレイ
- MR(Mixed Reality) ... 物理と仮想が相互作用
-> まとめてXR(Extended Reality)と呼称
XRのアプリを作るにあたって
- そもそも何が必要？どうやって作る？な悩みが多い
一般的なXRアプリケーション開発のプロセス
- アプリケーションの発案からユーザーの手元に届くまでに多くのステップを踏む
- 提供するプラットフォームが増えると、その数だけプロセスも増加してしまう
Amazon Sumerianによる開発プロセスの簡素化
特徴
- XRコンテンツを簡単に開発・配信するために必要なツールや配信基盤を提供
- Webブラウザベースの開発環境
- マルチプラットフォームの利用者環境
- Sumerian Host
- 他のAWSのサービスとの連携
Webブラウザベースの開発環境
- 通常 ... 専用のソフトウェアやグラフィックスカードなど先行投資が必要
- Amazon Sumerian ... 汎用的なWebブラウザだけで開発可能、従量課金
マルチプラットフォームな利用者環境
- 様々なデバイスでコンテンツを利用可能
- モバイルブラウザ
- デスクトップブラウザ
- VRヘッドセット
- ARプラットフォーム
Sumerian Host
- セリフに合わせて口を動かしたりジェスチャを行うキャラクター
- 現在8人
- SSML形式でセリフを記述することで、セリフに合わせた口の動きやジェスチャを行う
- Amazon Polly / Amazon Lexを用いて音声でのチャットボットにも応用可
他のサービスとの連携
- SDKがあらかじめ組み込まれているため、各種サービスのAPIを利用できる
- 例
- AWS IOTとの連携
- IoTのデバイスからデータ送信 -> Cognitoで必要な権限取得 -> スマートフォンやタブレット端末でIoTデバイスから送信されたデータ表示を行う
AWS Sumerianの活用シーン
NECソリューションイノベータ様 - AR Navigation System
- ARでの道案内
- Sumerian AR/VR Challengeの"Best Entertainment, Hospitality, and Media"を受賞
その他の事例
- バーチャル介護士による服薬、運動、バイタルチェックなどの支援
- VRでの株式情報などの提供
- 仮想的なコクピットを用いたトレーニングやシミュレーション
- 気象情報の可視化
XRアプリケーション作成の流れ
Sumerianでよく出てくる用語
- シーン
- Sumerianで作成されたコンテンツ
- エンティティ
- シーン内で実際に使用されているオブジェクト
- アセット
- シーンで利用することができるオブジェクト
- あらかじめ用意されているアセットも利用できる
- CADのデータを読み込んで利用することも可能
Sumerianでのアプリケーション作成
- Sumerianの基本操作
- シーンの作成から公開
- 空のシーンの作成 -> エンティティの配置 -> 公開
- 公開を押すとURLが生成される
- URLにアクセスすると作成したシーンブラウザで見ることができる
- ステートマシン
- キーボード操作などの状態変化を与えるための機能
- より複雑な状態変化が必要であればjavascriptを記述する
デモ
チュートリアルを応用することで、効率的に作成することができる
Sumerian単体で実現するデモ
- シミュレーション作成
- 危険体験（足場からの落下シミュレーション）
- 細い足場からマネキンが足を踏み外して落下するシーンを作成
- 実際のVRゴーグルなどで視聴するとかなり怖い
他のAWSサービスと連携するデモ
- ドローンのデジタルツイン
- 物理的な物を仮想の世界に再現する（双子を作る）こと
- IoT機器との連携
- Raspberry Pi
- SenseHat
- LEDディスプレイ制御
- エンティティ内でタップした天気のマークをLEDに表示する
- SumerianからステートマシンでAWS IoTにJSONデータを送信し、デバイス上に表示
- センサー情報の表示
- デバイス上で取得したセンサー情報をAWS IoT経由でSumerianに送信し、エンティティ上に表示
- 姿勢の追随
- Raspberry Piの姿勢をジャイロセンサーで検出し、エンティティでニアリアルタイムで表示する
- デバイス上のジャイロセンサー情報をKinesis Data Streamに送信しAWS Sumerianで表示
- ジョイスティックでのエンティティ操作
- ジョイスティックの入力情報をAWS IoTでSumerianに送信し、エンティティ内のオブジェクトを操作
Learning Amazon SumerianやYouTubeなどに多数のデモやチュートリアルが存在
まとめ
- Amazon Sumerianを利用することでAR/VRコンテンツを簡単に作成して阪神することができる
- あらかじめ組み込まれているAWS SDKを利用することで他のAWSのサービスと連携する事ができる
- チュートリアルを活用することで効率的に学習可能
セッションの感想
「VRやARのコンテンツって特殊なソフト持ってないと作れないんでしょ...？」な考えから、「Sumerianを使えばVRやARのコンテンツが気軽に作れるんだ！」に考え方をシフトチェンジできるセッションだと感じました。
自分で本格的なコンテンツを作るには、3Dモデリング周りの専門知識が必要になってくるとは思いますが、新たなVR/ARの門を叩くセッションとしてはとても良いと思いました。
VRやARは今後もいろんなコンテンツが世の中に生まれてきそうなので、Amazon Sumerianの知識もつけていきたいところです。
以上、AWS事業部の大前でした！
![[レポート] JJUG CCC 2024 Fallに行ってきました](https://devio2024-media.developers.io/image/upload/v1730277254/user-gen-eyecatch/awivhjatkofztrkayhdv.png)
