MatterportのスキャンデータをAWS IoT TwinMakerにインポートしてみた #reinvent

こんにちは、CX事業本部 IoT事業部の若槻です。

本エントリのアイキャッチの通り、つい先日開催されたAWS re:Invent 2022のキーノートでWerner氏がMatterportとAWS IoT TwinMakerの連携について触れる場面がありました。

それにインスピレーションを受けてMatterportやIoT TwinMakerを最近触り始めました。その一環で今回は、MatterportのモバイルアプリでスキャンしたデータをAWS IoT TwinMakerにインポートしてみました。

やってみた

Matterportでスキャンデータを作成

スキャンデータは下記エントリで作成したものを使用します。

• [AWS IoT TwinMakerへもインポート可能！] Matterportで自宅の部屋の3Dデータを作成してみた #reinvent | DevelopersIO

自宅廊下をMatterportのモバイルアプリでスキャンした3Dデータです。

コンソールでビューを閲覧している様子。

MatterPakバンドルのダウンロード

Matterportでは、AWS IoT TwinMakerなどのThird-partyにデータをインポートしたい場合は、スキャンデータをMatterPakバンドル形式に変換した上でダウンロードする必要があるので対応します。

ちなみにMatterPakバンドルがダウンロード可能となるのはStarterプラン以上となります。今回使用するアカウントのプランはStarterです。

インポートしたいスキャンデータ（Space）をクリック。

[ADD-ONS]タブでMatterPakを選択。

[Get]をクリック。

[Purchase]をクリックして購入。

するとダウンロードできるようになりました。

[DOWNLOADS]タブからもダウンロードできるようになっています。[Download]をクリック。

MatterPakバンドルデータ（.zip）をダウンロードできました。解凍してみると3DデータとなるOBJファイルが確認できます。

AWS IoT TwinMakerにインポート

以前投稿した下記エントリを参考にMatterPakバンドルをAWS IoT TwinMakerにインポートします。

• MatterportのOBJモデルをGLTF形式に変換してAWS IoT TwinMakerにインポートしてみた #reinvent | DevelopersIO

まず以前作成したデータ変換パイプラインを使用して、スキャンデータをMatterPakバンドル形式からgLTF形式に変換します。

前節でダウンロードしたzipファイルをS3 Bucketにアップロード。

少し待つとgLTF形式に変換されたファイルが出力されました。

ここからIoT TwinMakerコンソールでインポートを行います。

インポートを行いたいシーンで[+ > Add 3D model]を選択。

先程出力されたファイルを選択して[Add]。

モデルがロードされましたがこの時点では真っ黒です。

[+ > Add light]をクリック。

光源が追加されました。モデルの中に色が付き視認できるようになりました。

モデルおよび光源の位置と角度を調整します。

我が家の廊下と分からなくはないですが、Matterportのビューで見たときと比べて解像度はかなり低くスカスカな感じですね。スマホアプリでのスキャンだとこれが限界でしょうか。

おわりに

MatterportのモバイルアプリでスキャンしたデータをAWS IoT TwinMakerにインポートしてみました。

一連の手順は確認できましたが、3Dモデルとしての出来上がりはちょっと残念な感じになってしまいました。もっと上手くインポートする方法があるのか、もしくは専用カメラを使えば良いのかもっと試行錯誤が必要そうです。引き続きやってみます。

以上