iPhoneのLiDARを利用してMatterportアプリによる3Dスキャンをしてみた

こんにちは、CX事業本部 IoT事業部の若槻です。

現実世界の高精細なデジタルツインを作成できる空間データプラットフォームであるMatterportでは、iOS向けモバイルアプリでLiDARによる3Dスキャンをサポートしています。

• Matterport for iPhone with LiDAR Support is Here | Matterport

Today, we’re happy to announce that our latest Matterport Capture app release 4.1 includes beta support for the LiDAR-enabled iPad Pro, iPhone 12 Pro and Pro Max. By downloading our app, we’re making it quick and easy to capture accurate 3D spaces for owners of these Apple products. Although it’s a beta release, we invite you to capture any environment to see how it does.

LiDAR（Light Detection And Ranging もしくは Laser Imaging Detection And Ranging）は、対象物に光を照射することにより測距を行うリモートセンシング技術です。

今回は、iPhoneのLiDARを利用してMatterportアプリによる3Dスキャンをしてみました。

完成したもの

まずはじめに今回試した結果完成したものはこちらになります。

Matterportにアップロードされた3Dモデルデータはembed機能を利用して埋め込むことができます。

端末はiPhone 12 Proを使用

今回使用した端末は「iPhone 12 Pro」です。LiDARアプリを使ってみたくて最近じゃんぱらで中古品を入手しました。

• iPhone 12 Pro - 技術仕様 (日本)

LiDARスキャナは12 Pro以降のiPhoneおよびiPad Proのカメラに備わっており、ARアプリや3DスキャンアプリがこのLiDARを利用してより精度の高い空間認識を行うことが可能になります。

前回のエントリでは非LiDARのAndroid端末でスキャンを行いました。非LiDAR端末でもそれなりに精細な3Dモデルは作成できましたが、LiDAR端末を使うことにより3Dモデルの品質がどのように変わるのかを確認してみます。

Matterportアプリでスキャンしてみる

App StoreからMatterportアプリをインストールします。

スキャンは前回と同じく自宅廊下で行います。

アプリでスキャンをしてみます。方法はAndroidアプリと同じで、撮影者はカメラ画像上に表示されるポイントを次々追ってその場でグルっと一周するだけです。

スキャンが完了したら、スキャンデータをクラウドにアップロードします。（画面右上でLiDARによるスキャンが行われたことが示されていますね）

Matterportのクラウドにスキャンデータがアップロードされました。処理が完了するまで少し待ちます。この時MatterportのCortex AIの3D処理エンジンにより、2D写真やLiDARによる測距情報をもとにした3Dモデルの生成処理が行われています。

処理が完了したらビューワーで3Dモデルが見れるようになります。

結論から言うと、iPhoneで撮影した方が高品質な3Dデータを作ることができました。（ただしそれがLiDARによるものなのかは一概には言えなさそうです）

まず3Dモデルの解像度（というよりは物体の表面の情報量）についてはiPhoneで撮影したものの方が明らかに高いですね。ただしこれはカメラ自体の性能の違いによるものかも知れません。

2D写真のつなぎ目の処理についても、まだ少しは違和感はありますがAndroidほど崩れてはいません。ただしこれに関しては3D処理エンジンの改善の影響もあるかも知れません。

測距はどうでしょうか。実物玄関ドアの幅を測ってみると85cmでした。

3Dモデル上で測距をしてみると、それぞれ90cmと83cmでした。iPhoneの方が精度が低いという結果となってしまいました。（ここはLiDARによる測距の本領発揮ポイントだと思っていただけに拍子抜けしました）

補足

Scan Option

ちなみにScan OptionとしてLiDARの使用有無や天井の撮影有無などを指定できます。

これらのパターンはまたの機会に試してみます。

AWS IoT TwinMakerへのインポートは高いので諦めた

MatterportのスキャンデータをAWS IoT TwinMakerへインポートするためにはOBJ形式でダウンロードをする必要がありますが、1データにつき5900円と高額でしたので諦めました。

Android端末でスキャンしたデータのインポートについては以前やってみた記事があるので興味があればご覧ください。

• MatterportのスキャンデータをAWS IoT TwinMakerにインポートしてみた #reinvent | DevelopersIO

おわりに

iPhoneのLiDARを利用してMatterportアプリによる3Dスキャンをしてみました。

Android端末でのスキャン時との比較をしつつやってみましたが、LiDARによる測距がとてもすごい！という実感は得られませんでしたが、前回に比べて明らかに高品質な3Dデータを作ることはできました。

なにはともあれ、せっかくLiDAR付きのiPhoneを手に入れたので家に引きこもらずにもっと外に出て色々な場所やモノのスキャンも試してみたいと思います。

以上