iOS16のRoomPlan APIを使って室内の家具を一気に入れ替える映像

 
iOS16で利用可能になる「RoomPlan」APIを使って、iPhoneで3Dスキャンした室内にある家具を消すデモ映像が公開されました。全ての家具を一気に消すだけでなく、選択した家具だけを消すことも可能です。

iOS16では3Dスキャンが簡単に

iOS16では、LiDARスキャナ付きiPhoneやiPad Proで室内をスキャンすることで、3D見取り図を簡単に作成できる「RoomPlan」APIが動作します。
 
Shopifyの拡張現実（AR）/仮想現実（VR）エンジニア、ルース・マシュマイヤー氏が、 RoomPlan APIを使ったデモンストレーションの動画を公開しています。
 
ディスプレイやスピーカーの乗った机、椅子、観葉植物が置かれ、窓にはカーテンのかかった部屋をスキャンします。
 

 
一瞬で、何もない部屋に変わってしまいました。壁に取り付けられていたエアコンも含めて、完全に消えています。ゼロから部屋の配置を検討するのに役立ちそうです。
 

 

Lots of interest in this “reset button” for your room we built @Shopify that uses @apple’s new #RoomPlan API. Here’s how we built it… 👇 🧵1/12 pic.twitter.com/YdNP1vebVW

— Russ Maschmeyer (@StrangeNative) July 13, 2022

 
家具は、種類だけでなく大きさ、向きも含めて認識されます。
 

AR makes it easy to try new couches, but the couch already in your space can get in the way. What if every room had a reset button? Space Eraser models spaces in high-fidelity—capturing room-defining objects, their size, position, orientation… [2/12] pic.twitter.com/JeXDFqd2W5

— Russ Maschmeyer (@StrangeNative) July 13, 2022

 
個別の家具を選んで消すことができます。
 

Live pixel data combines with LiDAR depth data to enable a lifelike digital twin of your room that can be overlaid onto your real space using AR and then edited digitally… [3/12] pic.twitter.com/3Nu1ph0aXz

— Russ Maschmeyer (@StrangeNative) July 13, 2022

 
カウチソファだけを入れ替えるなど、買い替えを検討する際に便利そうです。
 

With a digital twin of your room and your furniture you could simply swipe your original sofa away to explore options that better match the rest of the room… [5/12] pic.twitter.com/aTcGvgsfmC

— Russ Maschmeyer (@StrangeNative) July 13, 2022

LiDARとカメラを同時に利用してテクスチャ情報も取得

マシュマイヤー氏は、RoomPlan APIで出力される3Dデータには壁やドアなどのテクスチャ情報が含まれないため、LiDARスキャナでのスキャンと同時にカメラとSceneKitを使って映像を読み込むことでテクスチャ情報を生成することにした、と開発の苦労も語っています。
 

This approach creates issues when furniture obscures a surface. In video above 👆, our couch obscured the wall. #RoomPlan provides bounding box references for room-defining objects. With this we can determine what parts of the texture to redact. [10/12] pic.twitter.com/gW7XgaIQXc

— Russ Maschmeyer (@StrangeNative) July 13, 2022

iOS16正式版は今秋公開予定

iOS16は、現在開発者向けベータと登録ユーザー向けパブリックベータがリリースされており、一般ユーザー向けの正式版は今秋に公開される予定です。

 
 
Source:Russ Maschmeyer（＠StrangeNative）/Twitter via 9to5Mac
(hato)