iPhone11の「Deep Fusion」、iOS13の次期ベータで利用可能に？

 
iOS13.2と見込まれる、iOSの次期開発者向けベータで、iPhone11、iPhone11 Pro、iPhone11 Pro Max向けの画像処理システム「Deep Fusion」が利用可能になると報じられています。

iOS13.2のベータで提供か

Appleが近日中にiOS13.2の開発者向けベータをリリースし、新機能「Deep Fusion」が提供される、と米メディアThe Vergeが伝えています。
 
Deep Fusionは、iPhone11、iPhone11 Pro、iPhone11 Pro Maxに搭載されたA13 Bionicプロセッサを活用し、室内の光でもきめ細かい写真が撮影できる画像処理システムです。
 
Appleは、iPhone11 Proを発表した際、Deep Fusionについて以下のとおり説明しています。
 

この秋後半に登場するDeep Fusionは、A13 BionicのNeural Engineによって可能となる新しい画像処理システムです。Deep Fusionは高度な機械学習を使って写真のピクセル単位での処理、写真のすべての部分の質感、細部、ノイズの最適化を行ないます。

 
iPhone11シリーズの発表イベントでは、Deep Fusionの活用例として、ニットの生地が精密に描写された写真が示されました。

ユーザーに意識させないように作られたDeep Fusion

iPhone11シリーズのカメラには、機械学習を活用した3つの撮影モードが用意され、カメラと連携して機能します。
 

• 標準（広角）カメラで撮影する場合、中間以上の明るさで撮影する際には、スマートHDRが使われます。中間よりも暗くなるとDeep Fusionが、さらに暗くなるとナイトモードが作動します。

 

• 望遠カメラは、主にDeep Fusionで撮影します。非常に明るい場面ではスマートHDRが、暗い場面ではナイトモードがそれぞれ用いられます。

 

• 超広角カメラは、スマートHDRにのみ対応し、Deep Fusionやナイトモードには対応していません。

 
Deep Fusionは、ナイトモードと違って作動中であることを示すアイコンはなく、ユーザーが意識しないうちに動作します。
 
また、写真の撮影情報を記録したEXIFでも、Deep Fusionの使用情報は記録されないそうです。
 
AppleはThe Vergeに対して、ユーザーがDeep Fusionを意識せずに使い、iPhoneのカメラに任せるときれいな写真が撮れたと思ってもらえるよう、意図的にDeep Fusionの存在を感じさせないようにしている、と説明しています。
 

 

Deep Fusionの高度な画像処理プロセス

AppleはDeep Fusionの仕組みについて詳細を発表していませんが、The VergeがAppleから得た情報によると、非常に高度な画像処理が行われています。
 

1. ユーザーがシャッターを押す前に、iPhone11シリーズのカメラは、高速シャッターで4枚の画像を撮影し続けます。シャッターボタンが押されると、細部を撮影するために長時間露光で1枚を撮影します。

 

2. 高速撮影した3枚と、長時間露光の1枚が、Appleが「人工的長時間露光」と呼ぶ1枚に合成されます。この処理が、スマートHDRとの大きな違いです。

 

3. Deep Fusionは、短時間露光で撮影した写真のうち最も細部が撮影できた1枚を選び、「人工的長時間露光」で生成した1枚と合成します。

 

4. 画像は、細部が表現できるようピクセルごとに色調や明るさが処理されます。特に、肌、髪、布地などに精密な表現ができるような処理が行われます。

 

5. これらのプロセスを経て、最終イメージが生成されます。

Deep Fusion、処理の所要時間は約1秒

複雑な画像処理を行うため、Deep Fusionでの画像生成には、約1秒の時間がかかります。
 
そのため、Deep Fusionの処理が進行中にカメラロールで画像を開くと、一時的に暫定版のイメージが表示され、処理の完了後に最終イメージが表示されます。
 
Appleによると、カメラロールに切り替えてから、最終イメージ表示までの時間は0.25秒から0.5秒もかからないそうです。

存在感の薄くなったバーストモード

iPhone11シリーズでは、バーストモードの存在感が薄くなっています。これは、ナイトモード、スマートHDR、Deep Fusionの撮影が、いずれも複数画像を合成する処理を行うためです。
 
なお、iPhone11シリーズでは写真撮影中にシャッターボタンを長押しすると、ビデオ撮影に切り替わります。Appleは、このモードをQuick Takeと呼んでいます。
 

 
iPhone11シリーズでバーストモードを使うには、シャッターボタンを長押ししたまま、左にスライドする操作が必要です。
 
 
Source:The Verge, Apple
(hato)