iPhone13のシネマティックモードの開発秘話〜著名映像作家の手法を分析し再現

 
Appleでインターフェースデザイナーを務めるジョニー・マンザリ氏が、iPhone13の新機能「シネマティックモード」ができた経緯について、米メディアTechCrunchのインタビューで語っています。高度な技術が要求される映像のストーリーテリングを誰でも再現可能にするため、多くの労力が費やされたようです。

ポートレートモードの開発手法を映像にも応用

Appleは2016年にiPhone7 Plusで写真撮影のポートレートモードを導入しましたが、機能の開発には、ファッション写真およびアート写真の分野で大きな成功を収めたリチャード・アヴェドンや、ポップアートの旗手として知られるアンディ・ウォーホル、オランダの画家レンブラントなど、多くの作家の手法の入念な分析を要したといいます。マンザリ氏によれば、同様のアプローチがシネマティックモードの開発にも用いられたとのことです。
 
チームが最初に行ったことは、世界最高の撮影監督やカメラオペレーターに話を聞きに行くことでした。また、映画館に赴き、歴代の映画も観たそうです。
 
「そうすると、ある傾向が見えてくるんです」と、マンザリ氏は述べています。「フォーカスやフォーカスチェンジはストーリーテリングの基本的なツールであり、それらがいつ、どのように使われるのかを部門間協力チームとして正確に理解しなければならないことが明らかになりました」
 
「撮影監督たちと、なぜ被写界深度を浅くするのかについて話すことができたのも、とても刺激になりました。（中略）最終的にわかったのは、視聴者の注意を引く必要があるということです」

高度な映像撮影技術を誰でも使えるように

「問題は、これが熟練したプロの仕事だということです」と、マンザリ氏は指摘しています。「普通の人にはとてもできないことです。たった1つのミス、つまり数センチのズレで使い物にならなくなってしまう」
 
「私たちは、これこそがAppleが最も得意とするところだと感じています。難しいこと、従来は学ぶのが難しかったことを、自動でシンプルなものに変えていく」
 
そこでチームは、フォーカスを見つける、フォーカスをロックする、フォーカスをトラッキングするといった技術的な問題に取り組み始めました。そして、それらの探求の結果、“視線”にたどり着きました。
 
マンザリ氏いわく、フォーカスの変更が意図的で自然なものでなければ、ストーリーテリングのツールにはならないとのことです。なぜなら、ストーリーテリングのツールは目に見えないものでなければならないからです。
 
最終的には、チームが探求した芸術的・技術的欲求の多くは、機械学習（ML）の非常に困難な問題となりました。幸運にも、Appleには機械学習の研究者チームと、Neural Engineを作ったシリコンチームがいたため、協力が得られたとのことです。
 
TechCrunchの記者は、自身がディズニーランドでシネマティックモードを試した撮影のサンプル動画を公開しています。
 

 
なお、iPhone13のシネマティックモードを使ったミュージックビデオも最近公開されたばかりです。
 
 
Source:TechCrunch
(lexi)