インカメラに映る目の反射でスマホの持ち方を推定～慶應義塾大学など研究

 
慶應義塾大学理工学部 杉浦裕太准教授、同大学大学院 理工学研究科大学院生 張翔さん、ヤフー Yahoo! JAPAN研究所 池松香上席研究員、東京工科大学 メディア学部 加藤邦拓助教の研究グループは、スマートフォンのインカメラで撮影された顔写真を使い、ユーザーのスマホの持ち方を推定する新手法を開発したことを発表しました。

目に反射したスマホ画面、指部分の欠けで持ち方を推定

多くのスマホ向けアプリは、右手の親指での操作を前提とした画面設計ですが、ユーザーのスマホの持ち方を推定することで、その姿勢に合わせた画面表示が可能になるとしています。
 
研究グループは、スマホを操作する際にスマホ画面の光が角膜に反射することで、画面の形をした角膜反射像が映り、それがスマホの持ち方によって異なることに着目。そこでスマホのインカメラで顔写真を撮影し、顔写真から角膜反射像を切り取り、機械学習を使って角膜反射像を推定するシステムを開発しました。
 
角膜反射像には、画面上に指を置いている部分は影となり、その部分のみ欠けます。スマホと持っている姿勢に応じて欠け方が異なるため、機械学習を使って分類し、スマホの持ち方を推定する仕組みです。
 

 
実験協力者13名を対象に図のような6種類の持ち方でスマホを利用してもらい、インカメラを使って顔写真を撮影。その画像を使って持ち方の識別が可能かを検証しました。深層学習を用いて推定モデルを作成した結果、85％の精度で識別できたとのことです。
 

 

アプリの操作性向上、長時間のスマホ利用による疾患予防に期待

スマホの持ち方を推定する既存の研究では、センサを外付けする必要があったり、推定が可能な機種が限られるなどの課題がありました。今回の手法はスマホのインカメラを活用した技術のため、さまざまな機種のスマホに対応できるようです。
 
またこの手法を活用することで、持ち方や姿勢に応じた画面表示の最適化や、操作ボタンやキーボードの位置の自動切り替えなどが可能になるなどアプリの操作性向上につながるほか、長時間同じ姿勢でスマホを利用したことによる疾患の予防などが期待されています。
 
研究グループは今後、より大規模、実環境に近い状態での実験や、スマホ内蔵カメラ以外のセンサの情報を併用、推定アルゴリズムの改善などで、より高い精度で安定して持ち方を推定することを目指すとしています。
 
 
Source:慶應義塾大学, 研究プロジェクトページ via ケータイwatch
(asm)