ヤフー、慶応義塾大学、東京工科大学は2022年4月27日、スマートフォンのフロントカメラ（インカメラ）で撮影した顔写真からスマートフォンの持ち手姿勢を推定する手法を開発したと発表した。角膜反射像（角膜の表面に外部の光が反射して映る像）をAIで分類する仕組みである。アプリケーションの操作性向上や、長時間同じ姿勢で操作することに起因する疾患の予防に応用できるとしている。
ヤフー、慶応義塾大学、東京工科大学は2022年4月27日、スマートフォンのフロントカメラ（インカメラ）で撮影した顔写真からスマートフォンの持ち手姿勢を推定する手法を開発したと発表した。角膜反射像（角膜の表面に外部の光が反射して映る像）をAIで分類する仕組みである。アプリケーションの操作性向上や、長時間同じ姿勢で操作することに起因する疾患の予防に応用できるとしている（写真1）。
写真1：瞳に映る角膜反射像の様子。「把持姿勢」に応じた角膜反射像が瞳に映る（出典：ヤフー、慶応義塾大学、東京工科大学）拡大画像表示
開発の背景としてヤフーらは、多くのスマートフォン用アプリは右手親指での操作が前提で、スマートフォンの大画面化が進む昨今では操作しづらい場合があることを挙げる。「スマートフォンの“把持姿勢”を推定する研究が行われてきたが、既存の研究では新たにセンサーを用意する必要があったり、スマートフォンの機種の違いによって結果に影響が出たりする課題があった」という。
今回開発した手法は、スマートフォン操作時に画面の光が角膜に反射し、画面の形をした角膜反射像が映り込む現象を利用する。画面上に指を置いている部分は影となり、指の部分だけ角膜反射像が欠ける。把持姿勢に応じて角膜反射像の欠け方が異なることを利用して把持姿勢を推定する。スマートフォンのフロントカメラから顔写真を撮影して角膜画像とするので、別途、センサーなどを用意する必要がないほか、スマートフォンの機種が変わっても把持姿勢を推定できるという。
効果の実証では、協力者13人を対象に、6種類の把持姿勢を推定できるかを調べた。ディープラーニング（深層学習）を用いて検証した結果、85%の精度で把持姿勢を識別したという（写真2）。
写真2：6種類の典型的なスマートフォンの「把持姿勢」を対象に実験を実施した（出典：ヤフー、慶応義塾大学、東京工科大学）拡大画像表示
3者は応用例として、アプリケーションの操作性の向上を挙げる。把持姿勢の推定で、ユーザーの利用状況に合わせた画面表示の最適化や、操作ボタンやソフトウェアキーボード位置の自動切り替えが可能になる。また、長時間同じ姿勢で操作している際にアラートを表示することで、長時間同じ姿勢で操作することに起因する疾患の予防に応用できる可能性も挙げている。
3者は今後、より大規模かつ実環境に近い状態での実験を行う。スマートフォンのフロントカメラ以外のセンサーの併用や、推定アルゴリズムの改善などを試みて、より高精度で安定して把持姿勢を推定することを目指すとしている。
