人間の感覚に近づくインタフェース技術

The Power of Technologies Part1

2011年8月2日(火)栗原雅（IT Leaders編集部）鳥越武史（IT Leaders編集部）

リスト

システムを操作するのはキーボードやマウスに限らない─。世の中には、人にとってより自然な操作性を実現するための、豊富なユーザーインタフェース技術が存在している。パート1では、システムの操作性を飛躍的に高める、いくつかの要素技術を見ていく。

　IT機器と利用者との接点となる「ユーザーインタフェース」。これまでの首座はキーボードかマウスで、最近になってスマートデバイスに搭載されるタッチパネルが広く使われるようになってきたに過ぎない。進化が乏しかった領域とも言えるだろう。

　ただし、最近実用化されたものや研究開発レベルのものに目をやると、操作性を劇的に変える可能性を秘めた豊富なインタフェース技術が存在する。それらは、単に「直感的な操作を可能とする」という枠を超え、人とITとの新しい関わりにも思いが及ぶ技術だ。

　ここでは、技術開発や応用が進む(1)ジェスチャーインタフェース、(2)仮想現実、(3)拡張現実、(4)ブレインマシンインタフェースの4つの技術について見ていこう。

(1)ジェスチャーインタフェース
指示動作でシステムが動く

　キーボードもマウスもいらない。必要なのは自分の体のみ。画面を右にスクロールしたければ、手を右にさっと振る。ボタンを押したければ、画面の前に広がる空間に向かって一押しする。人が誰かに指示を与えるときの動作として極めて自然な振る舞いを、システムの操作に利用するのが「ジェスチャーインタフェース」であり、既に実用化の段階に入っている。

　ジェスチャーインタフェースは、人の体の動きをセンサーが読み取ることで、身振り手振りでシステムを操作することを可能にするもの。両手がものでふさがっている場合でも、動きを検知できれば操作に支障はない、という利点がある。

　ジェスチャーインタフェースを実現する仕組みとしては、関節など人体の要所にマーカーを取り付け、マーカーの動きを解析して人の動作を認識する「モーションキャプチャー」と呼ぶ技術が主流だった。だがモーションキャプチャーではマーカーの取り付けに手間がかかることから、マーカーを利用せず、より簡便な方法で動きを検出する技術開発が進んでいる。

　赤外線を使って奥行きの情報を取得する「距離画像センサー」を利用して動きを検出する方法がそれで、島根県産業技術センターが「Gesture-Cam」として製品化し、日立ソリューションズなどが市販している（写真1-1）。2011年6月に東京ビッグサイトで開催された、最新の映像技術のイベント「第19回 3D＆バーチャルリアリティ展（IVR）」における展示では、デモ体験を希望する人が後を絶たないほどの注目を浴びていた。

写真1-1　島根県産業技術センターが開発した、人の動きを認識するシステムである「Gesture-Cam」。3次元カメラセンサーを利用し、手の動きに合わせてカーソルを移動する、といった操作を可能にしている

ゲーム機器が技術を身近に

　モーションキャプチャーにしても距離画像センサーにしても、まだ機器全体のサイズが大きく、価格も100万円以上してしまう。一般的に利用するインタフェースとしては身近なものとはいえない。一方でコンシューマー市場に目を転じると、似たような機能を持つ機器が数万円で入手できる。その代表的なものが、日本マイクロソフトのゲームコントローラ「Kinect」だ（写真1-2）。

　Kinectは、プレイヤーの体の動きを検知し、ジェスチャーでゲームを操作するコントローラである。同社の据え置き型ゲーム機「Xbox 360」のコントローラとして登場した。Kinect本体だけなら1万4800円、Xbox 360と併せても3万円弱から購入できる。

　この敷居の低さが、適用分野を拡げることにもつながっている。Kinectはゲームの世界を飛び越え、様々な分野でシステムのインタフェースに活用する動きが出てきている。例えば、カナダの大病院であるサニーブルック・ヘルス・サイエンス・センターやトロント大学などが、手術に必要な患者のMRI/CT画像の確認に、Kinectを利用している。手術の現場で、医師は医療器具で両手がふさがっていることが多く、いちいちキーボードやマウスを操作するのは現実的ではない。そこで、Kinectを介したジャスチャー操作で、手を触れることなく画像を切り替えて確認できるようになったという。

　こうした他分野への活用の動きを下支えする動きも出ている。Kinectの距離画像センサーを開発したイスラエルのプライムセンスは2010年12月に、KinectのPC向けドライバやライブラリ群を「OpenNI」として公開。米マイクロソフトも2011年6月、KinectをPCから利用可能にするための開発キット「Kinect for Windows SDK」のベータ版を提供開始済みだ。

(2)仮想現実
危険な作業も安全かつリアルに体験

写真1-3　リアルビズが開発した、クレーン車の動作訓練用シミュレータ。クレーンの運転席から見た工事現場の風景を、コンピュータグラフィックスでディスプレイに表示。クレーンの操縦桿を模したコントローラを使って操作を体験できる

　ユーザーインタフェースを高度化する上では、「操作する」だけではなく、その結果を「表示する」技術も重要だ。たくさんの情報を、一目見て理解できるようにするための研究が盛んだ。

　この分野で有力な技術の1つが、現実を模した世界をコンピュータ上に創り出す「仮想現実（Virtual Reality: VR）」である。3次元の仮想空間に建造物や人を配置したりしてリアリティを高める一方で、手元のコントローラの操作に応じて仮想空間内の物体をリアルタイムに動かすことで、利用者のシステムへの“没入感”を高めることができる。仮想空間内に重力や慣性などの物理法則を適用すれば、物体の動きを実世界とほぼ同様に再現することも可能だ。

　すでに企業利用の事例もある。代表的な応用は各種のシミュレータとしての実装だ。危険が伴うため事前に作業訓練を積み重ねておかなければならないケースなどで役立つ。リアルビズが開発したクレーン車の動作訓練用シミュレータは、前述のイベント、IVRにも出典していた。アームの回転やフックの上下動など複雑な操作を、実際の車両を使うことなく安全に訓練できる（写真1-3）。ほかにも、自動車教習所での運転シミュレータなど、身近なところでの活用例もある。

(3)拡張現実
現実世界に付加情報を重ねる

　画面内に仮想的な世界を映し出すのではなく、現実世界の映像に付加的な情報を重ねて表示するのが、拡張現実（Augmented Reality: AR）である。世界的に人気のある日本のアニメ、ドラゴンボールには、眼鏡越しに相手の戦闘能力を表示する「スカウター」という道具が出てくる。あくまで架空の話と思ってきたことも、現実のものに近づきつつある。

　現実世界の映像と付加情報を重ね合わせるには、人やカメラの位置や視野方向をリアルタイムに検知する技術が重要になる。その方法は、GPSやジャイロなどのセンサーを利用する方法と、特殊な模様を印刷した紙やシール（マーカー）を目印にする方法がある。マーカーを利用する方法では、特殊な模様ならずとも、テキストや写真の特徴点をマーカーとして利用する方法も開発されている（写真1-4）。

写真1-4　新日鉄ソリューションズが開発している拡張現実システムでは、特殊な模様ではなく、テキストや写真の特徴点をマーカーとして利用する方法を採用している。トータル・イマージョンの画像認識エンジンを利用している

　ARは、コンシューマ向け分野で実用化が先行した。代表例の1つが、頓智ドットのスマートフォン向けARツール「セカイカメラ」だ（写真1-5）。これは、スマートフォンのカメラで捉えた風景映像に、「エアタグ」と呼ぶ、店や建築物などを説明するテキストや写真を重ね合わせて表示するもの。エアタグは、ユーザーが自由に登録できる。セカイカメラをはじめ、スマートフォンを使ったAR技術は「モバイルAR」と総称され、1つの市場を形成しつつある。2010年5月には、三井不動産販売がカメラを向けた方向にある空いている駐車場を表示するツール「『今から』停められる駐車場検索サービス」を、2011年5月には、うぶすなが観光情報を表示するツール「おもてナビ」を提供している。

写真1-5　頓智ドットが提供するスマートフォン用ARツール「セカイカメラ」。スマートフォンのカメラで捉えた映像に、店や建築物などを説明するテキストや写真を重ね合わせて表示する

　パイオニアが市販するカーナビゲーションシステム「カロッツェリアサイバーナビ」の最新版は、車載カメラが撮影したフロントガラス越しの映像に、進行方向や前方車両との車間距離などをリアルタイムに重ね合わせて表示する「ARスカウターモード」を搭載している（写真1-6）。こうした技術が進化すれば、将来的にはカーナビの画面ではなくフロントガラスそのものに直接情報を表示し、運転手が自然な形で情報を入手できるクルマの登場も夢ではないだろう。