Tobiiの視線追跡技術はPCではニッチだが、仮想現実を魔法のように感じられる

数年前にTobiiの視線追跡デバイスを手に入れた時、どう使えばいいのか全く分からなかった。Tobiiは「視線追跡の世界的リーダー」を自称しており、私の知る限りではその主張は真実味を帯びていた。デバイスは確かに機能し、（様々な理由で）キーボードとマウスを使えない人にとって非常に役立つだろうと感じた。

しかし、Tobiiは明らかにその野望を広げ、視線追跡をより大衆向けのソリューションへと押し上げようとしていました。PCとのインターフェースの代替手段ではなく、主要な手段にしようとしていたのです。私も試してみました。UbisoftはすべてのゲームにTobiiのサポートを組み込んでおり、私は『アサシン クリード ローグ』をプレイしました。Tobiiの視線追跡装置が、私が視線を向ける方向にカメラを振り回しました。「クールな技術だ」と思いつつ、すぐにマウスとキーボードに戻りました。

まるで問題解決が必要だったかのようでした。Tobiiにとって幸運なことに、その問題が現実のものとなりました。それがバーチャルリアリティです。

ポイントアンドクリック

VRヘッドセットに統合されたTobiiの視線追跡技術はまさに天の恵みです。先週のGDCで、HTC Viveを改造したようなユニットのデモを見る機会がありました。目に見える唯一の変更点は、Viveのレンズ周囲に埋め込まれた一連の赤外線エミッターだけで、視線追跡技術の残りの部分はヘッドセット本体に内蔵されていました。

トビー

セットアップはTobiiのデスクトップユニットを使うのとほぼ同じでした。ヘッドセットを装着し、点の列を目で追って正しくキャリブレーションを行いました。そこからすぐにデモに入りました。

デモはシンプルで簡潔でありながら、この技術の幅広い可能性を示していたことから、Tobiiがこの分野にどれほど自信を持っているかが分かります。私のお気に入りは、終盤に行われたデモです。多くのVR動画アプリと同様に、リビングルームの環境に置かれました。視線追跡をオフにした状態で、観たい映画を選んだり、照明を暗くしたりといった操作を指示されました。

そして実際に使ってみました。VRはマウスとキーボードを使うよりもはるかに直感的です。コントローラーをオブジェクトに向け、クリックして、調整するだけです。VRは私たちの日常的なインタラクションを必要最低限​​再現しつつ、コントローラーが使えるように抽象化されています。素晴らしい。

しかし、視線追跡技術のおかげでVRは魔法のように感じられます。Tobiiの技術をオンにすると、オブジェクトとのインタラクションは、ちらっと見るだけで簡単に操作できるようになりました。机に座って壁の電気のスイッチをチラッと見るだけで、ライトが点灯するのを想像してみてください。これが視線追跡技術を搭載したVRです。ライトを暗くするには、ライトを見て、コントローラーのトラックパッドをスワイプするだけです。手を挙げてランプを指差す必要などありません。映画のリストをスクロールする時も同じです。見て、スクロールして、見て、スクロール。体を動かす必要はありません。

トビー

シンプルに聞こえるかもしれませんし、実際そうなのです。しかし、まさにそこがポイントです。環境から抽象化のレイヤーを一つ取り除くのです。直感的です。Netflixのようなリアリティが重要でないアプリケーションであれば、Tobiiは自然にフィットするように思えます。Oculus GoやGoogle Daydreamのような、位置トラッキング機能のないインターフェースでは、オブジェクトを選択するための指示は通常、額で行います。目なら確かに簡単です。

ゲーム？Tobiiは私にとってそれほど重要ではないように思えたし、私もそう言った。結局のところ、バーチャルリアリティは現実を模倣するためのものであり、ゲームでは、テレパシーで操作するのではなく、手を伸ばして物体を掴むことで、ある程度のリアリティが生まれる。

Tobiiの回答は、視線追跡は必ずしも部屋の向こう側からテレパシーのように伝わるわけではないというものでした。一部の開発者にとっては、それは単なる説明に過ぎません。例えば、あるデモでは、回すためのノブがびっしり並んだ大きなパネルの前に座らされました。視線追跡を有効にすると、手を伸ばすことなく、ただ座ってこれらのダイヤルを調整できました。おそらく理想的とは言えないでしょう。しかし、身を乗り出して「手動で」ダイヤルを調整することもできました。その場合、視線追跡は、どのダイヤルを操作しようとしているのかを確認するのに役立つだけでした。これは、Star Trek Bridge Crew やInterkosmosなどのゲームでよく見られる問題であり、私は視線追跡が状況を改善する可能性があると確信しました。

トビー

さらに印象的だったのは、瓶に石を投げるというデモでした。VR物理、特にうまく実装されたVR物理についてはかなり詳しいのですが、視線追跡によって開発者はもう1つの情報ベクトルを活用できるようになります。デモでは、私の目の位置に基づいてどの瓶を狙っているのかを判別し、石の速度をわずかに補正して確実に投げられるようにしていました。繰り返しますが、これはすべての開発者が求める機能ではありません。スキルベースのカーニバルミニゲームコレクションなどに、これほどのレベルの支援機能はおそらく組み込まないでしょう。とはいえ、これは気の利いたツールです。

パフォーマンス対応

画期的なのはフォービエイテッド・レンダリングだ。この技術は決して新しいものではない。NVIDIAは過去にデモを披露しており、Oculus GoとOculus Santa Cruzのプロトタイプはどちらも「固定フォービエイテッド・レンダリング」を採用している。しかし、視線追跡技術によって、VRヘッドセットはフォービエイテッド・レンダリングをよりスマートに実装できるようになった。

では、一体どういうことでしょうか？基本的に、私たちの目は、見ている場所の真正面にある小さな円の中のディテールしか認識できません。私たちの周辺視野は貧弱です。そのため、私たちが見ていない場所のシーンをフルクオリティでレンダリングするのは無駄です。つまり、目で捉えられないディテールにGPUパワーを浪費しているだけなのです。

固定フォービエイテッドレンダリングは、基本的に画面の外縁は不要と想定することでレンダリングを削減します。（NVIDIAのマルチ解像度シェーディングなどの他の技術も同様の原理に基づいています。）Oculusの最終版Santa Cruzがどのように動作するかは正確にはわかりませんが、通常、画面は複数の領域に分割されます。おそらく外側のリングは半分の品質でレンダリングされ、次のリングは75%の品質でレンダリングされ、最終的に最大の領域（中央部分）でフル品質でレンダリングされるでしょう。

オキュラス

問題は、端の方をよく見ると、ぼやけていることに気づくことです。これは思ったほど問題ではありません。昨年Oculus Santa Cruzのプロトタイプを使った時も、その影響は全く感じませんでした。ディスプレイの大部分は依然としてフル画質で、劣化しているのは端の方、つまり普段はあまり見ない部分だけです。とはいえ、画質が劣化する可能性はあります。例えば、線が本来あるべきほど鮮明でないことに気づくこともあるでしょう。さらに悪いことに、フル画質の領域が依然として広すぎるため、レンダリングコストは実際にはそれほど節約できません。

ここで視線追跡の出番です。視線追跡はダイナミック・フォービエイテッド・レンダリング（Dynamic Foveated Rendering）を可能にします。基本的に、視線が向いている部分はフルクオリティでレンダリングされますが、周辺部のすべては劣化します。視線が動けば、フルクオリティの領域も動きます。ゲームは視線がどこを見ているのかを正確に把握しているため、その領域から外れた瞬間から画質が低下し始めるのです。

Tobiiは、最大50%のパフォーマンス向上が見込めると主張しています。2160×1200の解像度を90フレーム/秒（近日発売予定のVive Proの場合は2880×1600）でプレイする必要があるVRにとって、これは非常に大きなメリットです。Tobiiによると、これによりハードウェアを1世代分節約できるとのことで、例えば、Dynamic Foveated Renderingを搭載したNvidia GTX 960は、搭載していないGTX 1060と同等のパフォーマンスを発揮します。また、低消費電力のハードウェアと限られたバッテリー駆動時間で動作しているスタンドアロン型ヘッドセットにとっても、大きなメリットとなります。

トビー

言い換えれば、VRには視線追跡が不可欠だということです。納得です。Tobiiのデモもスムーズでした。実は、私がプレイしている最中に、誰にも言われることなくダイナミック・フォービエイテッド・レンダリングが有効になっていて、私は全く気づきませんでした。有効になっていると言われた後も、違いがほとんど分かりませんでした。周辺部のテキストが少しぼやけているかもしれませんが、プレイに影響するほどではありませんでした。

その後、ヘッドセットを離すと、反対側から技術が見えました。Tobiiのチームの一人がヘッドセットを装着し、その出力がラップトップにミラーリングされているのが見えました。彼の視線に応じて、周囲の環境がぼやけたり、また鮮明になったりするのが見えました。もしこれが策略だとしたら、相当手の込んだものでなければいけません。

これは本当に素晴らしいですね。というのも、私が最後に聞いたときは、ダイナミック・フォービエイテッド・レンダリングはまだ数年先の話だったからです。しかし、デモを見た後ではそうは思えず、すっかり信じてしまいました。「大きく動き回ってヘッドセットがずれたらどうなるのか？」「レンズが曇ったらどうなるのか？」など、解決すべき問題がいくつかありますが、基盤となる技術はしっかりしているようです。

結論

ワクワクしますね。前回のTobiiのデモとは全く逆ですね。前にも言ったように、Tobiiのデスクトップ技術はとても興味深いと思っています。ここ数年、Alienwareのノートパソコンに搭載されていて、今でもセンサーはモニターからぶら下げて使っています。ただ、日常的にはあまり使い道がないんです。マウスとキーボードに慣れすぎているんです。

とはいえ、VRは依然として新しい操作インターフェースの萌芽が見受けられる分野であり、視線追跡技術はまさにうってつけと言えるでしょう。安価で目立たないという点も魅力です。Tobiiのデモでは、現行のViveヘッドセットに収まるサイズで、製造コストにもそれほど影響しないと聞いています。これは、全身触覚技術や、最近人々が試みている他の奇抜なアイデアとは比べものにならないほどのメリットです。

これにパフォーマンス上のメリットも加えると、第二世代のVRヘッドセットには何らかの視線追跡機能が搭載されるだろうことは容易に想像できます。Tobii社によると、同社は既に5社と提携を結んでおり、そのうち4社はまだ発表されていないとのことです。今後の展開に注目です。