デジタル一眼レフカメラとKinectのみを使用して作成されたリアルタイム3Dモデル

3Dモデル（ビデオゲームやCGI映画など）の制作において最も大きな不気味の谷現象の一つは、細部の描写と、動くキャラクターがマリオネット人形のように見えないようにすることです。多くの場合、アニメーターは非常に精緻なモデルを作成し、モーションキャプチャから取得した3Dドットフレームにそれを適用しなければなりません。

映画監督のジョナサン・ミナード氏とアーティスト兼プログラマーのジェームズ・ジョージ氏は、「バーチャル・シネマトグラフィー」と呼ばれる新しい映像システムを開発しました。これは、市販のKinectと一眼レフカメラを使い、両方の機能を同時に実現するものです。二人は一眼レフカメラを使ってカーネギーメロン大学のゴラン・レビン氏の高解像度画像を撮影し、その顔をKinectの深度モデルに移植しました。

最終的に、レビンの動きと表情を1:1スケールで捉えたリアルタイム3Dモデルが完成しました。動画では、レビンがReddit AMAの質問に答える様子を、この画像システムで撮影しています。

ただし、このシステムは完璧ではありません。動画では、レビン氏が動き回るにつれて、モデルの一部が振動したり、何も映らなくなったりする様子が見られます。しかし、カメラがパンしたり、レビン氏にズームイン・ズームアウトしたりしても、システムが機能しているのは実に驚くべきことです。

バーチャル・シネマトグラフィーによって作成された3Dモデルは、Team Bondiがビデオゲーム「L.A.ノワール」で撮影したモデルをある程度模倣していますが、当時は静止した俳優を32台のカメラで囲むシステムを使用していました。1台のカメラと1台のKinectだけで動きと顔を同時に捉えるシステムは、はるかに扱いやすいものです。この技術は、ビデオゲーム、バーチャル映画制作、コンピューターアバター、そしてウルフ・ブリッツァー以外のホログラムに、完全な革命をもたらす可能性があります。

[FTIC、Fast Co.DesignおよびTested経由]