Artec Ray IIとTVAの併用によりCGI/VFX向けに 企画されたモーショントラッキングに変革を

単純化された設定でArtec Ray IIが大規模なモーションキャプチャ空間をキャプチャする様子。

この新たなワークフローを深く探っていく前に、明確にしておきたいことが数点ある。『モーションキャプチャステージ』という用語で我々が主に意味しているのは、人物やオブジェクトに取り付けられたマーカーの動きを追跡するカメラがたくさん備えられている部屋のことである（恐らく、TV番組や映画の『舞台裏』動画でご覧になっているだろう）。

業界の先頭に立つモーションキャプチャシステム製作会社であるOptiTrack社は高度なモーションキャプチャ用カメラを開発しており、ロボット工学、生体力学、医学研究の分野の他、最も一般的には仮想世界での製作セットで利用されているが、製作セットにおいてはディレクターが実写と没入的な視覚効果を巨大なLEDスクリーンを用いて組み合わせることができるようになっている。マーベルスタジオの映画でのスーパーヒーローの決闘のようなシーンを思い描いていただきたい。

CGIやVFXにおける進歩は近年、映画の在り方を変えているが、モーションキャプチャステージの設置は簡単なことではない。セットや撮影備品がマーカーを視界から妨げていても認識できるようにするために、必要数のカメラを用意することが必須である上、現在のところ、その設置は技術者の特定のトラッキング用カメラの利用経験に大幅に依存している状態である。ステージを正しく計画し損ねるとカメラオクルージョンに繋がり、カメラ位置の調整の間、トラッキングの中断や撮影停止の必要が生じる。

映画撮影班のセット調整の間に俳優を待機させたままにすることで生じる経費とリードタイムの不利益を考慮した場合、一貫した信頼性のある成果を挙げることは必要不可欠である。視覚化が容易で、トラッキングにおける空間的、もしくはステージ上の変更による影響を明確にできることも必要不可欠となる。

この理由から、Artec社のゴールド認定販売代理店であるFreedspace社のトラッキング部署Tracklabは、トラッキング対象範囲を最適化することにより対象領域の事前計画（volume planning）を簡素化し、ユーザーエクスペリエンスへの依存を回避する形で撮影時間を最大限に活用する手法として、TVAを開発したのである。

3Dスキャニングとモーショントラッキングの融合

Freedspace社は、TVAを成功に導くために他に類を見ないほど都合の良い立ち位置にいる。同社には三つの部門があり、Thinglabは3D印刷担当、ScanlabはArtec社製3Dスキャナの販売、及びサービスの提供を行い、Tracklab社はモーションキャプチャソリューション業に特化している。

Freedspace社の3Dトラッキングディレクターであるリチャード・バート（Richard Burt）によると、以上のテクノロジーの間に『相互交流』の機会があるそうである。その最新の例では、長距離向けLiDARスキャナであるArtec Ray IIがTVAでの最適化のためにモーションキャプチャ空間のデジタル化に利用されている。

TVAでのモーションキャプチャステージの最適化は3Dスキャニングの使用に関わらず単純明快であるが、ステージの3Dスキャンデータのインポートは高度なトラッキングを更なるレベルへと引き上げる。

Ray IIでのモーションキャプチャ空間のデジタル化は、単純である。同機器は三脚に取り付け可能で、部屋中の異なった箇所へ移動できる。「Ray IIは一振りで領域全体をキャプチャするのに十分な性能を備え、複数の箇所からのキャプチャによって空間全域のデータ密度を確実に最高のものとする」、とリチャードは説明する。

しかし、正確さを高く保つことも重要であるため、搭載されている視覚慣性システム（Visual Inertial System、VIS）はシームレスな後処理のために前もってスキャンデータの位置合わせを行う。Artec 3D社の業界を先駆けるスキャンデータキャプチャ・処理ソフトウェアであるArtec Studioがその後、データのメッシュ化、仕上げ、及びエキスポートを素早く行う。

Artec Studio上でのモーキャプ用の部屋の3Dスキャンデータの処理。

「スポットライトがスキャンの実施中にテクスチャの軽微な反射の跡を残すこともあるが、Artec Studioの高度なフォトテクスチャ処理性能を使用すれば簡単に除去でき、後処理中に色彩の修正及び正規化が可能である」と、リチャードは話す。完成した3Dモデルはシーンの計画、最適化などに充分な詳細さを備えている。

「このような3Dスキャニングの用途の幅を更に広げられる可能性もある」と、リチャードは付け加える。「Artec LeoもしくはArtec Spider IIでキャプチャされた人物や特定の高度に忠実な撮影備品をシームレスに統合することで、その実現につながる。その上、大規模な実在する素材、例えば製作用車両などのスキャンによれば、事前にトラッキングの領域の完全な視覚化が可能となり、設置時に当て推量をすることも回避できる」

TVAでのモーキャプステージの最適化

3DスキャンデータはArtec Studio上での処理が完了すれば、TVAへプランニング、及び分析のためにインポートされる。Freedspace社のソフトウェアは個別のマーカーの大きさ、及び異なる種類のOptiTrackマーカーを査定するために必要なすべてのツールを揃えている。TVA内では、映画撮影に先駆けて仮想世界で異なるレイアウトを試すことができるよう、各々の箇所に対して有効、無効の切り替えができる。

領域最適化のための各々のカメラの個別設定、及びエイム用ツール。

高品質データの取得はカメラの設定に完全に依存することは、頭に入れておく価値がある。カメラが正しく設定されていないと『デッドゾーン（dead zone）』が発生し、動作がキャプチャされず、人物が視界から妨げられる。リチャードが説明するように、位置調整は円滑なトラッキングを確実にし、領域の見積もりは信頼性を格段に向上させるため、以上のような問題はシーンの出来に実際に影響する。

「例を挙げると、洞窟空間での設定の際に実在する岩がカメラの視線を妨害する場合、そのような素材のスキャンを行うことによって正しい寸法と位置が分かる」と、リチャードは話す。「岩を仮想領域に正確に設置することにより、仮想世界の製作で当て推量による作業などが生じることは避けられる。他の例で言うと、演者がダイナミックな動き、例えば高い構造物から飛び降りるなどの動作をした場合、カメラの設置場所を正確に予測するためにセット内の物品の高さを把握しておくことは非常に重要である」

最終的には、Ray IIによるデータ、及びTVAのボリュメトリックヒートマッピングを使用すれば、撮影範囲内の領域が緑、範囲外の領域が赤で表示され、カメラが正しく設置されているかを確認することが可能となる。もちろん、このソフトウェアには『仮想セット』を一から構築するために必要なものはすべて付属しているが、OptiTrack社製ソフトウェアであるMotiveから直接キャリブレーションファイルをインポートすることにより、現在の設定に絶対なる確実性をもたらす。

TVAの領域ヒートマップツールによれば、領域全体におけるカメラ撮影可能範囲の正確な把握が可能となる。

トラッキングの他分野への拡張

リチャードは従来のCGIやVFXに留まらず、更に幅広い製作分野において、この3DスキャニングとTVA最適化の垣根を超えた併用に多大なる可能性を見出している。例えば、ビデオゲームの決闘シーンの撮影時には、キャラクターの動きに干渉し得るテーブルなどの撮影備品の大きさや位置を把握しておくことは重要である。このような状況でのキャプチャには、Leo、もしくはSpider IIは理想的な機器となる。

ロボット工学でも、同じことが言える。リチャードが説明するように、産業用の空間や工場の生産現場は大いに動的であり、移動用荷台やコンテナ、ステージ製作用器材であふれていることが多い。このような環境空間をTVAでシミュレーションすればカメラのレイアウトを最適なものとすることができ、オクルージョンの危険性を下げ、ロボットが障害物の無い中で動き回ることができるようにすることも可能である。

「Artec社製3Dスキャナを利用されている方なら、TVAのOptiTrackシステムへの統合の利点を享受していただける上、その逆も同様である、と考えている」と、リチャードは締めくくる。「弊社のユーザーは航空宇宙、先進的製造業、ロボット工学などの分野と同時に、ビデオゲーム開発、仮想現実製作、そしてアニメーションに及ぶ分野の方々である。モーションキャプチャ領域のデジタル化、並びに最適化に関心をお持ちのどんな企業に対しても、TVAならご要望を実現できる」

TVA（Tracklab Volume App）の更なる詳細は、こちらまで。