3Dスキャンソルーション

Artec 3D社のウクライナへの支援内容

ゲーム用のフォトグラメトリ

2023年 3月 29日
12 分で読めます
1660
概要

この過去10年間で、ゲームコンソールの進化だけでなく、フォトグラメトリなどのデジタル化の導入により、ビデオゲームのキャラクターモデルや環境が飛躍的に進歩しました。この技術を使用することで、写真のようにリアルな世界を構築し、世界中で増え続けるゲーマー達に今までなかったレベルの圧倒的没入感を提供できるようになりました。フォトグラメトリに精通している方なら、ゲームに登場するオブジェクトにはさまざまな画像が照合されていて、非常に高レベルなテクスチャのクオリティを持つ3Dモデルに変換されていることがしっかり確認できるはずです。しかし、このフォトグラメトリのプロセスはゲーム業界で実際どのように使用されているのでしょうか? 以下の記事では、フォトグラメトリを使用するワークフローの手順についてをはじめ、その代替手段としての3Dスキャンを使用する可能性についてまで、ゲーム用のフォトグラメトリ関連のトピックすべてを特集します。

使用するスキャナ
Artec Leo、Artec Eva、Artec Space Spider、Artec Ray、Artec Micro
フォトグラメトリの用途
ビデオゲームに登場するプロップ(小道具)や環境のデジタル化、テクスチャやダメージモデルの作成、写真のようにリアルなグラフィックの実現
推奨ソフトウェア
Artec Studio、PhotoModeler、SpeedTree、RealityCapture、Agisoft Metashape

序章

Photogrammetry for games

スマートフォンでプレイ中のビデオゲーム

用途のご説明の前に、みなさんはまずこの質問をお持ちだと思います:フォトグラメトリとは一体何のことですか?

簡単に言えば、フォトグラメトリは対象オブジェクトを複数の角度から重ね合わせて撮影する作業を伴います。これらの写真における同じ複数のポイントを特定し、一貫したカメラの位置と焦点距離、そして歪みを確保することで、それらの座標を取得したり、3D空間内の位置を三角測量したり、3Dモデルとして複製することができるのです。

ビデオゲームの世界では、実際のプロップ、場所、さらには俳優の顔をキャプチャしてゲームに追加するために、フォトグラメトリの使用が益々進んでいます。この技術により、開発者は写真のようにリアルなグラフィックでゲームの世界を構築できるだけでなく、手動でその世界を作成する際と比べるとほんのわずかな時間で構築できるようになりました。

フォトグラメトリが普及する前、グラフィックアーティスト達は時折このような3Dアセットを1から全て作成しなければなりませんでした。そういったワークフローでは、ゲームの見た目やゲームプレイ、そしてリードタイムの制限とのバランスを取ることが求められました。

ゲームが進化するにつれてコーディングを継続的にテストする必要がある従来の「ホワイトボックス」テストに頼る設計方法も、プロジェクトがまとまり始めるまでシステムを完全に評価やテストすることができなかったため、それが不安要素になっていました。しかしそれとは対照的に、フォトグラメトリを使用することで、ゲーム制作スタジオは必要なモデルをキャプチャしてそれをアップロードし、事前にゲームの世界の「キット」、つまりゲームに必要な材料一式を作成できるようになったのです。これにより、開発者はより用意周到となり、予定どおり納品期日を守ることができます。

こちらの記事の後半では、上記のような作業を可能にするために、一部の開発者が行っているワークフローをひとつずつ順番に詳しく説明していきます。また、それらを実行する上で使用するさまざまなテクノロジーについても掘り下げていき、それぞれのアプローチにおける利点を評価します。

フォトグラメトリはビデオゲームでどのように使用されていますか?

現代のゲーム業界では、グラフィックを忠実に表現することと短い起動サイクルが成功の鍵となっているため、そこでフォトグラメトリを導入する利点は明らかです。そのため、このテクノロジーは急速に業界標準になりつつあります。しかし、このプロセス全体は実際にどのように機能するのでしょうか?

他のフォトグラメトリの用途と同様に、ゲーム用にフォトグラメトリを利用するワークフローでも、オブジェクトをさまざまな角度から線形のマトリックスのようなパターンでキャプチャし、各写真を次の写真と重ね合わせることから始まります。大型オブジェクトをキャプチャする場合、開発者はその近距離から細部をキャプチャする前に、360度のワイドショットから開始することができます。
しかし、長距離用デバイスの方がこういった種類の用途により適しているため、長距離デバイスを使用する方が一般的に簡単です。

Photogrammetry for games

ビデオゲーム業界で使用されているフォトグラメトリ。画像ソース: smns-games.com

とはいえ、これらすべてを達成するのは、ただ言う分には簡単ですが、実際行う分には難しいものです。ゲームスタジオは、適切な形状とプロポーションを備えた完全なモデルを確実に作成するために、多くの「落とし穴」を回避していかなければなりません。まず始めに開発者は、使用する機器を検討する必要があります。高解像度カメラを使用する場合は、写真が重なるよう確認することが求められます。

ただし、LiDAR(Light Detection and Ranging) デバイスを使用する場合は、オブジェクトの基材も考慮しなければなりません。たとえば、これが再帰反射だった場合、その表面は信号損失を最小限に抑えてスキャナの受信機に光を跳ね返す可能性があります。反対に、オブジェクトが光沢のあるものだったり、不透明なものである場合、デジタル化はより困難になります。

キーポイント

測量の分野で地形図を作成するために長い間使用されてきたフォトグラメトリは、現在、3D環境を作成するビデオゲーム開発者にとって便利なツールとなっていることが証明されています。

開発者がこれらの問題に取り組み、完全に重なり合う測定値の一式を取得したら、Adobe Photoshopなどのプログラムでそれらを処理していく必要があります。そうすることで、最終モデルが設計されたゲームのトーンに一致するように、照明や影などの側面を微調整することができるのです。色補正を行った後、多くの場合これらはRealityCaptureなどのプログラムにエクスポートされます。そこで画像は点群に位置合わせされ、テクスチャ付きの3Dメッシュに変換されます。

初期モデルは後で「リトポロジ化」することができます。これは、モデルのポリゴン数を減らしてゲーム内でのレンダリングを容易にするプロセスのことです。最後に、これらの3Dメッシュの情報がテクスチャファイルに入力されると、それらのサーフェスをさまざまな方法で微調整して、より現実的に見せることができます。

影や摩耗などの視覚効果を追加する「マスク」をそれらと組み合わせることもできますし、Unreal Engineなどの一般的なゲームエンジンにエクスポートする前に、プロシージャマップやテクスチャマップを使用して、オブジェクトのジオメトリをより適切に想定実験することもできます。

ビデオゲームにおけるフォトグラメトリの例

フォトグラメトリ自体は進化していますが、そもそもフォトグラメトリはまったく新しい技術というわけではありません。フォトグラメトリのプロセスは、品質管理や測量などの分野で長い間展開されてきましたが、ゲームで注目を集めたのはごく最近のことです。フォトグラメトリを真っ向から取り入れた最初の主要ゲームスタジオの1つは、非常に人気のある「Star Wars  バトルフロント(2015)」の再起動を担当したスウェーデンの開発者であるDICEでした。

ローンチまでのタイトなスケジュール、60FPSのゲームプレイに対する需要、そして新しいコンソールの世代に対応する必要性に直面したDICEは、生産に向けてさまざまな課題を抱えていました。しかしそのスタジオは、もともとの素材に忠実な世界を作成したいと考えていました。それを実現するために、開発者はフォトグラメトリでそれらを3Dモデリングする前にアーカイブを探しまわり、オリジナルのStar Warsの映画からプロップを見つけ出しました。

Photogrammetry for games

DICE Star Wars バトルフロントのビデオゲームに登場するキャラクター。画像ソース:battlefront.fandom.com

このアプローチを使用することで、DICEはその前のゲームである「バトルフィールド 4」と比較して、各アセットのデジタル化にかける時間を半分以下にすることができました。さらに、このスタジオでの作業により、最終的なゲームの基盤を形成するStar Warsのプロップ、キャラクターモデル、風景で構成される「基盤構築キット」を開発することができました。また、DICEのそのアプローチのおかげで、DICEはローンチよりもかなり前にワークフローを確立させることができ、社内での締め切りに間に合わせることができました。

開発者のその先駆的な仕事が最初に明るみになってからというもの、他の大ヒットしたビデオゲームの数々も同様の方法で制作されてきました。ビデオゲーム会社のInfinity Wardは、「Call of Duty Modern Warfare(コール オブ デューティ モダン・ウォーフェア)(2019)」 を再起動させる際に、フォトグラメトリによって収集されたデータを使用して、表面の詳細の解像度を向上させる「タイリング」のプロセスを実行できることを発見しました。

キーポイント

フォトグラメトリは、大規模な3D環境の構築に使用されるだけでなく、プロップ、木々や茂み、そしてキャラクターモデルなどの多くのコンポーネントにも使用されています。

そのビデオゲームの開発が続くにつれて、ゲームスタジオはさらに実験を続けました。ある時には、複数のチームメンバーが死体モデルのベースとしてスキャンされたことがあったり、彼らはドローンで飛ばしたスキャナを使用し、より大きな環境をキャプチャしたこともありました。フォトグラメトリによってついにプロップや風景、銃、車両、そしてキャラクターモデルを迅速に作成できるようになったことで、このプロジェクトはこの技術を利用したビデオゲームの用途がどれだけ進歩したかを示しました。

ビデオゲーム用のフォトグラメトリソフトウェア

この記事の前半でRealityCaptureについて言及いたしましたが、3Dモデルを高精度で作成できるビデオゲーム用のフォトグラメトリソフトウェアはこれだけではありません。たとえば、業界をリードするゲーム開発会社であるElectronic Arts (EA)はPhotoModelerを使用することで知られています。ソフトウェアの理想化機能を利用して、処理中にレンズの歪みを除去することができます。これにより、もともとの素材により適した鮮明なゲームやアニメーションの背景を簡単に作成できると言われています。

このプログラムは、広く普及しているCAD形式でエクスポートできる、非常に正確なテクスチャを備えたモデルを生成する自動点群生成アルゴリズムも備えています。とはいえ、このプログラムはフォトグラメトリ用に厳密に構築されているわけではありません。その結果、このソフトウェアには熱心な競合他社が利用している写真をソリッドに自動変換させるワークフローが欠けています。

Photogrammetry for games

RealityCaptureを使用した車のフォトグラメトリ

見事な風景をデジタル化できるよう設計されたプログラムをお探しの方のためには、ビデオゲーム会社のUnityはSpeedTreeを販売しています。3Dアートツールから手順生成アルゴリズムまで、あらゆるものを駆使したこのソフトウェアを使用すると、植物を忠実に再現することができます。したがって、BungieやUbisoftなどのゲーム会社の強豪に採用されたことは当然のことです。

同様に、AgisoftはMetashapeと言う、近距離と遠距離の両方でキャプチャされた精巧な画像データを処理できる、3Dモデル編集ソフトウェアを提供します。こちらはビデオゲームの開発よりも、研究や測量、防衛の分野で使用されることが多いようですが、このプログラムの自動キャリブレーション機能やマルチカメラのサポートにより、複雑なオブジェクトをデジタル化したり、大規模な3D環境を作成したりする方にとって魅力的なオプションとなっています。

ただし、現在のフォトグラメトリパッケージの使用にはいくつかの欠点があります。その多くは段階的に販売されているので、場合によってはユーザーは特定の機能にアクセスするにはアップグレードが必要になります。また、他のプログラムではいくらかの機能を完全に欠いていることもあります。よって、特定のプロジェクトに必要な補足パッケージを知っておくことが重要となるため、これから使用を始めたい方々にとってハードルを高くしてしまっています。

Photogrammetry for games

名作ビデオゲームシリーズのDoomに登場するモンスター、マンキュバスのフォトグラメトリ

その他に、より幅広く、よりアクセスしやすいソフトウェアを探している方には、Artec 3Dが販売しているArtec Studioがあります。多くの場合、このプログラムは3Dスキャナでキャプチャされたデータを処理するために使用されます。最新バージョンのArtec Studio 17には、スキャン結果として得られた3Dモデルの品質を最適化する際に役立つ多くの機能が含まれています。

このプログラムの自動モード機能は、いくつかのチェックボックスの入力に基づいて、プロジェクトに最も効果的なデータ処理アルゴリズムを選択できるので、初心者のユーザーにとってこれまで以上に操作が簡単になっています。Artec Studioの写真位置合わせアルゴリズムを使用すると、高解像度の写真にテクスチャを適用することで、モデルの色の明瞭度を向上させることもできます。

キーポイント

ソフトウェアは3Dの世界を構築する上で不可欠なものであり、多くの場合、どのプログラムを使用するかによって、キャプチャした画像を照合してゲーム内で表示する方法が決まります。

さらに、スケールアルゴリズムによるプラットフォームの位置合わせにより、ユーザーは、ほんのわずかな重要なジオメトリの特徴のみに基づいて、3Dモデルの任意のスケールをターゲットオブジェクトのスケールと一致させることができます。これは参照を使用せずに作成された、スケールに対応しないもしくは特に複雑なサーフェスを持たないフォトグラメトリモデルにテクスチャを転送する場合、特に便利です。

総合的に、これらの機能はArtec 3Dのハードウェアと連携しており、検査やリバースエンジニアリング、ビデオゲーム、アニメーション、CGI開発などの、データをキャプチャして正確なモデルに変換するプロセスを合理化します。

代替手段としての3Dスキャン

フォトグラメトリは、有能なビデオゲームのモデリングツールであることが証明されていますが、それには限界もあります。結果として得られる3Dアセットの精度は、ターゲットオブジェクトの撮影に使用されるカメラの解像度に依ります。撮影時の天候状況に加え、キャリブレーションや角度、および重複性の問題はすべて、詳細をきちんと含まないモデルの作成につながってしまうことがあります。さらに、重複する画像をキャプチャして結合する作業には、当然時間がかかります。これらの問題を考慮すると、より効率的な3Dモデリングの方法はあるだろうかという疑問が生じます。

Photogrammetry for games

World War 3: Artec LeoとSpace Spiderでスキャン後、後期段階に行ったキャラクター開発、Artec Space SpiderでスキャンされたGlock 17のピストル、Artec Leoで作成された顔のスキャン

ビデオゲーム用の3Dモデルを作成するプロセスを高速化したい方には、3Dスキャンの導入をお勧めします。毎秒最大40フレーム (位置合わせモードなしで) という驚異的なスキャン速度を特徴とし、Artec Leoのような最先端のデバイスはワークフローを加速させる手段をフォトグラメトリを使用するユーザーに提供します。

過去には、ゲーム会社のThe Farm 51がまさにこれを達成しました。Leoを別の3Dスキャナ(Artec Space Spider)とペアリングすることで、 彼らは信じられないほど現実的なWorld War 3のビデオゲームモデルを作成することができました。実際、以前のゲーム開発に使用されていたフォトグラメトリのアプローチから切り替えることで、同社はオンラインシューティングゲームの各キャラクター、車両、武器モデルをわずか数時間で生成できるようになりました。

Photogrammetry for games

Artec LeoによるのWorld War 3のゲームプレイと初期段階に行われたキャラクター開発用スキャンのレビュー

人気のXboxのビデオゲーム「Hellblade」には、Artec 3Dの製品を用いたスキャンによって作成された全身の3Dモデルも含まれています。Microsoftが所有するスタジオ「Ninja Theory」のモーションキャプチャ技術を利用して開発されたこのゲームは、主演女優であるメリーナ・ユルゲンス(Melina Juergens)のゲーム内の驚異的なレプリカを特集しています。Artec Evaの優れた柔軟性と正確性のおかげで、このゲームの開発者はこのキャラクターをリアルに見せるだけでなく、実際の人間のように動く皮膚と筋肉をデザインすることができました。

今日では、スケールも3Dモデリングにおいて障害にはなりません。Artec Microを使用すると、極小型オブジェクトのデジタルバージョンを作成することができ、それらをゲーム内の世界に配置する前に、最大0.029 mmの解像度で複雑な詳細をキャプチャします。一方それとは対照的に、長距離用デバイスの Artec Rayは、何度も救助ヘリ全体を3Dスキャンすることに使用されてきました。このテクノロジーは次から次へと新しい大規模なモデリングの用途を見つけ続けているため、これらのデバイスがVR(仮想現実)の分野に使用される日も遠くはないはずです。

Photogrammetry for games

Artec Leoで3DスキャンされたMD-902とヘリコプターの3Dモデル

まだフォトグラメトリだけに頼るのは難しいとお思いですか?ご安心を。そういった方にはフォトグラメトリと3Dスキャンの組み合わせこそがまさにピッタリのソリューションです。それはArtec Studio17でサポートされており、ユーザーは最先端のカメラでキャプチャした画像を3Dスキャンとマージすることができます。また、ユーザーはこのソフトウェアのフォトテクスチャ機能を利用することもできます。これは、より正確な色彩のキャプチャデータを使用してモデルの作成ができる機能です。

結論

上記の実用的な用途を考慮すると、ゲーム業界ではフォトグラメトリと3Dスキャンの両方がグラフィックをどんどん極めていっていることは明らかです。ゲーム会社の強豪たちはスキャン技術を利用してゲーム制作を行っていますが、それぞれが少し異なる3Dプラットフォームを使用しているため、特定のビデオゲームのモデルを作成するために繰り返し展開できる万能ソリューションは今のところまだありません。

その代わり、ゲーム制作スタジオはハードウェアとソフトウェアのパッケージの選択に直面しています。その中には、ゲーム開発用に特別に設計されたものもあれば、より幅広い用途用に構築されたものもあります。これらのいずれかを決定する際、開発者はゲーム内で再現したい環境の種類や、仮想世界のオブジェクトのグラフィックにどれほど忠実性を求めるかなどの要素を考慮する必要があります。

そのようなクリエイターにとって幸いなことに、ゲームにフォトグラメトリと3Dスキャンを導入する状況の増加は、さまざまなニーズを満たす製品の発売につながっています。あらゆる形状とサイズのオブジェクトを忠実に再現し、アップロードや微調整、そして仮想世界への統合の準備ができている技術のこの実証済みの能力は、新しい最先端のゲームの開発を加速する上でも魅力的であると言えます。

それを念頭に置いても、今はビデオゲーム業界におけるフォトグラメトリと3Dスキャンにとって、エキサイティングな時期です。テクノロジーが近い将来にイノベーションをどのように推進し続けるかを見るのは実に興味深いものです。

目次
著:
Paul Hanaphy

Paul Hanaphy

テクニカルリポーター