Une révolution dans la planification du suivi de mouvement pour la CGI/VFX grâce à l’Artec Ray II et TVA

Un Artec Ray II dans une configuration simplifiée scanne un vaste espace de capture de mouvement.

Avant de nous plonger dans ce nouveau workflow, apportons quelques précisions. Qu'entend-on par « studio de capture de mouvement » ? Il s’agit essentiellement de salles remplies de caméras qui suivent les mouvements de marqueurs fixés sur des personnes ou des objets (vous les avez sans doute déjà vus dans les vidéos « en coulisses » d’émissions de télévision ou de films).

Le principal fabricant de systèmes de capture de mouvement OptiTrack développe des caméras de pointe utilisées en robotique, en biomécanique et dans la recherche médicale, mais le plus souvent dans la création de décors de production virtuelle qui permettent aux réalisateurs de fusionner des prises de vues réelles avec des effets visuels immersifs à l’aide d’écrans LED géants (pensez à des scènes comme les affrontements de super-héros dans les films Marvel !)

Les progrès en matière de CGI et de VFX ont révolutionné le cinéma ces dernières années, mais il n’est pas facile de mettre en place un studio de capture de mouvement. Il faut s’assurer qu’un nombre suffisant de caméras puisse voir les marqueurs, même lorsque les décors et les accessoires obstruent la vue. Actuellement, cela repose en grande partie sur l’expérience d’un technicien avec une caméra de suivi spécifique. Une mauvaise configuration de votre studio de capture conduit à l’occlusion d’une caméra, qui empêche le suivi et oblige à interrompre le tournage le temps d’ajuster la position des caméras.

Si l’on tient compte des coûts et des retards occasionnés par l’attente des acteurs pendant que l’équipe ajuste le décor, il est évident qu’il est crucial de garantir des résultats cohérents et fiables. Il est également essentiel de pouvoir facilement visualiser et communiquer l’impact des changements d’environnement ou de scène sur le suivi.

C’est pourquoi Tracklab, le département de suivi du revendeur certifié Gold d’Artec Freedspace, a développé le logiciel TVA afin de simplifier la planification du volume, de rendre le processus indépendant de l’expérience de l’utilisateur et de tirer le meilleur parti du temps de tournage, grâce à l’optimisation de la couverture de suivi.

La fusion du scan 3D et du suivi de mouvement

Freedspace est particulièrement bien placée pour assurer le succès de son logiciel TVA. L’entreprise compte trois départements : Thinglab, dédié à l’impression 3D ; Scanlab, qui commercialise les scanners d'Artec 3D et propose des services associés ; et Tracklab, spécialisé dans les solutions de capture de mouvement.

Selon Richard Burt, directeur du suivi 3D chez Freedspace, il existe des opportunités de « croisement » entre ces technologies. Le dernier exemple en date est l’utilisation du scanner LiDAR longue portée Artec Ray II pour numériser des espaces de capture de mouvement en vue de leur optimisation dans TVA.

L’optimisation d’une scène de capture de mouvement dans TVA est simple, avec ou sans scan 3D. Mais l’importation d’un scan 3D de votre studio permet de donner une nouvelle dimension au suivi amélioré.

La numérisation d’espaces de capture de mouvement avec le Ray II est simple. L’appareil peut être monté sur un trépied et déplacé à différents endroits de la pièce. « Même si le Ray II est suffisamment puissant pour capturer l’ensemble du volume en un seul passage, la capture à partir de plusieurs emplacements garantit une densité de données maximale dans tout l’environnement », explique Richard.

Cependant, il est également important de garantir une grande précision, et le système visuo-inertiel (VIS) intégré pré-aligne les scans pour un post-traitement fluide. Artec Studio, le logiciel de capture et de traitement de scans de pointe d’Artec 3D, se charge ensuite rapidement de la fusion, du nettoyage et de l’exportation des données.

Traitement des scans 3D d’un studio de capture de mouvement dans Artec Studio.

« Si les projecteurs peuvent créer de légers reflets sur les textures pendant le scan, il est facile de les supprimer grâce aux fonctionnalités avancées de texturation photographique d’Artec Studio, qui permettent de corriger et de normaliser les couleurs lors du post-traitement, explique Richard. Le modèle 3D obtenu est suffisamment détaillé pour la planification et l’optimisation des scènes, entre autres.

Nous pourrions probablement étendre davantage ces applications de scan 3D, ajoute-t-il. En intégrant parfaitement les scans haute-fidélité de personnes ou d’accessoires spécifiques capturés avec l’Artec Leo ou l’Artec Spider II. De plus, le scan d’éléments physiques à grande échelle, tels que des véhicules de production, nous permet de visualiser entièrement le volume de suivi à l’avance, ce qui supprime complètement les approximations lors de la configuration. »

Optimisation du studio de capture de mouvement dans TVA

Une fois les données de scan 3D traitées dans Artec Studio, elles sont importées dans TVA à des fins de planification et d’analyse. Le logiciel de Freedspace dispose de tous les outils nécessaires pour évaluer le suivi des marqueurs de différentes tailles et des différents types de marqueurs OptiTrack. Dans TVA, il est possible d’activer ou de désactiver des positions individuelles, ce qui permet de tester différentes configurations dans l’environnement virtuel avant le tournage.

Outils de personnalisation et d’orientation des caméras dans TVA pour l’optimisation du volume.

Il convient de garder à l’esprit que l’obtention de données haute qualité dépend entièrement de la configuration des caméras. Si les caméras sont mal placées, vous obtenez des « zones mortes » où le mouvement n’est pas capturé et où les personnes sont masquées. Comme l’explique Richard, ces problèmes peuvent avoir un impact réel sur le déroulement des scènes, car le positionnement garantit un suivi fluide et le calcul du volume améliore la prévisibilité.

« Par exemple, si nous installons un décor dans une grotte où de réelles formations rocheuses obstruent le champ de vision des caméras, le scan de ces éléments nous permet de connaître leurs dimensions et leurs positions exactes, explique Richard. Leur placement précis au sein du volume virtuel supprime toute approximation dans la production virtuelle. De même, lorsque les acteurs effectuent des mouvements dynamiques, comme sauter depuis des structures élevées, il est extrêmement utile de connaître la hauteur d’un élément du décor pour déterminer avec précision où les caméras doivent être positionnées. »

Au final, grâce aux données du Ray II et à la cartographie thermique volumétrique de TVA, il est possible de vérifier le bon positionnement des caméras, le vert indiquant une bonne couverture et le rouge le contraire. Bien sûr, le logiciel est fourni avec tout le nécessaire pour construire intégralement des « décors virtuels ». Mais l’importation d’un fichier d’étalonnage directement depuis le logiciel Motive offre une certitude absolue quant à la configuration actuelle.

Les outils de carte thermique volumétrique de TVA permettent de comprendre avec précision la couverture des caméras OptiTrack dans un volume.

Diversification dans d’autres domaines de suivi

Richard voit un énorme potentiel dans ce croisement entre le scan 3D et l’optimisation dans TVA, non seulement dans les domaines classiques de la CGI et du VFX, mais aussi dans le secteur plus large de la fabrication. Lors du tournage d’une scène de combat dans un jeu vidéo, par exemple, il est important de connaître la taille et la position d’accessoires tels que des tables qui pourraient gêner les mouvements des personnages. Leo ou Spider II seraient parfaits pour les capturer.

Il en va de même pour la robotique. Comme l’explique Richard, les environnements industriels et les ateliers de fabrication sont très dynamiques, souvent remplis de palettes, de conteneurs et d’équipements de manutention en mouvement. La simulation de ces environnements à l’aide de TVA permet aux utilisateurs d’optimiser la disposition des caméras, en s’assurant que les robots se déplacent librement avec un faible risque de blocage.

« Je pense que de nombreux clients qui utilisent les scanners 3D d’Artec pourraient tirer profit de l’intégration de TVA aux systèmes OptiTrack, et vice versa, conclut Richard. Nos utilisateurs proviennent des domaines du développement de jeux vidéo, de la production virtuelle et de l’animation, mais aussi de l’aérospatiale, de la fabrication de pointe, de la robotique et bien d’autres encore. Pour toute entreprise cherchant à numériser et à optimiser ses volumes de capture de mouvement, TVA est la solution idéale. »

Pour en savoir plus sur TVA (Tracklab Volume App), cliquez ici.