Rivoluzionare il mocap per videogiochi e cinema con Artec Ray II e TVA

Artec Ray II in una configurazione semplificata che cattura un ampio spazio di mocap.

Prima di immergerci in questo innovativo flusso di lavoro, bisogna chiarire alcuni aspetti. Cosa intendiamo per set di motion capture? Si tratta di stanze dotate di numerose telecamere che tracciano il movimento dei marcatori attaccati ad attori o oggetti (le si vede spesso nei "dietro le quinte" di serie TV o film).

OptiTrack, produttore leader di sistemi di motion capture, sviluppa fotocamere mocap avanzate che vengono utilizzate nei settori della robotica, della biomeccanica e della ricerca medica, ma più comunemente nella creazione di set di produzione virtuali che consentono ai registi di unire l'azione dal vivo a effetti visivi coinvolgenti utilizzando schermi LED giganti, come nelle scene delle battaglie di supereroi nei film Marvel.

I progressi nei campi della computer grafica e degli effetti speciali degli ultimi anni hanno cambiato il mondo del cinema, ma non è facile realizzare un set per il motion capture. bisogna assicurarsi che i marcatori possano essere visti da un numero sufficiente di telecamere, anche quando gli oggetti di scena li nascondono. Tradizionalmente, ci si affida molto all'esperienza dell'operatore e a una specifica telecamera di tracciamento. Un'errata disposizione delle telecamere in fase di acquisizione porta all'occlusione, impedendo il tracciamento e richiedendo l'arresto delle riprese per regolare di nuovo le posizioni delle fotocamere.

Quando si considerano le perdite in termini di costi e tempi di consegna per far aspettare gli attori mentre la troupe cerca di regolare le telecamere, è chiaro che garantire risultati coerenti e affidabili è fondamentale. È anche fondamentale essere in grado di visualizzare e comunicare facilmente l'impatto che i cambiamenti ambientali o del set hanno sul tracciamento.

Ecco perché Tracklab, il dipartimento di tracciamento del rivenditore certificato Artec Gold Freedspace, ha sviluppato TVA per semplificare la pianificazione dei volumi, renderla indipendente dall'esperienza dell'utente e ottenere i massimi risultati dal tempo di ripresa, ottimizzando la copertura del tracciamento.

Unione di scansione 3D e tracciamento del movimento

Freedspace è in una posizione unica per rendere TVA un successo. L'azienda ha tre dipartimenti: Thinglab per la stampa 3D, Scanlab, che vende e offre servizi con gli scanner Artec 3D, e Tracklab, la sua attività dedicata alle soluzioni di motion capture.

Secondo Richard Burt, direttore del tracciamento 3D di Freedspace, ci sono opportunità di "impollinazione incrociata" tra queste tecnologie. Per esempio, lo scanner LiDAR a lungo raggio Artec Ray II è stato utilizzato per digitalizzare spazi di acquisizione del movimento e l'ottimizzazione in TVA.

Ottimizzare un set di motion capture in TVA è semplice, con o senza scansione 3D. Ma utilizzare una scansione 3D nel tuo set può aiutare moltissimo il tracciamento.

Digitalizzare gli spazi di motion capture con Ray II è semplice. Il dispositivo può essere montato su un treppiede e spostato in diverse posizioni nella stanza. "Ray II è abbastanza potente da acquisire l'intero volume in un'unica scansione, ma acquisire da più posizioni garantisce la massima densità di dati in tutto l'ambiente", spiega Richard.

Tuttavia, è anche importante garantire un'elevata accuratezza, e il Visual Inertial System (VIS) integrato pre-allinea le scansioni per una post-elaborazione efficace. Artec Studio, il software di acquisizione ed elaborazione delle scansioni di Artec 3D, leader del settore, permette quindi un rapido lavoro di fusione, riordino ed esportazione dei dati.

Elaborazione di scansioni 3D di una stanza di mocap in Artec Studio.

"I faretti possono creare piccoli riflessi delle texture durante la scansione, ma è facile rimuoverli utilizzando le funzionalità avanzate di photo-texturing di Artec Studio, che consentono di correggere e normalizzare i colori durante la post-elaborazione", afferma Richard. Il modello 3D risultante è sufficientemente dettagliato per la pianificazione, l'ottimizzazione e molti altri scopi.

"In futuro potremmo espandere ulteriormente queste applicazioni di scansione 3D", ha aggiunto. "Per esempio potremmo integrare scansioni di persone o oggetti di scena ad alta fedeltà acquisiti con Artec Leo o Artec Spider II. Inoltre, la scansione di risorse fisiche su larga scala, come veicoli di produzione, ci consente di visualizzare il volume di tracciamento in anticipo, eliminando completamente la necessità di pensare troppo alla configurazione."

Ottimizzazione del set di mocap in TVA

Una volta che i dati di scansione 3D sono stati elaborati in Artec Studio, vengono importati in TVA per la pianificazione e l'analisi. Il software di Freedspace ha tutti gli strumenti necessari per valutare il tracciamento per le dimensioni dei singoli marcatori e per i diversi tipi di marcatori OptiTrack. All'interno di TVA, le varie posizioni possono essere attivate/disattivate, in modo da testare diversi layout nel mondo virtuale prima delle riprese vere e proprie.

Personalizzazione delle singole telecamere e strumenti di puntamento in TVA per l'ottimizzazione del volume.

Occorre ricordare che ottenere dati di alta qualità dipende interamente dalla configurazione della fotocamera. Se le telecamere sono posizionate in modo errato, si ottengono "zone morte" in cui il movimento non viene catturato e gli attori sono oscurati. Come spiega Richard, questi problemi possono avere un impatto reale sul modo in cui le scene vengono riprese, poiché il posizionamento garantisce un tracciamento fluido e il calcolo del volume aumenta la prevedibilità.

"Ad esempio, se ci troviamo in un ambiente di grotte in cui le formazioni rocciose fisiche bloccano la visuale della telecamera, la scansione della telecamera ci consente di conoscerne le dimensioni e le posizioni esatte", afferma Richard. "Posizionarle con precisione all'interno del volume virtuale elimina la necessità di fare stime approssimative durante la produzione. Oppure, quando gli attori eseguono movimenti pronunciati, come saltare da strutture elevate, è incredibilmente prezioso capire l'altezza di un pezzo del set per capire con precisione dove devono essere posizionate le telecamere."

In definitiva, utilizzando i dati Ray II e la mappatura volumetrica del calore in TVA, è possibile capire se le telecamere sono ben posizionate, il verde indica una buona copertura e il rosso mostra il contrario. Naturalmente, il software viene fornito con tutto il necessario per costruire "set virtuali" da zero. Ma l'importazione di un file di calibrazione direttamente dal software Motive di OptiTrack offre una garanzia assoluta nella configurazione corrente.

Gli strumenti di mappa di calore del volume in TVA forniscono un resoconto preciso della ripresa della telecamera OptiTrack su tutto il volume.

Applicazioni in altre aree di tracciamento

Richard vede un enorme potenziale per questo incontro tra la scansione 3D e l'ottimizzazione su TVA, non solo nei campi di CGI e VFX, ma in molti altri settori della produzione. Quando si riprende una scena di combattimento di un videogioco, ad esempio, è importante conoscere le dimensioni e la posizione di oggetti di scena come i tavoli, che potrebbero interferire con il movimento del personaggio. Leo o Spider II sono l'ideale per catturarli.

Lo stesso si può dire per la robotica. Come spiega Richard, gli ambienti industriali e le fabbriche sono altamente dinamici e spesso pieni di pallet, container e attrezzature di stoccaggio in movimento. La simulazione di questi ambienti in TVA consente agli utenti di ottimizzare la disposizione delle telecamere, assicurandosi che i robot si muovano senza ostacoli con un basso rischio di occlusione.

"Prevedo che molti clienti che utilizzano gli scanner Artec 3D potrebbero trarre vantaggio dall'integrazione di TVA con i sistemi OptiTrack e viceversa", conclude Richard. "I nostri utenti sono professionisti dello sviluppo di videogiochi, produzione virtuale e animazione, oltre che del settore aerospaziale, della produzione avanzata, robotica e altro ancora. Per qualsiasi azienda che desideri digitalizzare e ottimizzare i suoi volumi nella motion capture, TVA lo rende possibile."

Scopri di più su TVA (Tracklab Volume App) qui.