Generalüberholte Planung von Motion Capturing für CGI/VFX mit Artec Ray II und TVA

Ein Artec Ray II in einem vereinfachten Aufbau zur Erfassung eines großen Motion-Capture-Bereichs.

Bevor wir uns mit diesem neuen Arbeitsablauf befassen, wollen wir einige Dinge erklären. Was verstehen wir zunächst unter einem Motion-Capture-Aufbau? Im Wesentlichen handelt es sich dabei um Räume voller Kameras, die Bewegungen von an Personen oder Objekten angebrachten Markern erfassen (Sie haben so etwas wahrscheinlich schon einmal in „Hinter den Kulissen“-Clips von Fernsehsendungen oder Filmen gesehen).

Der führende Hersteller von Motion-Capturing-Systemen, OptiTrack, entwickelt hochmoderne Spezialkameras, die in der Robotik, Biomechanik und medizinischen Forschung eingesetzt werden. Am häufigsten jedoch finden sie Anwendung bei der Erstellung virtueller Produktionssets, die es Regisseuren ermöglichen, Live-Action mit immersiven visuellen Effekten mithilfe riesiger LED-Bildschirme zu verschmelzen – denken Sie etwa an die spektakulären Szenen mit Superhelden in Marvel-Filmen!

Die Fortschritte bei CGI und VFX haben das Kino in den letzten Jahren revolutioniert, doch der Aufbau eines Motion-Capture-Studios bleibt alles andere als einfach. Unter anderem muss sichergestellt werden, dass genügend Kameras die Marker erfassen können, selbst wenn Kulissen und Requisiten die Sicht versperren. Dies hängt nicht zuletzt von der Erfahrung des Technikers mit der jeweiligen Tracking-Kamera ab. Wird das Studio nicht korrekt eingerichtet, kommt es zu Kameraverdeckungen, wodurch das Tracking verhindert wird und die Dreharbeiten unterbrochen werden müssen, um die Kamerapositionen anzupassen.

Angesichts der Kosten und Verzögerungen, die durch Wartezeiten für die Schauspieler entstehen, während die Crew das Set anpasst, wird es offensichtlich, dass die Gewährleistung konsistenter und zuverlässiger Ergebnisse eine entscheidende Aufgabe ist. Ebenso wichtig ist es, die Auswirkungen von Änderungen in Umgebung und Aufbau auf das Tracking leicht visualisieren und kommunizieren zu können.

Aus diesem Grund entwickelte Tracklab, die auf Tracking spezialisierte Abteilung des Gold-zertifizierten Artec-Händlers Freedspace, die Software TVA, um die Volumenplanung zu vereinfachen, eine größtmögliche Nutzerfreundlichkeit zu gewährleisten und durch Optimierung der Tracking-Abdeckung die Effizienz bei Dreharbeiten zu maximieren.

Verschmelzung von 3D-Scanning und Motion Tracking

Freedspace ist in einzigartiger Weise aufgestellt, um TVA zum Erfolg zu verhelfen. Das Unternehmen verfügt über drei Abteilungen: Thinglab für 3D-Druck, Scanlab, das Artec-3D-Scanner vertreibt und damit verbundene Dienstleistungen anbietet, und Tracklab, der Geschäftsbereich für Motion-Capturing.

Laut Richard Burt, dem Leiter der 3D-Tracking-Abteilung von Freedspace, lassen sich diese drei Technologien auf vielfältige Möglichkeiten verbinden. Jüngstes Beispiel hierfür ist der Einsatz des Langstrecken-LiDAR-Scanners Artec Ray II zur Digitalisierung von Motion-Capturing-Räumen für die Optimierung in der Software TVA.

Die Optimierung einer Motion-Capturing-Aufbau in TVA ist an sich unkompliziert, ob mit oder ohne 3D-Scan. Der Import eines 3D-Scans hebt das verbesserte Tracking jedoch auf ein noch höheres Niveau.

Die Digitalisierung von Motion-Capturing-Räumen mit Ray II ist vergleichbar einfach: Das Gerät lässt sich auf einem Stativ montieren und an verschiedenen Stellen im Raum positionieren. „Ray II ist zwar leistungsstark genug, um das gesamte Volumen in einem einzigen Durchgang zu erfassen, doch die Erfassung von mehreren Standorten aus gewährleistet eine maximale Datendichte in der gesamten Umgebung“, erklärt Richard.

Wichtig ist jedoch auch eine hohe Genauigkeit – hier ist hilfreich, dass das integrierte visuelle Trägheitssystem (VIS) die Scans zur Vorbereitung einer nahtlosen Nachbearbeitung vorab ausrichtet. Artec Studio, die branchenführende Software von Artec 3D für die Erfassung und Verarbeitung von Scan, erledigt anschließend im Handumdrehen die Datenfusion, -bereinigung und den Export.

Verarbeitung von 3D-Scans eines Motion-Capture-Raums in Artec Studio.

„Obwohl Scheinwerfer beim Scannen leichte Texturreflexionen erzeugen können, lassen sich diese mithilfe der leistungsstarken Fototexturierungs-Funktionen von Artec Studio problemlos entfernen. Diese ermöglichen es auch, Farben in der Nachbearbeitung zu korrigieren und auszugleichen“, erklärt Richard. Das resultierende 3D-Modell ist ausreichend detailliert für Szenenplanung, Optimierung und noch vieles mehr.

„Wir könnten die Anwendung von 3D-Scannern durch die einfache Integration von Scans von Personen oder spezifischen, hochauflösenden Requisiten, die mit Artec Leo oder Artec Spider II aufgenommen wurden, potenziell noch weiter ausbauen“, fügt er hinzu. „Darüber hinaus ermöglicht uns das Scannen großflächiger physischer Objekte – wie beispielsweise Produktionsfahrzeuge – die vollständige Visualisierung des Tracking-Volumens im Voraus, wodurch jegliches Herumprobieren beim Aufbauen entfällt.“

Optimierung eines Motion-Capturing-Aufbaus in TVA

Sobald die 3D-Scandaten in Artec Studio verarbeitet sind, werden sie zur Planung und Analyse in TVA importiert. Die Software von Freedspace bietet alle notwendigen Werkzeuge, um das Tracking für verschiedene Markergrößen und OptiTrack-Markertypen zu bewerten. Innerhalb von TVA lassen sich einzelne Positionen aktivieren und deaktivieren, sodass verschiedene Anordnungen vor den Dreharbeiten virtuell getestet werden können.

Individuelle Kameraanpassung und Zielwerkzeuge in TVA zur Volumenoptimierung.

Es ist wichtig zu beachten, dass die Qualität der Daten vollständig von der Kameraeinstellung abhängt. Bei falscher Positionierung entstehen „tote Bereiche“, in denen Bewegungen nicht erfasst werden und Personen verdeckt sind. Wie Richard erklärt, können daraus entstehende Probleme die Bildwiedergabe erheblich beeinträchtigen, da die Positionierung eine flüssige Bewegungsverfolgung gewährleistet und die Volumenberechnung die Vorhersagbarkeit verbessert.

„Wenn wir beispielsweise in einer Höhle drehen, wo Felsformationen die Sicht der Kamera versperren, können wir durch Scannen dieser Objekte ihre genauen Maße und Positionen bestimmen“, erklärt Richard. „Durch die präzise Platzierung im virtuellen Raum entfällt jegliches Rätselraten bei der virtuellen Produktion. Auch bei dynamischen Bewegungen der Darsteller, wie etwa Sprüngen von erhöhten Strukturen, ist es äußerst hilfreich, die Höhe der Kulissen zu kennen, um die Kamerapositionen exakt planen zu können.“

Letztendlich lässt sich mithilfe der mit Rax ll erfassten Daten und der volumetrischen Wärmebildanalyse in TVA feststellen, ob die Kameras optimal positioniert waren. Grün steht dabei für eine gute, Rot für eine schlechte Abdeckung. Und die Software bietet selbstverständlich auch alles Notwendige, um virtuelle Sets von Grund auf neu zu erstellen. Absolute Planungssicherheit für Ihren bestehenden Aufbau gewährleistet jedoch der direkte Import einer Kalibrierungsdatei aus der Software Motive von OptiTrack.

Die Volumen-Wärmekarte in TVA ermöglicht ein präzises Verständnis der OptiTrack-Kameraabdeckung innerhalb eines Volumens.

Ausweitung auf andere Tracking-Bereiche

Richard sieht enormes Potenzial in der Kombination aus 3D-Scanning und der Optimierung in TVA, nicht nur im Bereich traditioneller CGI & VFX, sondern auch im gesamten Fertigungssektor. Beim Dreh einer Videospiel-Kampfszene ist es beispielsweise wichtig, Größe und Position von Requisiten wie Tischen, die die Bewegungsfreiheit der Spielfigur einschränken könnten, zu kennen. Leo oder Spider II wären ideal geeignet, um solche Parameter zu erfassen.

Dasselbe gilt für die Robotik. Wie Richard erklärt, sind industrielle Umgebungen und Fabrikhallen hochdynamisch und häufig mit sich bewegenden Paletten, Containern und Bereitstellungseinrichtungen gefüllt. Die Simulation solcher Umgebungen mit TVA ermöglicht es Anwendern, Kameraanordnungen zu optimieren und so sicherzustellen, dass sich Roboter ungehindert und mit geringem Verdeckungsrisiko bewegen können.

„Ich gehe davon aus, dass viele Kunden, die Artec 3D-Scanner verwenden, von der TVA-Integration mit OptiTrack-Systemen profitieren könnten“, so Richard abschließend. „Unsere Anwender kommen aus den Bereichen Videospielentwicklung, virtuelle Produktion und Animation sowie aus der Luft- und Raumfahrt, der fortgeschrittenen Fertigung, der Robotik und vielen weiteren Branchen. Für jedes Unternehmen, das Motion-Capturing-Volumina digitalisieren und optimieren möchte, bietet TVA eine Lösung.“

Alles weitere über TVA (Tracklab Volume App) können Sie hier erfahren.