Artec Ray II와 TVA로 CGI/VFX 모션 트래킹 계획에 혁신을 가져오다

간소화된 설정으로 대형 모션 캡처 공간을 캡처 중인 Artec Ray II.

이 새로운 워크플로를 자세히 살펴보기 전에, 몇 가지 사항을 명확히 하겠습니다. 모션 캡처 스테이지란 무엇일까요? 이는 기본적으로 사람이나 물체에 부착된 마커의 움직임을 트래킹하는 카메라가 곳곳에 설치된 공간입니다(TV 프로그램이나 영화의 “비하인드 스토리” 영상에서 보셨을 겁니다).

모션 캡처 시스템 분야의 선도 기업인 OptiTrack은 로봇공학, 생체역학, 의학 연구 등의 분야, 특히 감독이 대형 LED 스크린을 사용하여 실사 영상과 몰입형 시각 효과를 결합할 수 있는 가상 프로덕션 세트 제작에 가장 널리 사용하는 첨단 모션 캡처 카메라를 개발합니다. 마블 영화 속 슈퍼히어로들의 대결 장면을 떠올려 보십시오!

최근 몇 년 동안 CGI와 VFX 기술의 발전으로 영화계는 크게 변화했지만, 모션 캡처 스테이지를 구축하는 것은 결코 쉬운 일이 아닙니다. 세트나 소품이 가리는 상황에서도 충분한 수의 카메라가 마커를 포착할 수 있도록 해야 합니다. 현재 이 과정은 특정 트래킹 카메라에 대한 기술자의 경험이 상당히 중요하게 작용합니다. 캡처 스테이지를 제대로 배치하지 못하면 카메라 시야가 가려져 트래킹이 불가능해지고, 카메라 위치를 조정하는 동안 촬영을 중단해야 합니다.

스태프가 세트를 조정하는 동안 배우들이 기다리게 함으로써 발생하는 비용과 리드타임 손실을 고려할 때, 일관되고 신뢰할 수 있는 결과를 보장하는 것이 매우 중요합니다. 또한 환경이나 무대 변화가 트래킹에 미치는 영향을 쉽게 시각화하고 전달할 수 있는 능력 또한 매우 중요합니다.

이러한 이유로 Artec의 Gold 인증 리셀러인 Freedspace의 트래킹 부서인 Tracklab은 트래킹 공간 계획을 간소화하고, 사용자의 경험에 구애받지 않으며, 트래킹 범위를 최적화하여 촬영 시간을 최대한 활용할 수 있는 방안으로 TVA를 개발했습니다.

3D 스캐닝과 모션 트래킹의 병합

Freedspace는 TVA를 성공으로 이끌기에 유리한 위치에 있습니다. 이 회사에는 세 개의 부서가 있습니다. 3D 프린팅을 담당하는 Thinglab, Artec 3D 스캐너의 판매 및 서비스를 제공하는 Scanlab, 그리고 모션 캡처 솔루션 전문 사업부인 Tracklab입니다.

Freedspace의 3D 트래킹 담당 이사인 Richard Burt에 따르면 이러한 기술들 사이에는 “상호 시너지”를 창출할 기회가 있다고 합니다. 최근의 사례로, TVA에서 모션 캡처 공간을 최적화하기 위해 Artec Ray II 장거리 LiDAR 스캐너를 사용하여 디지털화한 경우가 있습니다.

TVA에서 모션 캡처 스테이지를 최적화하는 것은 3D 스캐닝을 사용하든 안 하든 간단합니다. 하지만 스테이지의 3D 스캔을 가져오면 향상된 트래킹 기능이 한 단계 더 높아집니다.

Ray II를 사용해 모션 캡처 공간을 디지털화하는 것은 간단합니다. 이 스캐너는 삼각대에 장착하여 모션 캡처 룸의 여러 위치로 이동시킬 수 있습니다. Richard는 “Ray II는 한 번의 스캔으로 전체 공간을 캡처할 수 있을 만큼 강력하지만, 여러 위치에서 캡처하면 환경 전체에 걸쳐 데이터 밀도를 극대화할 수 있습니다.”라고 설명합니다.

하지만 높은 정확도를 확보하는 것 또한 중요하며, 내장된 시각 관성 시스템(VIS)은 스캔 데이터를 사전 정렬하여 후처리 과정을 원활하게 해줍니다. Artec 3D의 업계 최고 수준의 스캔 캡처 및 처리 소프트웨어인 Artec Studio는 데이터 융합, 정리 및 내보내기를 신속하게 처리합니다.

Artec Studio에서 모션 캡처 룸의 3D 스캔 데이터를 처리하는 모습.

Richard는 “스캔 중 스포트라이트로 인해 미세한 텍스처 반사가 발생할 수 있지만, Artec Studio의 고급 포토 텍스처링 기능을 사용하면 후처리 과정에서 색상을 보정하고 정규화하여 이를 쉽게 제거할 수 있습니다.”라고 말합니다. 이렇게 생성된 3D 모델은 장면 계획, 최적화 등 다양한 작업에 충분할 정도로 세밀합니다.

Richard는 “이러한 3D 스캐닝 활용 범위를 더욱 확장할 수 있을 것입니다. Artec Leo나 Artec Spider II로 캡처한 사람이나 특정 고해상도 소품의 스캔 데이터를 원활하게 통합하면 됩니다. 또한, 제작 차량과 같은 대형 물리적 자산을 스캔하면 트래킹 공간을 사전에 완벽하게 시각화할 수 있어, 설정 과정에서 발생하는 어림짐작을 완전히 배제할 수 있습니다.”라고 덧붙였습니다.

TVA에서의 모션 캡처 스테이지 최적화

Artec Studio에서 3D 스캔 데이터를 처리한 다음, 계획 수립 및 분석을 위해 TVA로 가져옵니다. Freedspace의 소프트웨어에는 개별 마커 크기와 다양한 OptiTrack 마커 유형에 대한 트래킹을 평가하는 데 필요한 모든 도구가 탑재되어 있습니다. TVA 내에서 개별 위치를 켜거나 끌 수 있으므로, 영화 촬영에 앞서 가상 환경에서 다양한 레이아웃을 테스트해 볼 수 있습니다.

트래킹 공간 최적화를 위한 TVA의 개별 카메라 맞춤 설정 및 조준 도구.

고품질 데이터를 확보하는 것은 전적으로 카메라 설정에 달려 있다는 점을 유념해야 합니다. 카메라를 잘못 배치하면 움직임이 캡처되지 않는 “사각지대”가 생기고, 사람들이 시야에서 가려집니다. Richard가 설명하듯이, 이러한 문제는 장면이 전개되는 방식에 실질적인 영향을 미칠 수 있습니다. 카메라 위치 설정을 통해 원활한 트래킹을 확보하고 공간을 계산함으로써 예측 가능성을 높일 수 있기 때문입니다.

Richard는 “예를 들어, 실제 암석 지형이 카메라 시야를 가리는 동굴 환경에서 촬영을 준비할 경우, 해당 암석을 스캔하면 정확한 크기와 위치를 파악할 수 있습니다. 가상 공간 내에 이러한 암석을 정밀하게 배치하면 가상 제작 과정에서 어림짐작으로 작업할 필요가 없어집니다. 또한, 출연자가 높은 구조물에서 뛰어내리는 등 역동적인 동작을 연기할 때는 세트 구조물의 높이를 파악하여 카메라 위치를 정확히 예측하는 것이 매우 중요합니다.”라고 말합니다.

결국 Ray II 데이터와 TVA의 공간 히트맵 생성 기능을 활용하면 카메라가 적절히 배치되었는지 확인할 수 있는데, 녹색은 촬영 범위가 양호함을, 빨간색은 그 반대를 나타냅니다. 물론 이 소프트웨어에는 “가상 세트”를 처음부터 구축하는 데 필요한 모든 기능이 탑재되어 있습니다. 하지만 OptiTrack의 Motive 소프트웨어에서 보정 파일을 직접 가져오면 현재 설정에 대해 완벽한 확신을 가질 수 있습니다.

TVA의 공간 히트맵 도구는 트래킹 공간 전체에 걸친 OptiTrack 카메라의 촬영 범위를 정확하게 파악할 수 있게 해 줍니다.

다른 트래킹 분야로 확장

Richard는 3D 스캐닝과 TVA 최적화의 이러한 융합이 기존의 CGI 및 VFX 분야뿐만 아니라 더 광범위한 제조 분야에서도 막대한 잠재력을 가지고 있다고 보고 있습니다. 예를 들어, 비디오 게임의 전투 장면을 촬영할 때 캐릭터의 움직임을 방해할 수 있는 테이블과 같은 소품의 크기와 위치를 파악하는 것이 중요합니다. 이러한 상황을 캡처하는 데는 Leo나 Spider II가 적합할 것입니다.

로봇 공학 분야도 마찬가지입니다. Richard가 설명했듯이, 산업 현장과 공장 작업장은 매우 역동적이며, 이동 중인 팔레트, 컨테이너, 무대 준비 장비들로 가득 차 있는 경우가 많습니다. TVA를 사용해 이러한 환경을 시뮬레이션하면 카메라 배치를 최적화하여 로봇이 시야 차단 위험 없이 원활하게 움직일 수 있습니다.

Richard는 “Artec 3D 스캐너를 사용하는 많은 고객들이 TVA와 OptiTrack 시스템의 통합을 통해 이점을 얻을 수 있을 것으로 기대하며, 그 반대의 경우도 마찬가지일 것입니다. 저희 고객층은 비디오 게임 개발, 가상 프로덕션, 애니메이션은 물론 항공우주, 첨단 제조, 로봇 공학 등 다양한 분야에 걸쳐 있습니다. 모션 캡처 공간을 디지털화하고 최적화하려는 모든 기업을 위해 TVA가 해결책을 제공합니다.”라고 결론지었습니다.

TVA(Tracklab Volume App)에 대한 자세한 내용은 여기에서 확인할 수 있습니다.