Fotogrametría para juegos
Durante la última década, los modelos de personajes y entornos en los videojuegos han avanzado a pasos agigantados, no sólo debido a las actualizaciones de hardware de las consolas de juego, sino también a la adopción de procesos de digitalización como la fotogrametría. Usando esta tecnología, ahora es posible crear mundos fotorrealistas que le proporcionan un nivel de inmersión sin precedentes a un creciente ejército de jugadores de todo el mundo. Aquellos familiarizados con la fotogrametría sabrán que efectivamente se trata de varias imágenes de un objeto recopiladas y transformadas en modelos 3D que luego presentan un nivel impresionantemente alto de calidad de textura. Pero, ¿cómo se está utilizando exactamente este proceso en la industria de los videojuegos? En el siguiente artículo, levantamos la tapa sobre el tema, cubriendo todo: desde los pasos del flujo de trabajo hasta la posibilidad de usar el escaneo 3D como alternativa.
Introducción
Un videojuego que se juega en un teléfono inteligente
Antes de entrar en las aplicaciones, es posible que te preguntes: ¿Qué es fotogrametría?
En resumen, el proceso implica la toma de imágenes superpuestas de un objeto específico desde varios ángulos. Al identificar los mismos puntos en estas fotografías y garantizar un posicionamiento constante de la cámara, la distancia focal y la distorsión, puedes obtener sus coordenadas, triangular dónde se encuentran en un espacio 3D y replicarlas como modelos 3D.
En el mundo de los videojuegos, la fotogrametría se utiliza cada vez más para capturar y agregar accesorios de la vida real, ubicaciones e incluso caras de actores en los juegos. Con la tecnología, los desarrolladores ahora no sólo pueden construir mundos con gráficos fotorrealistas, sino que también pueden hacerlo en una fracción del tiempo que de otro modo tomaría crearlos manualmente.
Antes de pasar a la fotogrametría, los artistas gráficos a menudo tenían que comenzar desde cero con tales modelos 3D, en un flujo de trabajo que les hacía comprometerse, equilibrando la estética con la jugabilidad y las restricciones del tiempo de entrega.
Los métodos tradicionales de diseño de «caja blanca», en los que la programación debía probarse continuamente a medida que un juego evolucionaba a su alrededor, también crearon dudas ya que los sistemas no podían evaluarse completamente hasta que el proyecto comenzara a unificarse. En contraste, utilizando fotogrametría, los estudios ahora pueden capturar y cargar modelos para crear "kits" de los mundos con anticipación. Esto ayuda a los desarrolladores a estar mejor preparados y entregar sus proyectos a tiempo.
Durante el resto de este artículo, desglosaremos los pasos individuales del flujo de trabajo que algunos desarrolladores están llevando a cabo para que esto sea posible. También profundizaremos en las diferentes tecnologías que es posible implementar como medio para llevarlas a cabo, y evaluaremos las ventajas potenciales de cada enfoque.
¿Cómo se utiliza la fotogrametría en los videojuegos?
Con una alta fidelidad gráfica y ciclos de lanzamiento cortos que son clave para el éxito en la industria del juego moderno, los beneficios de adoptar la fotogrametría son claros. Como tal, la tecnología se está convirtiendo rápidamente en un estándar de la industria. Pero, ¿cómo funciona todo el proceso en la práctica?
Al igual que con cualquier otra aplicación de fotogrametría, el flujo de trabajo comienza con un objeto que se captura desde varios ángulos, en un patrón lineal, similar a una matriz, con cada fotografía superpuesta a la siguiente. Al capturar objetos más grandes, los desarrolladores pueden optar por comenzar tomando fotos de 360o, antes de acercarse a capturar detalles finos. Pero generalmente es más fácil usar dispositivos de largo alcance, ya que se adaptan mejor a este tipo de aplicación.
La fotogrametría se utiliza en la industria de los videojuegos. Fuente de la imagen: smns-games.com
Así las cosas, lograr todo esto es más fácil decirlo que hacerlo, y los estudios de videojuegos tienen que evitar una serie de trampas para asegurarse de obtener modelos completos, con la forma y las proporciones correctas. Para empezar, los desarrolladores deben considerar el equipo que planean usar. Si utilizan una cámara de alta resolución, tendrán que garantizar de que las fotos se superpongan.
Sin embargo, si usan un dispositivo de detección y alcance de luz (LiDAR), también tendrán que considerar el material base del objeto. Si resulta ser retro-reflectante, por ejemplo, es probable que su superficie haga rebotar la luz hacia el receptor del escáner con una pérdida de señal mínima. Por otro lado, si dicho objeto es brillante u opaco, será más difícil de digitalizar.
Punto clave
Después de haber sido utilizada durante mucho tiempo en topografía para construir mapas, la fotogrametría ahora está demostrando ser una herramienta útil para los desarrolladores de videojuegos que crean entornos 3D.
Una vez que los desarrolladores han abordado estos problemas y capturado un conjunto de mediciones completamente superpuestas, necesitan procesarlas comenzando con un programa como Adobe Photoshop. Hacerlo permite ajustar aspectos como la iluminación y las sombras para que los modelos finales coincidan con el tono del juego para el que están diseñados. Después de la corrección de color, a menudo se exportan a programas como RealityCapture, donde las imágenes se pueden alinear en una nube de puntos y se transformar en una malla 3D texturizada.
Los modelos iniciales pueden ser «re-topologizados» más tarde, un proceso que reduce el número de polígonos de los modelos para que sean más fáciles de renderizar en el juego. Finalmente, una vez que la información almacenada en estas mallas 3D se procesa en archivos de textura, sus superficies se pueden ajustar de varias maneras paraque parezcan más realistas.
Puede combinarlos con máscaras que agregan efectos visuales como sombras y desgaste, e incluso usar mapas de procedimientos o texturas para simular mejor las geometrías de los objetos, antes de exportarlos a motores de juegos populares como el Unreal Engine.
Ejemplos de fotogrametría en videojuegos
La fotogrametría en sí misma es una tecnología en evolución, pero no completamente nueva. El proceso se ha implementado durante mucho tiempo en áreas como control de calidad y topografía, pero sólo ha ganado tracción en los videojuegos recientemente. Uno de los primeros estudios importantes en adoptar realmente la fotogrametría fue DICE, un desarrollador sueco encargado de reiniciar la popular franquicia Star Wars: Battlefront en 2015.
Enfrentando un calendario de lanzamiento ajustado, una demanda de juego de 60 FPS y la necesidad de familiarizarse con una nueva generación de consolas, DICE no carecía de desafíos de cara a la producción. Sin embargo, el estudio todavía quería crear un mundo que fuera fiel a su material original. Para lograr esto, el desarrollador profundizó en los archivos para buscar accesorios de las películas originales de Star Wars, antes de modificarlos en 3D con fotogrametría.
Personajes de videojuegos de DICE para Star Wars Battlefront. Fuente de la imagen: battlefront.fandom.com
Usando este enfoque, DICE aprovechó más de la mitad del tiempo que tomó digitalizar cada activo en comparación con su título anterior, Battlefield 4. Además, el trabajo del estudio le permitió desarrollar «kits de construcción de niveles» compuestos por accesorios de Star Wars, modelos de personajes y escenarios, que formaron la base del juego final. DICE también descubrió que su enfoque le permitía establecer un flujo de trabajo mucho antes del lanzamiento, algo que le facilitó adelantarse a los plazos internos.
Desde que el trabajo pionero del desarrollador salió a la luz por primera vez, otros videojuegos de gran éxito se han construido de manera similar. Para su propio relanzamiento de la franquicia Call of Duty Modern Warfare en 2019, Infinity Ward descubrió que podía usar los datos recopilados a través de la fotogrammería para llevar a cabo un proceso de «mosaico» que mejora la resolución de los detalles de la superficie.
Punto clave
La fotogrametría no sólo se utiliza para construir entornos 3D continuos, sino también para muchas de sus partes componentes, incluidos accesorios, follaje y modelos de personajes.
A medida que el desarrollo del título avanzaba, el estudio continuó experimentando más. En algunos casos, los miembros del equipo fueron escaneados como base para modelos de cadáveres, e incluso utilizaron escáneres transportados por drones para capturar entornos más grandes. Con la fotogrametría permitiendo en última instancia la creación rápida de modelos de accesorios, escenarios, armas, vehículos y personajes, el proyecto mostró cuán lejos han llegado las aplicaciones de videojuegos de la tecnología.
Software de fotogrametría para videojuegos
Anteriormente en este artículo mencionamos a RealityCapture, pero no es el único software de fotogrametría que le permite crear modelos 3D para videojuegos con un alto nivel de precisión. El desarrollador de juegos líder en la industria, Electronic Arts (EA), por ejemplo, es conocido por usar PhotoModeler. Utilizando la funcionalidad Idealize del software, es posible eliminar las distorsiones de la lente durante el procesamiento. Se dice que esto hace que sea mucho más fácil crear fondos nítidos de juegos y animaciones que coincidan mejor con su material de origen.
El programa también cuenta con un algoritmo automático de generación de nubes de puntos que produce modelos con texturas de alta precisión que se pueden exportar en un formato CAD ampliamente utilizado. Dicho esto, el programa no está estrictamente diseñado para la fotogrametría. Como resultado, el software carece del flujo de trabajo automatizado de foto a sólido, característico de los competidores dedicados.
Fotogrametría de coche en RealityCapture
Para aquellos que buscan programas diseñados para la digitalización de paisajes impresionantes, Unity comercializa SpeedTree. Utilizando todo, desde herramientas de arte 3D hasta algoritmos de generación de procedimientos, el software permite que la vida vegetal se recree fielmente. Por lo tanto, no es de extrañar que haya sido recogido por incondicionales de los juegos como Bungie y Ubisoft.
Asimismo, Agisoft ofrece Metashape, un software de edición de modelos 3D capaz de procesar datos de imágenes elaboradas, capturadas tanto de cerca como a distancia. Si bien se usa más a menudo en investigación, topografía o defensa que en el desarrollo de videojuegos, la función de calibración automática del programa y el soporte multicámara lo convierten en una opción atractiva para aquellos que digitalizan objetos complejos o crean grandes entornos 3D.
Sin embargo, hay algunos inconvenientes en el uso de paquetes de fotogrametría actuales. Muchos se comercializan en niveles, lo que significa que, en algunos casos, los usuarios encontrarán que tienen que actualizar para acceder a ciertas funciones. En otros, los programas pueden carecer de funcionalidades por completo. Esto eleva el listón de entrada para los nuevos adoptantes, ya que pone énfasis en ellos para saber qué paquetes suplementarios necesitarán para un proyecto determinado.
Fotogrametría de un mancubus, un monstruo que aparece en la clásica serie de videojuegos Doom
En otros lugares, si estás buscando un software más amplio y accesible, Artec 3D comercializa Artec Studio. La mayoría de las veces, el programa se utiliza para procesar los datos capturados por los escáneres 3D; y la última versión, Artec Studio 17, incluye una serie de características útiles cuando se trata de optimizar la calidad de los modelos 3D resultantes.
La funcionalidad de piloto automático del programa hace que sea más fácil que nunca para los recién llegados, ofreciendo elegir el algoritmo de procesamiento de datos más efectivo para ellos, basado en unas pocas entradas de casillas de verificación. El algoritmo de registro de fotos de Artec Studio también permite a los usuarios mejorar la claridad del color del modelo mediante la aplicación de texturas utilizando fotografías de alta resolución.
Punto clave
El software es vital para la construcción del mundo 3D, y la elección del programa a menudo determina la forma en que las imágenes capturadas se pueden recopilar y presentar en el juego.
Además, con el algoritmo de alineación por escala de la plataforma, los usuarios pueden hacer coincidir la escala arbitraria de los modelos 3D con la de un objeto específico, basándose sólo en un puñado de características geométricas clave. Esto puede ser especialmente útil cuando se trata de transferir texturas a modelos de fotogrametría realizados sin el uso de referencias, que no corresponden a la escala o tienen superficies particularmente detalladas.
En general, en conjunto con el hardware 3D de Artec, estas características agilizan el proceso de captura y conversión de datos en modelos precisos, ya sea para cosas como inspección e ingeniería inversa, o videojuegos, animación y desarrollo CGI.
El escaneo 3D como alternativa
Si bien la fotogrametría ha demostrado ser una herramienta de modelado de videojuegos capaz, tiene sus limitaciones. La precisión de los activos 3D resultantes depende de la resolución de las cámaras utilizadas para fotografiar el objeto específico. El clima cambiante, además de los problemas de calibración, ángulo y redundancia, pueden conducir a la creación de modelos no detallados. Además, capturar y combinar imágenes superpuestas consume naturalmente mucho tiempo. Estas cuestiones plantean la pregunta: ¿existe un método de modelado 3D más eficiente?
3ª Guerra Mundial: Desarrollo de personajes en etapa tardía después del escaneo de Artec Leo y Space Spider. Pistola Glock 17 escaneada con Artec Space Spider. Escaneos faciales hechos con Artec Leo
Aquellos que buscan acelerar el proceso de creación de modelos 3D para videojuegos pueden considerar la adopción del escaneo 3D. Con impresionantes velocidades de escaneo de hasta 40 fotogramas por segundo (sin modo de registro), los dispositivos de vanguardia como el Artec Leo ofrecen a los usuarios de fotogrametría un medio potencial para acelerar su flujo de trabajo.
En el pasado, el estudio The Farm 51 ha logrado precisamente esto. Al complementar el Leo con otro escáner 3D, el Artec Space Spider, el desarrollador ha podido crear modelos de videojuegos increíblemente realistas de la 3ª Guerra Mundial. De hecho, cambiar del enfoque de fotogrametría utilizado para desarrollar sus títulos anteriores, permitió a la firma generar cada personaje, vehículo y modelo de arma para su tirador en-línea en tan sólo unas pocas horas.
La jugabilidad de la 3ª Guerra Mundial y un escaneo de desarrollo de personajes en etapa inicial se revisan con Artec Leo
La popular franquicia de videojuegos de Xbox, Hellblade, también presenta modelos 3D de cuerpo completo creados a través del escaneo 3D de Artec. Desarrollado con la ayuda de la tecnología de captura de movimiento en el estudio Ninja Theory, propiedad de Microsoft, el juego presenta una réplica asombrosa en el juego de la actriz principal Melina Juergens. Gracias a la impresionante flexibilidad y precisión del Artec Eva, el desarrollador no sólo pudo hacer que el personaje pareciera realista, sino diseñarlo con piel y músculos que se parecían a los de una persona real.
En el presente, la escala tampoco es un obstáculo para el modelado 3D. Con Artec Micro, puede crear versiones digitales de objetos pequeños, capturando detalles intrincados con una resolución de hasta 0.029 mm, antes de usarlos para poblar mundos en el juego. En el otro extremo del espectro, el Artec Ray, de largo alcance, ya se ha utilizado para escanear en 3D un helicóptero de rescate completo. Con la tecnología encontrando continuamente nuevas aplicaciones de modelado a gran escala, ¿quién puede decir que no se puede usar para transportar tales imágenes al reino virtual?
Un modelo 3D de un MD-902 y el helicóptero escaneado en 3D con Artec Leo
¿Aún no estás listo para eliminar la fotogrametría por completo? No hay problema, en algunos casos combinar la fotogrametría con el escaneo 3D es precisamente la solución que estás buscando. Esto es facilitado por AS17, que permite a los usuarios combinar imágenes capturadas a través de cámaras de alta gama con escaneos 3D. Los adoptantes también pueden aprovechar la funcionalidad de textura fotográfica del software, una característica que permite crear modelos con datos de captura de color más precisos.
Conclusión
A la luz de las aplicaciones prácticas descritas anteriormente, está claro que tanto la fotogrametría como el escaneo 3D están ayudando a empujar los límites gráficos en la industria de los videojuegos. Como cada éxito de taquilla construido con escaneo se ha basado en plataformas 3D ligeramente diferentes, actualmente no existe una solución multipropósito que se pueda implementar repetidamente para crear modelos para cualquier videojuego dado.
En cambio, los estudios se enfrentan a una selección de paquetes de hardware y software, algunos diseñados específicamente para el desarrollo de juegos y otros construidos para aplicaciones más amplias. Al decidir entre estos, los desarrolladores deben considerar factores como el tipo de entornos que desean recrear en el juego, así como la fidelidad gráfica que desean que tengan los objetos en su mundo virtual.
Afortunadamente para estos creadores, la creciente adopción de la fotogrametría y el escaneo 3D en los juegos los ha llevado al lanzamiento de productos que satisfacen diversas necesidades. La capacidad comprobada de la tecnología para reproducir fielmente objetos de todas las formas y tamaños, listos para cargar, ajustar e integrar en mundos virtuales, también la hace atractiva para acelerar el desarrollo de nuevos juegos de vanguardia.
Con esto en mente, es un momento emocionante para la fotogrametría y el escaneo 3D en la industria de los videojuegos: será interesante ver cómo las tecnologías continúan impulsando la innovación allí en un futuro próximo.
Más información
Del centro de arendizaje
La fotogrametría es el proceso de tomar medidas fiables a partir de fotografías. Desde hace siglos se utiliza en cierta forma y ha ayudado a comprender cosas como la superficie de la Tierra. Hoy en día, desempeña un papel fundamental en muchos sectores. Por ello, a continuación, presentamos una guía para que se comprenda de forma general qué es y cómo funciona.
En los últimos años, las barreras de entrada que una vez hicieron que la fotogrametría fuera inaccesible para la mayoría, principalmente por el precio y la tecnología disponible, se han aliviado considerablemente. Esto ha allanado el camino para una adopción más generalizada, incentivando el desarrollo de mejor software, más capaz y fácil de usar. Aquí, echamos un vistazo sobre lo que está disponible. Hablamos de compatibilidad, precios, pros y contras; y algunos otros detalles importantes, para ayudarte a buscar una solución para tus necesidades de fotogrametría.
El proceso de creación de un modelo 3D comienza con la elección de la herramienta adecuada para el trabajo, y esta elección gira principalmente en torno a para qué necesitas el modelo 3D, en otras palabras, cómo planeas usarlo. Algunas de las herramientas más populares incluyen el escaneo 3D y la fotogrametría, y este artículo está aquí para guiarte sobre cuál de ellas debes elegir para un proyecto específico, así como cuándo se pueden combinar.