Hablando volúmenes: los beneficios y desafíos de producción de filmar en escenarios virtuales

por Matt Mulcahey en Realización cinematográfica, Problemas, Producción el 16 de marzo de 2023

Primavera de 2023, producción virtual

Para el artista de efectos especiales de Metropolis, Eugen Schüfftan, un modelo, un espejo y una herramienta con bordes afilados eran todos los instrumentos necesarios para crear maravillas cinematográficas en los años 20. El espejo, colocado en un ángulo de 45 grados frente a la cámara, reflejaba la imagen de un modelo de paisaje urbano ubicado justo fuera del marco. Luego, la herramienta raspó secciones de la capa reflectante del espejo, dejando solo vidrio y revelando actores estratégicamente ubicados en la distancia. Cuando se filmó el espejo, los ciudadanos de Metrópolis ahora parecían habitar mágicamente la colosal distopía urbana.

Un siglo después, la producción virtual es la última evolución en maravilla cinematográfica. Si bien las herramientas pueden ser diferentes (con imponentes paredes de paneles LED y tecnología de motor de juego reemplazando modelos y espejos), el objetivo final sigue siendo el mismo: crear deslumbrantes composiciones en cámara en el set.

Antiguamente, una infinidad de técnicas luchaban por lograr el mismo objetivo, desde pinturas sobre vidrio mate hasta trucos de perspectiva forzada y retroproyección. Esas técnicas hace mucho tiempo que pasaron de moda en favor de la codificación cromática, donde se utilizan pantallas verdes o azules en el set junto con elementos prácticos y luego se reemplazan en la posproducción por placas fotográficas o imágenes generadas por computadora.

La producción virtual busca devolver más de ese proceso de composición a la fase de fotografía principal, utilizando escenarios adornados con LED conocidos como volúmenes con pantallas capaces de mostrar contenido fotorrealista para crear finales en tiempo real en la cámara. Las ventajas de la producción virtual se extienden a lo largo de toda la convocatoria. Los actores pueden actuar dentro de entornos dinámicos en lugar de vastos vacíos verdes. Los editores pueden cortar escenas sin esperar meses a que lleguen placas VFX de una multitud de proveedores. Los directores de fotografía pueden recuperar parte del control sobre la composición y la iluminación que cedieron para publicar mientras disfrutan de la iluminación interactiva del volumen.

¿Necesitas filmar escenas en un vagón de metro y un mundo alienígena distante? Con la producción virtual, puedes pasar la mañana en las entrañas del sistema de tránsito de la ciudad de Nueva York y estar en Neptuno para el almuerzo. “En cuestión de 10 segundos, puedes estar en otro mundo”, dice Sam Nicholson, veterano en efectos visuales y director ejecutivo y fundador de Stargate Studios. “Si puedes permitirte el lujo de ir a París para ver una escena de una página, no habrá nada mejor que eso. Pero hay enormes ventajas en poder cambiar los escenarios, las ubicaciones y la hora del día con solo presionar un botón”.

¿Quieres fotografiar en la hora mágica sin el implacable reloj de la madre naturaleza? El volumen puede proporcionar amaneceres y anocheceres perpetuos. “El enemigo número uno del director de fotografía es el tiempo. Eso es todo lo que estamos luchando durante todo el día”, dice el director de fotografía ganador del Oscar Erik Messerschmidt, quien utilizó la producción virtual en Mindhunter, Mank y la reciente epopeya del piloto de combate de la Guerra de Corea, Devotion. "Cada vez que estoy en un set, desearía poder pausar o adelantar el sol o decirle adónde ir".

El período de formación de la producción virtual se remonta a 2013, cuando varios proyectos utilizaron componentes que ahora son vitales para el proceso. La primera temporada de House of Cards de Netflix empleó el “proceso del pobre” para su trabajo con el automóvil, filmando en el escenario con pantallas verdes rodeando el vehículo. Sin embargo, encima, justo fuera del marco, había pantallas LED que reproducían placas de fondo para proporcionar una iluminación interactiva dinámica a los actores y reflejos realistas en las superficies del automóvil.

En la película de ciencia ficción post-apocalíptica Oblivion, el director de fotografía Claudio Miranda envolvió el decorado del puesto de avanzada a gran altitud y acristalado del protagonista Tom Cruise en una pieza de muselina de 500 pies de largo. Luego proyectó frontalmente placas tomadas sobre un volcán hawaiano sobre el material, lo que permitió realizar composiciones en tiempo real y proporcionar la mayor parte de la iluminación del set.

En Gravity, el director de fotografía Emmanuel Lubezki creó un cubo de 20 pies de paneles LED que reproducían animación previa. Las pantallas no tenían la calidad suficiente para servir como fondo final y fueron reemplazadas posteriormente, pero los LED ofrecieron iluminación interactiva para la astronauta varada Sandra Bullock.

El cambio sísmico de la producción virtual se produjo con el lanzamiento en 2019 de The Mandalorian, la serie de Disney+ que presenta a un cazarrecompensas intergaláctico y su pequeña carga, cariñosamente apodada Baby Yoda. La mitad de la temporada inicial se filmó en una pared de video LED de 20 pies de altura y 270 grados en Manhattan Beach Studios, el espacio donde se utilizó por primera vez el término "el volumen". El programa presentó por primera vez la plataforma de producción virtual StageCraft de Industrial Light & Magic, que utilizó Unreal Engine de Epic Games para "impulsar" el contenido de la pared LED. StageCraft ofrecía nuevas capacidades cruciales. La plataforma ajustó dinámicamente las pantallas LED a medida que la cámara se movía, proporcionando cambios de perspectiva adecuados. StageCraft también ofreció fondos CG fotorrealistas renderizados en tiempo real que permitieron que los entornos virtuales del volumen sirvieran como composiciones de "píxel final" en la cámara.

Los paneles LED utilizados por primera vez en volúmenes se reutilizaron a partir de pantallas a gran escala utilizadas para eventos en vivo y vallas publicitarias. "Solían venderte Coca-Cola al costado de la autopista", dice el director de fotografía David Klein, quien se unió al universo de transmisión de Star Wars como director de fotografía de la segunda unidad en la segunda temporada de The Mandalorian. Desde entonces, se desempeñó como director de fotografía de la unidad principal en episodios de The Book of Boba Fett, Skeleton Crew y la tercera temporada de The Mandalorian. Es un arco tortuoso para Klein, quien comenzó su carrera con Clerks de baja fidelidad de Kevin Smith y ahora se encuentra a la vanguardia de las técnicas de producción. "Esta tecnología es tan nueva que cambia minuto a minuto", afirma Klein. “Cada vez que pienso que voy a hacerle [a la “barra cerebral” que controla el volumen] una pregunta estúpida, la respuesta suele ser: 'Nadie nos ha preguntado eso nunca'. No sabemos si puede hacer eso o no”. Y si no puede, generalmente al día siguiente podrá hacerlo. Estamos cambiando constantemente la forma en que se hacen las cosas”.

Ese avance perpetuo se aplica también a las capacidades de los videowalls, que han comenzado a incorporar funciones más específicas de producción. "Los fabricantes de LED ahora entienden cómo usamos sus productos y están dispuestos a hacer ajustes", dice Messerschmidt. "Hay todo tipo de problemas realmente técnicos que se han resuelto, pero en este punto las pantallas todavía son señales aparentemente reutilizadas".

Al seleccionar los mejores paneles para un proyecto en particular, el supervisor de producción virtual y Nicholson dicen que se deben considerar una multitud de factores. "Empiezas preguntando qué tan grande va a ser tu escenario y a qué distancia vas a trabajar de la pantalla", dice Nicholson. “Entonces, tienes que preguntarte si vas a construir un decorado grande. ¿Cuál es tu campo de visión? ¿Vas a utilizar lentes anchos o lentes largos? ¿Cuál es tu profundidad de campo? Si vas a disparar profundamente, necesitas una resolución más alta. ¿Cuál será el movimiento de tu cámara? ¿Es la escena una secuencia de pelea o es un paseo y una charla? Necesitas una pantalla de muy alta frecuencia si vas a hacer algo como una pelea con espadas”.

Un componente clave de los paneles es el tamaño de los píxeles: la distancia entre los centros de los píxeles vecinos. Cuanto menor sea el tamaño de los píxeles, mayor será la resolución del panel. Klein dice que los programas de Star Wars suelen utilizar paneles con distancias entre píxeles de 2,8 mm y 5,7 mm. "Cuanto mayor sea la resolución, más podrás salirte con la tuya", explica Klein. "Tu enfoque puede acercarse a las pantallas antes de que se rompa y tienes menos problemas con el muaré".

Para una serie como The Mandalorian, crear el contenido virtual que se mostrará en los paneles requiere un período de preproducción prolongado. "Es un proceso de cinco o seis meses una vez que el departamento de arte virtual comienza a diseñarlo", dice Klein. “David Lowery, nuestro artista principal de guiones gráficos, hace guiones gráficos para todo el episodio, luego el equipo de previsualización creará una animación completa de todo el episodio: entornos virtuales completos, actores capturados en movimiento, etc. Es bastante salvaje. Luego, el director y yo prepararemos las tomas virtualmente dentro de esta animación y también comenzaremos con la iluminación previa, que se realiza principalmente en realidad virtual en monitores con colores precisos”.

Una vez que se completa la iluminación previa de Klein, el jefe mandaloriano Jeff Webster, un veterano de casi 40 episodios de las diversas series de Star Wars, comienza su trabajo. “Por lo general, vengo un par de semanas antes de lo que lo haría para una preparación regular, así puedo comenzar a ingresar al espacio de realidad virtual y comprobar las cargas. Tengo que asegurarme de que las fuentes de luz que David ha instalado sean físicamente posibles en el espacio del volumen real”, dice Webster. “Luego entraré y veré dónde han colocado las cámaras y qué lentes han elegido. Necesito saber si, por ejemplo, vamos a ver todo el techo para una toma en particular y si tendré que hablar con VFX y ver si pueden pintar [parte de nuestro equipo]. Es un diálogo constante entre todos estos diferentes departamentos”.

Además de tres volúmenes de StageCraft en el área metropolitana de Los Ángeles, ILM tiene instalaciones permanentes en Vancouver y Pinewood Studios en Londres. La compañía también crea ventanas emergentes personalizadas, como la de Fox Studios Australia utilizada para Thor: Love and Thunder. Los extensos Trilith Studios de 700 acres en Atlanta, hogar de muchas producciones de Marvel, también entraron en el juego de producción virtual el año pasado con su Prysm Stage. Este volumen totalmente cerrable hizo su viaje inaugural con Megalópolis de Francis Ford Coppola. Para no quedarse atrás, Amazon inauguró el Stage 15 en diciembre, una instalación de 34.000 pies cuadrados en Los Ángeles que incluye un volumen de exploración de ubicaciones virtuales y un volumen de captura de movimiento. El videowall del escenario mide 26 pies de alto, solo un pie más bajo que el volumen de Pixomondo en Vancouver.

Además de estas cavernosas instalaciones, cientos de escenarios y proveedores de todas las formas y tamaños han entrado en la contienda de producción virtual, lo que hace que los técnicos experimentados para manejar las configuraciones sean el recurso más finito en este momento. "No hay duda de que los operadores son el componente más mágico de todo", dice Nicholson, quien comenzó a organizar programas de capacitación mensuales en Los Ángeles para reforzar sus filas. "Cualquiera puede salir y comprar un par de miles de paneles y afirmar que están en producción virtual, y es muy fácil para los ejecutivos emitir un cheque por la tecnología, pero el truco es encontrar a las personas adecuadas para ejecutarla".

La carrera de Nicholson comenzó de manera auspiciosa en 1979, cuando aún era un estudiante de posgrado. Su primer trabajo cinematográfico lo encontró creando la iluminación cinética para el núcleo warp de varios pisos del Enterprise en Star Trek: The Motion Picture. Fundó Stargate Studios en 1989 con énfasis en efectos visuales, pero ahora la compañía también ofrece capacidades de producción virtual. Eso incluye trabajar con una pared LED de 165 pies de largo y 30 pies de alto en el lote de Warner Bros. para la comedia pirata Our Flag Means Death. "Cada programa es diferente y diseñamos un volumen y creamos contenido para adaptarlo al programa y no al revés", dice Nicholson. “No estamos pidiendo que las producciones se salgan de nuestro volumen para que podamos hacer que suceda la magia. Les llevaremos la magia a su escenario”.

En Station 19, un drama de ABC ambientado en una estación de bomberos de Seattle, esa magia frecuentemente incluye tomas de proceso. Pero Nicholson también emplea producción virtual para escenas en lo alto del balcón de la estación de bomberos, donde utiliza un enfoque híbrido: pantalla verde para las tomas amplias, cargas de volumen para los medios y primeros planos. “Todavía hay algunas cosas que son mejores en pantalla verde. Como muchas otras cosas, una mezcla es probablemente lo mejor”, afirma Nicholson. “Las tomas amplias, los ángulos de cámara extravagantes y las escenas de lucha que requieren un desenfoque de movimiento de alta velocidad son mejores en la pantalla verde. La cobertura de diálogos, que probablemente representa al menos el 50 por ciento, si no más, de la mayoría de los presupuestos de efectos visuales, es excelente para las pantallas LED”.

La tecnología tiene limitaciones. Las encarnaciones actuales de las pantallas siguen funcionando mejor cuando se toman ligeramente desenfocadas, lo que no siempre es ideal para la narración. "Cuanto menor sea la profundidad de campo y cuanto más larga sea la lente, menos problemas tendremos", afirma Messerschmidt. “Pero eso también le da a la audiencia menos información contextual. Cuando es apropiado para la toma, quiero empujar la pared y la tecnología para enfocarla lo más posible”.

Nicholson comparte esa aspiración. “Nuestro objetivo es el fotorrealismo. Ésa es la línea de demarcación”, afirma. “No quiero desenfocar todo completamente con poca profundidad sólo para decir: 'Oh, mira, tenemos una composición'. Lo quiero tan bien como lo verías en la pantalla verde, o muy cerca”.

La caída creíble del enfoque dentro de las cargas virtuales también es un arte que las paredes volumétricas aún deben dominar. "En el pasado, muchas veces el volumen se rompía cuando el contenido virtual tenía una cosa que se suponía que estaba a 200 metros de distancia y otra que se suponía que estaba a un kilómetro de distancia y ambas estaban desenfocadas en la misma cantidad", dice Klein.

Crear una luz solar exterior creíble también es problemático. “Aún no se puede incluir la luz solar abierta en el volumen. No sé si algún día podrás hacerlo, porque tienes un límite de espacio”. Dice Klein: “100 pies por 80 pies se vuelven muy pequeños muy rápidamente. No puedes hacer retroceder las luces lo suficiente como para llenar el volumen. Además, con tanta luz solar fabricada, lavarías las pantallas y las inutilizarías. Entonces, cada vez que estamos expuestos a la luz solar directa, estamos en el lote trasero”.

Webster señala otro problema con los exteriores con luz natural: a medida que los actores se mueven a través del volumen, la “luz del sol” se vuelve más brillante a medida que se acercan a las paredes. "Hay un punto óptimo en el medio del volumen, y si te mueves fuera de ese punto, seguirás volviéndose más y más brillante", dice Webster. "No sé si el público se daría cuenta [conscientemente] de eso, pero creo que sentirían que algo no está bien".

Aunque no tuvo que ocuparse del trabajo exterior durante todo el día en el volumen sobre Devotion, Messerschmidt tuvo que idear un enfoque novedoso para crear luz solar para las escenas de la cabina virtual de la película. Messerschmidt y su veterano jefe Danny González idearon un plan para tomar una bombilla Arri T12 desnuda, colocarla dentro de una caja de sombra y fijarla a una Technocrane. Aquí entra el electricista Evan Houth, a quien Messerschmidt describe como “el tipo de persona que viaja con un torno”.

"Es simplemente un manitas increíble", dice Messerschmidt. “Él ya tenía herramientas de chapa en su habitación de hotel, así que salió y compró un montón de láminas de estaño o aluminio, cualquiera que fuera el material, e hizo nuestra caja de sombra. Le pusieron un enchufe, lo pintaron de negro mate y lo hicieron volar alrededor del avión para que recibiera la luz del sol”.

Al igual que las situaciones de alto nivel, los niveles bajos de luz pueden crear sus propios problemas en el volumen. “Ahora todo el mundo quiere iluminar con una linterna. También me encanta la iluminación discreta, pero a las paredes no les gusta quemarse”, dice Nicholson. "Literalmente empezarán a parpadear muy rápido y, dependiendo de la frecuencia de tu pared, empezarás a ver muchos artefactos".

Independientemente del nivel de luminancia, el jefe Webster dice que los paneles LED que no se ven en la cámara también desempeñan un papel clave. Esas “tarjetas luminosas” pueden realzarse para darle más fuerza o oscurecerse para obtener un relleno negativo. “Estamos haciendo algún tipo de tarjeta en cada toma. Tengo mi propio control de iPad donde puedo generar una forma y manipular hacia dónde quiero que vaya. Entonces, por ejemplo, si quiero un poco de luz de borde sobre un actor, simplemente hago una tarjeta delgada justo encima de él, justo fuera de cámara”, explica Webster. "Es un sueño para un gaffer porque es como si hubieras equipado todo el escenario con 270 grados de luz controlable".

Si no se ejerce con cuidado, ese nivel de control corre el riesgo de crear imágenes tan perfectas que parezcan artificiales. Messerschmidt era consciente de ese peligro en Devotion, donde mezcló escenas de la cabina filmadas prácticamente en aviones de época con aquellas filmadas en un escenario virtual en Trilith. “Cuando grabas imágenes aéreas de verdad, es complicado. No siempre se puede controlar la posición del sol. No siempre estarás perfectamente retroiluminado. El fondo no siempre estará exactamente donde uno lo desea”, afirma Messerschmidt. “Una vez que llegamos al volumen, pudimos realmente manicurar todo. Así que tuvimos que decir: 'Vamos a estropearlo un poco', porque la naturaleza misma del rodaje en exteriores reales es que es imperfecto. Eso es lo que intentábamos emular con el trabajo de producción virtual”.

Messerschmidt aplicó una filosofía similar a la ubicación de su cámara de volumen. "No queríamos hacer eso de Chitty Chitty Bang Bang, donde la cámara está volando por todos lados", dice. "Sólo queríamos colocar cámaras en lugares donde realmente se pudieran colocar si realmente se iba a volar el avión".

Como cualquier decisión de producción, se deben tener en cuenta consideraciones financieras y artísticas al sopesar si la producción virtual es la herramienta adecuada. "En general, la cuestión es si será más rentable construirlo [como un escenario físico] o crearlo virtualmente", dice Klein. “No es un proceso barato construir entornos virtuales y ponerlos en las pantallas. Yo llamo al trabajo en volumen 'el proceso del hombre rico'”.

Si bien un volumen del tamaño de Mandalorian y un mundo fantástico generado por computadora para poblar las paredes LED pueden estar fuera del rango de precios de producciones con menos dinero, Klein dice que las versiones más pequeñas de la tecnología son cada vez más escalables para los presupuestos independientes. "Creo que todas las herramientas nuevas eventualmente se adaptarán a diferentes rangos de presupuesto en este negocio", afirma. “No creo que un volumen completo con toda la creación de contenido que lo acompaña vaya a funcionar para muchas películas independientes de bajo presupuesto, pero las paredes portátiles más pequeñas y los volúmenes parciales emergentes podrían ser absolutamente válidos para proyectos de cualquier tamaño. .”

El hecho de que la producción virtual pueda tener sentido fiscal o logístico para una producción no significa que la tecnología sea ideal para cada circunstancia. "Mi experiencia con la producción virtual ha sido a menudo que la gente piensa que es una solución llave en mano para cada problema, luego se meten en problemas que el volumen no resuelve y tienen que manipular sus técnicas de narración para meterlos en un espacio de producción virtual", dice Messerschmidt. . “Esa es una forma realmente incómoda de trabajar. No me gusta que me pongan en una situación en la que la tecnología dicta la narración. Creo que la narración debería dictar la tecnología”.