VFX 아티스트 세타라 사만다리가 들려주는 Dark Asset 제작 과정

영화 지.지.지(Guns, Girls and Gambling)의 감독인 마이클 위닉의 최신 영화 프로젝트 Dark Asset은 스파이와 마이크로칩, 군사 과학자의 이야기로 터미네이터에서 T-1000을 연기한 로버트 패트릭도 등장합니다. 이 영화는 완벽한 액션 스릴러의 공식을 따릅니다.

이번 포스팅에서 줄거리는 공개하지 않을 예정입니다. 대신 Unity에서 프리비즈를 제작하고 효율적인 프로덕션 워크플로를 구축하기 위해 VFX 리드 아티스트인 세타라 사만다리가 사용한 가상 프로덕션 기법을 공개합니다. 이 글에서는 할리우드의 Gnomon School of Visual Effects에서 학업한 세타라가 지난 4년간 VFX 아티스트로 일하며 겪은 경험을 공유합니다.

Dark Asset의 초기 제작 과정에 대해 듣고 싶습니다. 이 프로덕션에서 가상 세트를 선택하게 된 계기가 무엇인가요?

마이클 위닉과 가상의 장소를 만들지, 실제 장소를 찾을지 논의했습니다. 각 옵션의 이점에 대해 긴 대화를 나눈 후 비용과 시간 절약 면에서 유리한 가상 세트를 만들기로 결론을 내렸습니다. LED 벽에 사용할 두 가지 환경을 제작하였고 다른 두 개의 씬은 전체를 그린 스크린에서 촬영했습니다.

가상 세트를 제작해서 수많은 이점을 얻었습니다. 실시간으로 작업할 수 있는 Unity의 특성 덕분이었죠. 프리비즈를 보며 Zoom 미팅을 통해 어떤 장면을 CG로 할지, 어떤 장면은 그린 스크린 배경으로 할지 논의하고, 스토리보드 제작 방식과 촬영 각도를 결정했습니다.

실시간 에셋을 사용한 것이 세트에 어떤 영향을 미쳤나요?

Dark Asset뿐 아니라 제가 이전에 작업한 아티스트 샤니의 'Breathe Free' 뮤직 비디오 등 여러 프로젝트에서도 Unity 덕분에 디렉터, DP, 프로덕션 디자이너, VFX 감독 등 주요 크리에이티브 전문가가 가상 세트를 확인하고 실시간으로 직접 상호작용할 수 있게 되어 효율이 높았습니다. 팀원 간 커뮤니케이션과 감독의 피드백이 둘 다 명확해졌죠.

또한 세트에서 키잉(keying) 작업을 통해 가상 배경을 합성하여 그린 스크린에서 촬영된 캐릭터가 잘 어울리는지 확인할 수 있었습니다. 마이클을 비롯한 팀원들은 이 덕분에 다수의 선택지가 생겨 상상했던 의도에 가깝게 제작해낼 수 있었습니다.

이 기술은 배우들에게도 도움이 되었습니다. LED 볼륨 대신 그린 스크린을 사용할 때는 동일한 툴을 사용하여 가상 무대에서 배우의 실시간 합성 프리뷰를 제공하고 카메라 이동 프리뷰를 배우에게 제시할 수 있었습니다.

모든 조명과 가상 세트 배치를 인터랙티브한 방식으로 조정할 수 있어 Nuke에서 매번 확인하는 이전 방식보다 훨씬 더 간편했습니다. 프리비즈 작업을 꼼꼼하게 해서인지 포스트 프로덕션에서 많은 시간을 절약할 수 있었습니다. 모든 사람이 세트에서 일어나는 일을 더욱더 잘 알 수 있게 되었죠.

더 나은 방향으로 크게 변화한 것 같네요. 실시간 에셋을 사용하여 제작한 씬을 소개해 주실 수 있나요?

여주인공이 사무실에 앉아 있는 장면이 하나 있습니다. 3D 배경은 제가 Unity로 제작했습니다. 카메라의 원근을 일치시키고 실제 조명을 그린 스크린과 함께 사용하여 실제처럼 보이게 했습니다.

마이클과 함께 원하는 사무실 스타일을 즐겁게 디자인한 기억이 있습니다. 저는 Unity에 이미 마련해둔 에셋과 머티리얼 몇 가지를 선택하여 사무실을 꾸미고, 마이클은 본인이 생각해 둔 사무실 모습을 알려주는 방식으로 함께 작업했죠.

Unity로 작업해 보니 Dark Asset 세트에서 확실한 차이가 있었나요?

대부분의 작업이 훨씬 더 빠르고 쉬워졌어요. 변경 사항을 적용하고 결과를 즉시 확인할 수 있어 긴 렌더 시간을 걱정할 필요가 없었습니다. 합성 과정은 실시간 3D 워크플로에 비해 많이 느립니다.

어떤 장면에서는 유리를 깨야 했는데 촬영 당일에 유리가 깨지지 않았습니다. 그래서 후에 그린 스크린 앞에서 깨지는 모습을 촬영한 후 씬에 추가하고 조명을 적용하여 렌더링했습니다. 라이브로 촬영하는 것처럼 실시간으로 모든 장면을 편집할 수 있어 편리했습니다. 장면을 재촬영할 필요가 없고 최종 장면을 더 효과적으로 관리할 수 있어 시간과 비용을 확실히 절감할 수 있었습니다.

저희는 Unity Virtual Camera가 가진 추적 기능으로 그린 스크린 장면에 가상 세트를 프리뷰했습니다. 그린 스크린에서 촬영된 배우를 가상 세트로 삽입하는 CG 환경에서 새로운 카메라 이동을 생성하는 데에도 가상 카메라를 사용했죠.

Virtual Camera를 iPad 추적 시스템과 페어링한 후 기기를 이동하면 CG 씬에서 카메라가 움직여 영상이 다시 기기로 스트리밍되었습니다. 세트를 자유롭게 돌아다니며 장면 합성을 확인한 다음 카메라 이동을 기록하여 씬을 촬영했습니다.

시간을 많이 절약해준 Unity의 또 다른 기능도 있었습니다. 영화에 종종 배우들이 앱과 상호작용하는 장면이 있습니다. 그러려면 일반적으로 iPad와 그린 스크린, 코너 추적 마커를 사용해야 하며 수백 개의 추적 장면에 화면 교체가 필요합니다. 그래서 아예 앱을 Unity에서 제작해보면 어떨까 하는 생각이 들었습니다.

Unity에서 '프랍' 앱을 빠르게 제작하여 디렉터가 원하는 대로 즉시 업데이트할 수 있었습니다. 배우에게 필요한 모든 인터페이스가 갖춰져 있어 카메라 앞에서 사용하기만 하면 되었고 추적하는 데 많은 시간과 노력이 절감되었습니다.

Unity Virtual Camera를 여러 번 언급하셨는데, 촬영에서 이와 같은 카메라가 얼마나 중요한 역할을 했나요?

세트에서 그린 스크린 위에 가상 환경을 바로 확인하고 싶었습니다. 그런 다음 Nuke에서 세부 사항을 추가하고 최종 픽셀을 렌더링할 수 있으니까요. 

가상 씬의 경우 Unity Virtual Camera를 사용하여 새 카메라 이동과 전체 장면을 생성했습니다. 따라서 장면의 조명과 렌즈, 포커스를 결정하고 타임라임을 스크럽하며 씬에서 애니메이션을 바로 확인할 수 있었습니다. 그런 다음 전체 CG이거나 그린 스크린 요소가 삽입된 최종 장면에서도 Virtual Camera를 사용하여 실제 최종 카메라 이동을 생성했습니다.

가상 프로덕션을 통해 세트의 조명을 더 빨리 만들었다고 하셨는데요. 어떤 방식을 사용해서 조명을 제작했나요?

프로브 볼륨 조명을 조명 노드로 추가해서 조명을 아주 빠르게 베이크했고 조명을 픽셀 단위로 보간하여 더 세밀하고 사실적으로 만들었습니다. 기존의 방식은 프로브를 오브젝트 단위로 보간했습니다.

그런 다음 이를 고해상도 렌더 파이프라인(HDRP)과 실시간 레이트레이싱 기반 전역 조명, 실시간 반사와 결합했습니다. 최종 렌더를 위해 설정을 상향 조정할 수 있어 아주 편리했습니다.

추가로 HDRP의 뎁스오브필드(피사계심도) 컴포넌트 및 다른 포스트 프로세싱 과정을 사용하여 각 장면을 제가 원하는 그대로 완벽하게 조정할 수 있었습니다.

Unity의 스크립터블 렌더 파이프라인(SRP) 중 하나인 HDRP를 언급하셨는데요. HDRP를 사용하신 경험에 대해 좀 더 알려주시기 바랍니다.

VFX 아티스트로 작업하며 HDRP 덕분에 실시간으로 사실적인 조명을 제작할 수 있었습니다. 프리비즈뿐 아니라 영화에 합성할 최종 이미지를 렌더링하는 데도 사용할 수 있습니다. 

Dark Asset의 경우 HDR/EXR 포맷에 선형 색 공간과 알파 채널을 사용하고, 포스트 프로세스 볼륨의 Tonemapping에는 ACES 색 공간을 사용했습니다. (이는 선형 공간에서 렌더링 시 설정 해제해야 합니다.)

사실적인 장면을 제작한 다른 방법이 또 있었나요?

사실감을 더하기 위해 내부에 면 광원을 사용했습니다. 그런데 캐릭터 효과를 홀로그램 디스플레이로 생성해야 하는 복잡한 씬이 하나 있었습니다.

이 부분은 그린 스크린 영상을 Adobe After Effects로 가져와 첫 이미지를 만든 다음 포스트 프로세싱에서 HDRP 볼류메트릭 포그를 사용하여 홀로그램 빔에 조명을 적용했습니다. 그리고 폴리곤을 하나 생성하고 영상을 여기에 할당하여 After Effects에서 제작한 영상을 씬에 배치했습니다. 이후 렌더 텍스처를 사용하여 캐릭터를 배치했습니다. 이 방식으로 오브젝트들이 씬의 조명에 어우러지며 가상 세트와 볼류메트릭 포그에 그림자를 드리워 세트 조명과도 상호작용하게 되었습니다.

조명을 적용하는 새로운 방법이죠. 기본적으로 라이트맵을 사용하는 대신 프로브 볼륨에 조명을 베이크하고 작업할 영역을 주면 됩니다. 계산할 반사 횟수와 원하는 밀도를 전달하면 4초 정도 만에 베이크됩니다. 대기 시간이랄 것도 없고 동적 오브젝트와 정적 오브젝트 간의 차이도 없습니다. 씬에서 3D 캐릭터가 이동하면 프로브 볼륨의 조명을 받게 되며 정적 오브젝트의 경우에도 동일합니다.

여기에 레이트레이싱과 SSGA를 계속 추가하면 Unity에서 다양한 오브젝트를 렌더링하면서 결정할 수 있게 됩니다. 이렇게 하면 실제 세트와 매우 흡사한 모습이 구현됩니다.

이 프로젝트 이전에 영화에서 Unity를 사용한 적이 있으신가요?

네, Unity를 배운지 일주일 만에 단편 세 작품에 사용할 완전한 가상 세계를 제작하고 잭 렌츠의 음악을 삽입했습니다. 툴이 모두 배우기 쉬웠습니다. 세트 하나에 각 영화의 에셋을 모두 임포트하고 이동할 수 있는 유연성을 확보할 수 있어 좋았습니다.

Dark Asset 작업 외에 가상 프로덕션이 업계에 미친 영향을 무엇이며, 향후 전망은 어떠하리라고 보시나요?

가상 프로덕션 덕분에 작업의 접근성이 더 좋아졌습니다. 특히 인디 프로젝트에서 그 장점이 두드러지죠. 일반적으로는 대규모의 팀이 필요하지만 가상 프로덕션 방식을 통해 프로젝트 규모에 상관없이 적은 리소스로도 더 많은 작업을 수행할 수 있습니다.

저는 VFX 분야의 신기술 중 특히 가상 프로덕션이 정말 마음에 듭니다. 기술 측면에서 모든 것이 끊임없이 발전하고 있고 그 덕분에 세트에서 저의 아이디어를 표현할 수 있습니다. 장소를 미리 물색하지 않아도 세트에서 전 세계 어떤 장소로든 변경할 수 있어 시간과 기타 제약에 대한 걱정이 줄어듭니다.

VFX 작업에는 조명 적용, 전체 씬 렌더링, 복잡한 장면 합성 등 시간이 꽤 소요되는 것들이 많습니다. 하지만 특히 조명과 렌더링의 경우 프리비즈로 실시간 작업을 하면 시간이 많이 절약됩니다. LED 볼륨과 같은 요소를 잘 활용하면 현지 체류 비용도 줄일 수 있습니다.

LED 볼륨을 사용하면 촬영을 빠르게 진행하고 프리비즈에서 사용한 에셋을 최종 픽셀 장면에도 활용할 수 있습니다. 촬영할 때 이점이 무수히 많기 때문에 대부분 실시간으로 작업하는 방향으로 업계가 점점 더 바뀌고 있습니다.

Unity 툴을 사용하여 가상 프로덕션과 방송, 애니메이션을 위한 프로젝트를 제작하는 방법을 알아보세요. 영화 제작 프로젝트를 위한 맞춤 지원이 필요한 경우 유니티 솔루션 팀에 문의하시기 바랍니다.

Unity를 사용하는 효과적인 방법과 유니티의 개발 현황을 자세히 알아보려면 11월 1일 화요일, 온오프라인으로 제공되는 유나이트 2022에 참여하세요.