예제 기반 워크플로를 통한 콘텐츠 제작 속도와 품질 향상

업계에서 급격한 변화와 혁신이 일어나면 불안정으로 이어지며, 불안정한 시스템은 지속되지 못합니다. 이러한 예를 찾아보기는 어렵지 않으나, 대부분 이를 진지하게 받아들이거나 컴퓨터 그래픽스 분야에서는 이러한 불안정이 어떻게 나타날지 생각하지는 않습니다.

컴퓨터 그래픽스가 빠르게 발전함에 따라 시장 내 수요와 공급의 균형이 불안정해지고 있습니다. 3D 콘텐츠에 대한 시장의 소비 수요는 이미 오래 전에 공급 능력을 넘어섰습니다. 이러한 불균형으로 인해 팀 규모가 기하급수적으로 증가하고, 프로젝트 예산 및 기간이 늘어나며, 분산된 팀과 아웃소싱에 더 의존하는 현상이 나타나고 있습니다. 이런 현상은 업계의 기반에 균열을 만듭니다.

따라서 콘텐츠 제작에 있어서 사고방식과 기술 스택의 전환을 가져올 '예제 기반 워크플로'라는 새로운 패러다임이 필요합니다.

예제 기반 워크플로의 기본 원칙은 모든 픽셀을 그리거나 프로그래밍하는 방식을 지속할 수는 없다는 점에 착안했습니다. 이 워크플로는 아무 것도 없는 빈 캔버스에 수작업으로, 절차적 워크플로에 따라 처음부터 제작하는 대신, 스캔 데이터나 사진, 이전 세대 미디어로 제작한 기존 에셋 등 필요한 요소의 예제를 사용해서 작업을 시작합니다. 컴퓨터는 이 기본 예제로부터 데이터와 해당 데이터로 수행할 작업에 대한 세부적인 지침을 요청한 다음 수동 프로세스를 자동화할 수 있습니다.

예제 기반 워크플로의 세 가지 구성 요소는 다음과 같습니다.

1. 시드 데이터나 아티스트가 만들려는 예제로 작업 시작
2. 의도 정의
3. 자동화
4. 선택 사항: 피드백에 따라 미세 조정 작업 후 2단계로 돌아가기

기존과 다른 방식처럼 보일 수도 있지만, 업계에서는 이미 예제 기반 워크플로를 사용하고 있습니다. 비록 특정 용도에 한정되어 있긴 하지만, 2D 사진을 3D 텍스처 모델로 변환하는 사진 측량법은 데이터를 활용해 3D 모델링 프로세스를 자동화했다는 점에서 예제 기반 콘텐츠 제작에 가져온 최초의 혁신이었다고 할 수 있습니다. 또한 유니티는 AI 지원 아트 제작에 대해 예제 기반 콘텐츠 제작의 두 번째 혁신으로 보고 있습니다.

유니티가 사진 측량법을 연구하고, 이를 유니티 플랫폼에 어떻게 적용할지 고민을 시작할 무렵에는 이 프로젝트에 투자할 수 있는 시간이 제한된 작은 규모의 조직이었습니다. 따라서 프로젝트를 억지로 밀어붙이지 않고 최대한 효율적인 방법을 채택해야 했습니다. 대부분의 스튜디오에서는 스캔을 사용해 극사실적인 콘텐츠를 빠르게 제작할 수 있다고 여기고, Reality Capture와 같이 널리 좋은 평가를 받은 관련 소프트웨어나 스캔 장비에 투자하고 있습니다. 원시 스캔 데이터를 제작에 사용 가능한 에셋으로 만들려면 수동 클린업과 조정이 필요하기 때문에 사진 측량이 완전한 턴키 솔루션은 아닙니다. 따라서 유니티는 사진 측량 스캔 데이터용으로 특별히 디자인된 업계 최고의 디라이팅 툴을 개발한 시릴 조버를 필두로 다른 솔루션을 개발하고 연구했습니다. 이러한 노력의 일환으로, 자동화된 경계 부분 제거(seam removal)와 일반적인 스캔 클리닝 프로세스에 사용할 ArtEngine을 도입했습니다.

Microsoft의 테크니컬 아티스트 피트 맥넬리도 소규모 팀에서 사실적인 환경을 구축하는 일을 맡았습니다. 제한된 여건 속에서 피트는 예제 기반 워크플로를 채택하고 활용한 업계 선구자가 되었습니다. 피트는 80lvl에서 이에 대한 의견을 다음과 같이 밝혔습니다(전문은 링크 참조).

"머티리얼에서 경계 부분을 제거하기 위한 솔루션은 이미 있지만, Artomatix의 ArtEngine만한 것은 본 적이 없습니다. 경계 부분 제거에 절차적 방식이 아닌 예제 기반 방식을 사용하고, 기존에 입력된 텍스처를 기반으로 새 텍스처를 만드는 텍스처 변형도 가능합니다. Artomatix를 사용한 Сraggy Cliffs 프로젝트 예를 보여드리겠습니다.

텍스처가 너무 흐리게 처리된 경우, 또는 스트레치 현상이 나타나거나 구멍이 있는 지오메트리 등의 문제로 제작에 사용하기 어려운 여러 3D 스캔 데이터를 소생시킨 셈이지요. ArtEngine을 사용하면 제외할 영역을 페인팅하고 사용 가능한 새 텍스처를 만들어 디테일을 채워 넣을 수 있습니다."

이것이 바로 예제 기반 워크플로입니다. 컴퓨터에서 예제 데이터를 기반으로 추정하고 아이디어를 구체화하므로, 아티스트가 보다 정교하고 수준 높은 콘텐츠를 창작하면 컴퓨터가 낮은 단계의 기계적인 제작 과정을 돕습니다. 아티스트와 툴이 서로를 보완하는 완벽한 공생이라 할 수 있습니다. 컴퓨터 그래픽스 업계에서 이러한 진화는 필수적인 동시에 피할 수 없는 것입니다.

예제 기반 워크플로를 실제로 어떻게 활용해야 제작 과정을 간소화할 수 있을지 궁금하실 것입니다. 유니티는 워크플로를 6가지 주요 영역(데이터 관련 3가지, 자동화 관련 3가지)으로 구분했습니다. 자세한 내용을 알아보려면 각각의 영역을 별개의 블로그 포스팅에서 다루어야 하겠지만, 이번에는 많은 아티스트에게 생소한 내용일 자동화에 대해, 더 이상 수동으로 조작하지 않아도 되는 않은 세 가지 작업을 소개하며 간단히 살펴보겠습니다.

품질 향상(Enhance) 기능은 시각적 크리에이티브 에셋을 개선하는 데 도움이 되는 ArtEngine의 툴입니다. 업계에는 오래된 3D 콘텐츠가 무수히 쌓여 있습니다. 텍스처의 표준 해상도는 대략 5년마다 두 배로 늘어납니다. 또한 원본 마스터 파일은 손실되고 해상도를 낮추거나 압축된 프로덕션 버전의 에셋만 남는 경우가 많습니다. 최근에 스캔해 생성된 에셋조차도 흐릿하고 노이즈가 발생할 수 있습니다. 품질 향상 툴은 특별한 방식으로 에셋의 품질을 개선해 가치와 수명을 연장합니다. ArtEngine의 품질 향상 툴 모음에 속하는 기능 중 업레징(Up-Res)을 사용하면 어떤 이미지나 텍스처라도 2배 또는 4배 카툰/실사 해상도 향상이 가능합니다.

컨셉부터 시작해 모든 월드를 채워나가는 과정은 길고 지루하며, 매우 많은 반복 작업이 필요합니다. 확장은 Artomatix가 가장 먼저 해결하려던 문제이자, 유니티에서도 여전히 최종 목표 중 하나로 두고 있습니다. 이제 ArtEngine에서 다양한 확장 관련 기능을 지원하게 되었습니다. 경계 부분 제거(Seam Removal)를 사용하면 모든 텍스처 또는 머티리얼을 타일처럼 배치할 수 있습니다. 내용 인식 채우기(Content Aware Fill)를 사용하면 스캔 데이터에서 손상되거나 누락된 부분을 채워 넣을 수 있습니다. 텍스처 변형(Texture Mutation)을 사용하면 하나의 예제를 기반으로 경계 부분 없는 변형된 버전을 무제한으로 생성하거나 머티리얼을 반복해서 생성하지 않고 크기를 늘릴 수 있습니다. 확장 툴은 현실 세계의 풍성함과 다양함을 디지털 영역에서 그대로 구현합니다.

콘텐츠 자체에 문제가 있지는 않으나, 프로젝트의 다른 요소들과 어울리지 않아 3D 콘텐츠를 작업에 활용하기 어려운 경우는 자주 일어납니다. 머티리얼의 아트 스타일이 적합하지 않거나 스캐너의 보정이 잘못되어 PBR 스캔 데이터를 다른 스캔 데이터와 나란히 두면 어색해 보일 수도 있습니다. 3D 월드를 조합하는 것을 퍼즐 조립에 비유하자면, 변형은 퍼즐 조각이 다른 조각과 맞지 않을 때 아티스트를 돕는 기능에 해당합니다. 옷감, 또는 벽돌로 된 벽면과 같은 실제 오브젝트의 패턴은 칼로 잰 듯 규칙적인 경우가 거의 없습니다. 다시 말해, 패턴이 존재하지만 약간씩 뒤틀리거나 부정확해 타일형으로 배치하는 텍스처로는 사용할 수 없습니다. 패턴 언와핑(Pattern Unwarp) 기능은 실제 패턴을 자동으로 감지하고 언와핑해 타일처럼 배치할 수 있는 형태로 변환합니다.

이상으로 자동화의 세 가지 영역, 즉 아티스트가 향후에 3D 콘텐츠를 변환하는 데 사용할 예제 기반 워크플로의 세 가지 활용 예를 간략하게 살펴봤습니다.

ArtEngine에 대해 더 자세히 알아보려면 Artomatix 창업자 에릭 리서, 유니티 Evangelism Content의 Global Head 마이크 가이그가 소개하는 ArtEngine의 잠재력을 확인하세요. 무료로 제공되는 1시간 분량의 온라인 웨비나에서 텍스처 변형, 경계 부분 제거, 패턴 언와핑, 머티리얼 생성, 텍스처 업레징, 컬러 매칭(Color Match), JPEG 결함 제거(JPEG Artifact Removal), 텍스처 인페인팅(Texture in-painting)과 같은 ArtEngine의 기능을 직접 시연하며 예제 기반 워크플로를 활용하는 방법을 살펴볼 수 있습니다.

Watch the Unity ArtEngine 세션 보기