디지털 셀럽 수아를 만나다 – 수아 개발기

디지털 휴먼이 등장하는 가운데 많은 Unity 유저에게 더없이 친숙한 얼굴이 있습니다. 바로 지난 6월 디지털 셀럽으로의 첫 발을 내딛은 디지털 휴먼 ‘수아’입니다. 이번 포스팅에서는 Unity 최초의 리얼타임 디지털 휴먼이자 유니티 코리아 공식 홍보모델인 수아에 대해 자세히 알아봅니다.

보다 사실적인 디지털 휴먼 사례들이 나오고 실제 사람처럼 인플루언서 역할을 하는 케이스들이 많아지면서 수아를 향한 관심은 그 어느 때보다 뜨겁습니다. 온마인드 김형일 대표는 지난 Unite Seoul 2020에서 ‘디지털 셀럽 ‘수아’를 만나다’를 통해 현시점의 그래픽 기술 발전과 버추얼 휴먼 제작 과정을 설명하며 대중들의 지적 호기심을 충족시키기도 했습니다.

디지털 휴먼, 버추얼 휴먼, 버추얼 인플루언서, 가상 유튜버 등 디지털 휴먼을 지칭하는 말은 다양합니다. 이 단어들이 갖는 공통점은 인간과 가까운 ‘디지털’ 존재라는 의미를 담고 있다는 것입니다. ‘디지털 셀럽’ 이라는 용어 역시 대중문화에서 사람들에게 사랑 받는 수아와 같은 디지털 휴먼을 칭합니다.

온마인드는 앞으로 수아가 디지털 셀럽으로서의 활동을 펼쳐나갈 수 있도록 만반의 준비를 하고 있습니다. 모델, 가수, 배우 등 다양한 역할을 소화하는 멀티 연예인이 되는 것을 목표로, 모든 가능성을 열어두고 있습니다. 김형일 대표는 “수아는 이제 갓 데뷔를 앞두고 있는 신인과 다름없습니다. 대중들에게 사랑 받는 셀럽이 되기 위해 일반 연예인과 마찬가지로 대중들의 관심과 사랑을 받으면서 성장하는 일련의 과정이 필요합니다”라고 말합니다.

수아가 전세계적으로 주목 받는 이유는 Unity의 리얼타임 렌더링을 통해 실시간으로 반응하는 디지털 휴먼이라는 데 있습니다. 전신이 실시간으로 움직이는 디지털 휴먼은 수아가 전세계 최초입니다.

리얼타임(실시간) 렌더링의 장점은 빠른 렌더링 속도와 인터랙션에 있습니다. 리얼타임이 아닌, 오프라인 렌더링이 일반적으로 사용되는, 영화나 애니메이션은 미리 렌더링해놓은 이미지를 프레임마다 나열하여 동영상이 되는 방식입니다. 각 씬마다 콘텐츠 제작자가 원하는 카메라 앵글과 모습으로 렌더링을 하도록 설정해 놓고, 고품질의 그래픽을 만들어 내기 위해 많은 연산과 렌더링 시간을 투자합니다. 

그에 비해 수아는 실시간 렌더링을 통해 4K 리얼타임 라이브로 사용자와 인터랙션하는 콘텐츠를 구현할 수 있습니다. 최소 30FPS, 즉 1초에 30번의 프레임을 그려내고 있어, 오프라인 렌더링과 차원이 다른 빠른 속도와 렌더링 퀄리티를 보여줍니다.

김형일 대표는 수아가 특별한 이유를 실시간으로 반응하는 데 있다고 말합니다. “수아는 지금까지의 디지털 휴먼과는 다르게 실시간으로 반응하는 ‘리얼타임’ 디지털 휴먼입니다. 디지털 휴먼에 관심을 보이고 있는 기업들이 활발히 연구 개발하고 있는 분야이기도 하죠. 언젠가는 수아와 비슷한 퀄리티의 결과물들이 나타나겠지만, 수아 프로젝트를 통해 고퀄리티의 실시간 디지털 휴먼을 누구보다 먼저 구현했다는 데 큰 자부심을 느낍니다.”

온마인드는 Unity HDRP를 이용해서 실사에 가까운 렌더링을 구현했습니다. HDRP는 Unity의 SRP(Scriptable Render Pipeline)로 제작된 렌더링 파이프라인으로, 고해상도 프로젝트에 사용할 수 있게끔 다음 원칙에 따라 설계되었습니다.

• 물리 기반 렌더링(Physically Based Rendering) 

• 통일되고 일관적인 조명

• 렌더링 경로와 독립적으로 구동되는 기능

이전에는 사용자가 렌더링 파이프라인을 수정할 수 없었는데, SRP를 통해 사용자가 직접 렌더링 파이프라인을 수정할 수 있게 되었고, HDRP는 그 하나의 예제(Template)로 만들어졌습니다.

김형일 대표는 HDRP의 막강한 성능이 수아를 실사와 비슷하게 구현하는 데 큰 도움이 되었다고 말합니다. 피부 표현은 Unity Shader Graph의 StackLit 셰이더를 사용했고, 머리카락은 Hair 셰이더를 사용했습니다. Unity에서 기본적으로 제공하고 있는 셰이더에 텍스처를 연결하여도 HDRP로 인해 실사처럼 정확도 높은 표현이 가능했습니다.

김형일 대표는 완벽한 물리 조명을 제공하는 HDRP 의 등장과 가역한 컴퓨트 셰이더가 탑재되는 등 하드웨어의 발전 덕분에 불쾌한 골짜기 현상*을 넘어 실사에 가까운 모델을 구현할 수 있었다고 말합니다.

*실사에 너무 가까운 휴머노이드는 보는 사람으로 하여금 오히려 불쾌감을 형성한다는 이론.

HDRP 뿐만 아니라 수아를 실시간으로 구현하는 데는 페이셜 캡처, 모션 캡처, 손가락 캡처, 버추얼 카메라를 사용하는 기술이 필요했습니다. 자연스러운 표정을 표현하기 위해 페이셜 캡처에는 아이폰을 사용했습니다. 실시간 캡처용으로 사용해도 좋을 만큼 성능이 좋았고, 무엇보다 수작업으로 모델링을 한 수아를 작업하는 데 적당한 블렌드 셰이프를 가지고 있어 큰 메리트가 있었습니다. 이 외에도 모션 캡처에는 발이 땅에 잘 닿지 않는 문제를 방지하기 위해 리깅 세팅에 신경 썼고, 정교한 움직임을 표현하기 위해 손가락 캡처 장비를 이용하여 손가락의 자연스러운 구현을 위해 힘쓰고 있습니다.

가까운 시일 내에 온마인드는 AI 기술과 디지털 휴먼 기술이 같이 발전하며 ‘서비스로의 디지털 휴먼(digital humans as a service)’으로의 도약이 필요하게 될 것이라 전망했습니다. 음성 인식, 음성 합성, 이미지 인식, 제스처 인식, 대화 모델(챗봇) 등의 소프트웨어적인 기능을 인공 지능이 보다 자연스럽게 수행해 현재 적용된 서비스의 정확도와 만족도를 향상시켜 인공 지능 상용화의 새로운 패러다임을 열 수 있지 않을까 기대됩니다.

디지털 휴먼이 완전히 대중화될 수 있느냐에 대해 여전히 회의적인 반응들이 있지만 몇 가지 사례에서 이미 그 가능성이 증명되었습니다. 최근에 한국의 유명 엔터테인먼트 회사가 선보인 걸그룹 컨셉도 현실의 멤버와 가상의 디지털 휴먼이 가상 세계에서 서로 소통하며 교류한다는 설정으로 주목을 받았습니다. 디지털 휴먼이 실제로 셀럽이 될 날이 예상보다 아주 가깝게 다가오고 있는지도 모릅니다. 

제작자의 Twitter 채널을 통해 수아에 대해 더 자세히 알아보세요.