증강현실로 만나는 황룡사 중문과 남회랑

황룡사는 경주시에 있던 사찰로 불국사와 함께 신라를 대표하던 사찰입니다. 그러나 안타깝게도 건물 전체가 소실되어 황룡사가 있던 터만이 남아 있게 되었습니다. 웅장한 신라시대의 유물이 사라져버린 것을 안타까워하던 국립문화재연구원은 고심 끝에 황룡사를 복원하기로 결심했습니다. AR(증강현실)로 문화재를 복원한다는 것은 결코 쉬운 작업이 아니었기 때문에 VR(가상현실)과 AR 콘텐츠를 능숙하게 다룰 수 있는 기업, 버넥트와의 협업이 반드시 필요했습니다. 수많은 고증과 연구를 통해 증강현실로 복원된 황룡사 중문과 남회랑 AR 콘텐츠는 2021 Korean MWU(Made With Unity) Best Visualization 부문을 수상하며 퀄리티를 인정받았습니다. 버넥트의 최주곤 PM과 강현석 개발자를 만나 문화재 복원 과정에 대해 상세히 들어 보았습니다.

최주곤 PM은 국립문화재연구원 측으로부터 문화재 복원에 대한 협업을 제안 받고 반가운 마음이 앞섰습니다. 새로운 시도에 대한 설렘과 차별화된 결과물에 대한 기대감을 숨길 수 없었기 때문입니다. 증강현실이라는 기술이 단순히 미래지향적인 것에 머무는 것이 아니라 과거와 현재, 그리고 미래를 연결할 줄 수 있는 콘텐츠로 발전해야 한다고 생각했던 최주곤 PM에게 문화재 복원이라는 프로젝트는 매력적으로 느껴졌습니다.

문화재 복원 제안을 받았을 당시에는 국립 문화재연구원 내부용 프로젝트였습니다. 최초의 목적은 문화재연구원의 학술 연구 결과를 시각화하는 것이었지만, 최주곤 PM과 강현석 개발자의 적극적인 참여로 일반인에게 서비스 할 수 있는 형태의 콘텐츠로 프로젝트가 확장되었습니다. 증강현실로 복원된 황룡사의 중문과 남회랑의 모습은 기대 이상의 고증으로 실감나는 증강현실 구현에 성공했습니다.

"새로운 도전에는 늘 열려 있어요. 기술력이 담보되어 있으니까 한계를 설정해 두지 않는 거죠." - 최주곤, 버넥트 PM

XR 체험 콘텐츠로 재탄생한 황룡사 중문과 남회랑은 1층짜리 단층 내부와 2층짜리 중층 내부가 실제 크기로 구현되었습니다. 사용자는 현장을 실제로 거닐면서 구조물 곳곳을 즐기며 촬영할 수 있고 방문 시점에 따른 계절감도 느낄 수 있습니다. 특히 중층 내부의 경우는 실제로 2층에 올라갔다는 느낌을 받을 수 있도록 제작되었습니다. 덕분에 1년 정도의 시연 기간 동안 일반인과 언론에게 높은 평가를 받았습니다. 하지만 그 과정은 결코 쉽지 않았습니다. 문화재 복원 콘텐츠인 만큼 철저한 고증이 매우 중요한 이슈였는데, 황룡사에 대한 사료가 부족한 상황이었기 때문에 같은 시기의 다양한 자료들을 비교 분석하고 연구해야 했습니다. 기본적인 자료들은 연구원 측에서 받았지만 고증 분야의 전문 교수들을 직접 찾아다니며 자문을 구하는 일도 많았습니다. 또한, 도면으로 제작되어 있던 황룡사를 입체적인 3D로 복원하는 과정에서 반복되는 시행착오를 겪어야 했습니다. 

“서까래, 살창, 기단, 치미.. 단어부터 생소하잖아요. 익숙해지는 시간이 필요했고 시행착오도 많을 수밖에 없었죠.” - 최주곤

3D 모델링을 할 때마다 간격이나 높이 등 2D 도면에서는 확인할 수 없었던 구조적 결함이 발견되었던 것입니다. 이러한 결함이 발견될 때마다 다른 연구 사례를 찾아보면서 다시 연구하고, 수정하고, 반영하는 작업이 반복되면서 많은 시간이 소요되었습니다. 매번 만나서 회의를 할 수 없다는 물리적 한계도 존재했는데, Unity를 활용하여 3D 모델 뷰어를 만들어서 실시간으로 피드백을 확인하고 소통하면서 효율적으로 시간을 절약하고 오차 범위를 줄여 나갈 수 있었습니다.

강현석 개발자는 개발을 하면서 이렇게 많이 걸어 본 적은 처음인 것 같다며 말문을 열었습니다. 증강현실 콘텐츠에서 가장 중요한 것은 사용자가 얼마나 실감 나게, 얼마나 진짜처럼 느낄 수 있는가 하는 부분일 텐데, 실감 나는 구현을 위해서는 실제 위치와 콘텐츠 상의 위치의 오차 범위의 간극을 줄이는 것이 중요했습니다.

“중문도 큰데 남회랑까지 하면 270미터나 돼요. 오차 범위 해결이요? 결국 현장을 발로 뛰어야 했죠.” - 강현석, 버넥트 개발자

강현석 개발자는 중문에서 남회랑까지 270여 미터나 되는 엄청난 거리의 오차 범위를 어떻게 줄일 수 있을지 고민했습니다. 270미터는 실로 엄청난 거리이기 때문에 단순히 성능 좋은 태블릿이나 AR 코어만으로는 부족했습니다. GPS를 붙여 보기도 했지만 그조차도 오차 범위가 컸기 때문에 마커를 중간중간 여러 개 두는 형태로 추진했습니다. 그리고 일일이 발품을 팔면서 마커와 마커 사이 최적의 거리 확인을 위한 수많은 테스트를 진행했습니다. 270미터의 건물이 조금만 틀어져도 수십 미터가 틀어지는 결과가 나오기 때문에 정확한 측정을 위해 엄청난 공을 들였습니다. 실감 나는 체험을 위해 강현석 개발자가 각별히 신경 쓴 부분은 또 있었는데, 빛과 그림자의 사실적인 구현이었습니다. 실제 환경의 그림자 방향과 디지털 객체의 그림자 방향을 일치시켜서 현실적인 몰입감을 증대하였습니다.

강현석 개발자는 Unity 사용은 선택이 아닌 필수였다고 하는데, 한두 가지 이유에서가 아니라 모든 면에서 Unity가 월등했기 때문입니다. 무엇보다 모바일을 포함한 다양한 플랫폼을 동시에 지원하기 위해서는 Unity 외에 대안이 없었습니다. 또한 각각의 해상도가 다른 여러 개의 태블릿을 지원해야 하는 상황에서 UI를 공통으로 가지고 갈 수 있는 방법도 Unity 안에서만 찾을 수 있었습니다. Unity에서 제공하는 프리셋이라는 기능을 활용한 것인데요, 해상도가 변경될 때마다 프리셋에 저장된 각각의 UI 정보를 불러오는 형태로 작업하여 UI를 공통으로 사용할 수 있었습니다.

더불어, 체험형 콘텐츠인 만큼 사용자가 재미를 느낄 수 있는 설정을 하는 데에도 Unity를 적극적으로 활용했습니다. 대표적으로 사용자가 황룡사를 배경으로 사진을 찍는 기능을 꼽을 수 있는데, 카메라로 찍은 이미지 위에 3D를 표시하면 3D 오브젝트가 카메라 배경 위로 떠서 사람이 3D에 가려지게 되는 문제가 발생합니다. 이때, Unity의 오클루전이라는 기술을 활용하여 3D 오브젝트가 사람 뒤에 나올 수 있도록 만들었고 덕분에 황룡상 중문에서 기념사진을 찍는 것이 가능해졌습니다.

“결국 몰입감을 완성하는 건 기술이잖아요. 그 기술을 구현하기 위해서는 Unity 말고 대안이 없었어요.” - 강현석

최주곤 PM과 강현석 개발자는 증강현실 콘텐츠의 핵심도 결국은 사람과 사람이 소통하는 인터렉션에 있다고 입을 모았습니다. 메타버스가 주목받고 있는 이유 역시 그 안에서 다양한 상호작용이 가능하기 때문입니다. 버넥트 또한 사람과 사람 간의 활발한 소통 안에서 의미를 만들어 가는 것에 집중하면서 프로젝트를 확장시켜 나갈 계획이라고 밝혔습니다. 버넥트가 만들어 갈 소통 가득한 증강현실이 기대됩니다.

프로젝트에 대해 자세히 살펴보려면 유니티 코리아 유튜브 채널에서 인터뷰 영상을 확인해 보세요.