Unity 검색

Apple WWDC 21에서 공개한 Unity AR 컴패니언 앱 최신 기능

Image of phone capturing an image of a guitar
Image of phone capturing an image of a guitar
공유

올해 WWDC에서 Apple은 실제 세계에 있는 오브젝트를 캡처하는 새로운 기술을 발표했습니다. 유니티는 Object Capture 기능을 컴패니언 투 에디터(Companion-to-Editor) 워크플로에 포함하기 위해 Apple과 긴밀히 협력하고 있습니다.

Apple의 모바일 기술을 도입한 이후로 유니티는 사용자가 쉽고 원활하게 Apple의 최첨단 기기에 탑재된 신기술을 활용하여 경험을 제작할 수 있도록 지원하고 있습니다. 올해 말에 출시되는 Unity AR 컴패니언 앱에 포함될 Object Capture를 활용하여 XR 크리에이터가 실제 세계의 오브젝트를 스캔하여 3D 에셋을 생성할 수 있습니다.

많은 Unity 개발자가 예측 불가능한 현실 세계를 디지털 경험에 통합하는 데 어려움을 겪습니다. 공간을 스캔하고, 사물의 위치를 파악하며, 현실 세계의 정보를 취하여 사용자 경험에 포함시키는 모든 작업은 결코 쉽지 않습니다. Unity AR 컴패니언 앱은 에디터에 국한되지 않고 컨텍스트에서 생성 및 캡처하는 새로운 저작 방법을 제공합니다. 지금까지 유니티는 사용자가 평면, 메시 및 기타 환경 정보를 캡처하여 앱을 만들 수 있도록 지원해 왔으며, 여기에 실세계 오브젝트 캡처 기능까지 추가하게 되어 매우 기쁩니다.

콘텐츠 제작 및 AR 개발의 다음 단계

Object Capture 프로젝트는 특정 하드웨어에서 구동하는 컴패니언 앱과 Unity 에디터를 함께 사용하는 제작 툴 사용 트렌드의 보다 큰 흐름에도 부합하며, 이제 각 기기와 도구를 가장 적합한 방식으로 활용할 수 있게 됩니다.특히 AR이 지원되는 휴대 전화는 환경 캡처, AR 세션 녹화 및 최신 기능인 오브젝트 캡처에 매우 적합한 기기입니다. 

이 새로운 기술은 기존 사진에 대한 처리도 지원합니다. '기존 카메라' 사용 사례를 지원하게 되면 더 많은 사용자가 해당 기술에 접근할 수 있고, 과거에 캡처한 이미지로도 사진 측량을 구현해 볼 수 있습니다. 예를 들어 분실한 집안의 가보를 사진으로 찍어 둔 경우, 이 기술을 활용하면 잃어버린 가보를 3D로 완벽하게 재현할 수 있게 됩니다.

캡처 경험

이 새로운 Object Capture 기능은 Unity AR 컴패니언 앱의 iOS 버전에 내장되어 있습니다.AR 컴패니언 앱은 올가을에 출시될 예정이며, 출시에 맞춰 상세한 기술 자료도 제공될 예정입니다. 오늘 포스팅에서는 워크플로를 전반적으로 살펴보고, 개발 중 고려했던 사항을 몇 가지 알려드리겠습니다.  

해당 경험은 AR 컴패니언 앱에서 사용햘 수 있으며, 올가을에는 Object Capture라는 새로운 모드가 앱에 추가될 예정입니다.  

캡처 사진을 찍기 전에 먼저 인터랙티브 UI를 통해 캡처할 오브젝트 위로 가이드 오브젝트를 설정하게 됩니다.가이드를 설정했으면 이제 사진 촬영을 시작할 수 있습니다.

Image of a phone screen looking at a guitar, reading, "Take photos of object from all sides with 70% overlap between photos."

다른 사진 측량 과정과 마찬가지로, 가능한 모든 각도에서 오브젝트의 사진을 여러 장 찍는 것이 좋습니다.각 사진에서 해당 각도가 캡처되었는지 여부는 셸 위에 꽂힌 '핀'으로 확인할 수 있습니다. 언제든지 오브젝트를 뒤집거나 옆으로 눕혀서 밑면이나 아래쪽 모서리를 캡처할 수 있습니다.  

Phone screen grabbing an image of a guitar

각 사진은 촬영과 동시에 분석되며, 결과물의 품질을 떨어뜨릴 수 있는 낮은 품질의 이미지가 식별됩니다.흐릿하거나 사용할 수 없는 사진이 탐지되면 핀이 빨간색으로 표시되므로 해당 사진을 검토한 후 삭제하고 재촬영할 수 있습니다. 

Image of phone screen grabbing image of guitar with red pin

촬영이 끝나면 Mac에 설치된 Unity로 이동하여 사진들을 처리하고 모델을 생성합니다.  

다양한 몇 가지 엔트리 포인트가 지원됩니다. 첫 번째로 이번 프로젝트에서 새롭게 로컬 무선 파일 전송 기능이 추가되었습니다.또한 기존의 신뢰할 수 있는 Companion Resources Sync 워크플로도 지원되며, 이미지 마커, 환경 스캔과 같은 기존 리소스 유형에 Captured Objects가 추가되었습니다.마지막으로 간단하게 로컬 이미지 디렉토리를 사용할 수도 있으며, iPhone의 컴패니언 앱으로 캡처한 이미지뿐 아니라 일반적인 DSLR 카메라로 캡처한 이미지가 모두 포함됩니다.  

어떤 소스를 사용하는지 관계없이, 사용할 이미지를 선택하면 곧바로 모델을 구현할 수 있습니다.  

모델 생성은 두 단계로 진행되며, 먼저 프리뷰 품질의 모델이 처리됩니다.해당 프리뷰를 사용하여 바운딩 박스를 수정하고 필요한 대로 변환 및 회전을 조정할 수 있습니다. 

Image of guitar model in Unity

그런 다음 한 번 더 버튼을 클릭하면 완전한 품질의 모델이 구현됩니다.이 단계에서는 프리뷰 모델 생성 시의 데이터를 많이 사용하기 때문에 두 번째 프로세싱 단계에서는 프리뷰와 비교하여 지나치게 오랜 시간이 소요되지 않으면서도 더 높은 품질의 결과를 얻을 수 있습니다.

이제 모델 생성이 완료되었습니다.최종 모델은 앱에서 사용할 수 있도록 프리팹으로 프로젝트에 임포트됩니다.

Image of guitar model in Unity

베스트 프랙티스 구축하기

AR 컴패니언 앱에서 Object Capture 모드의 초기 버전 테스트는 유니티 팀에게 AR을 이용하여 사진 측량 캡처의 베스트 프랙티스를 사용자에게 안내하는 좋은 기회가 되었습니다.최초 버전에는 글로 작성된 간단한 지침이 포함되었으나, 시간을 아끼려는 사용자들이 프롬프트를 읽지 않거나 무시하는 경우를 볼 수 있었습니다.따라서 가이드 오브젝트가 도입되었습니다.  

가이드는 절대적으로 필요한 사항은 아니지만, 아직 촬영되지 않은 영역을 분명히 보여주어 사용자에게 최선의 방식으로 이미지를 촬영할 수 있도록 피드백을 제공한다는 점에서 매우 유용합니다.가이드와 함께 도입된 포토 핀은 사진에서 이미 캡처한 부분을 정확히 표시할 뿐만 아니라, 낮은 품질의 사진을 탐지하고 피드백을 제공하는 데 사용됩니다. 

Image of phone screen grabbing image of guitar with all green pins

가이드와 핀은 상당히 유용하지만, 새로운 고민거리를 제시했습니다. 스캔 중인 오브젝트를 추적하지는 않으므로 오브젝트가 이동할 때 가이드까지 자동으로 이동할 수 없습니다.하지만 가이드와 핀이 제자리에 있는 상태에서 오브젝트가 뒤집히면, 핀이 나타내는 사진과 사용자가 보고 있는 오브젝트의 단면 간의 연관성이 사라져 버립니다.문제를 해결하기 위해 몇 가지 방법을 시도했으나, 결국 가장 간단한 해답을 선택했습니다. 사용자들이 직접 오브젝트를 옮긴 후 가이드를 조정하고 핀을 즉시 재설정하면 됩니다.대상 오브젝트가 어느 정도 캡처되었는지 계속 추적하므로 이전에 촬영한 사진들이 손실되지 않았음을 확인할 수 있습니다.  

유니티는 이러한 AR이 유용한 교육용 기술이라는 점을 알게 되었으며, 물리적인 움직임을 수반하는 새로운 인터랙션에 특히 유용하다는 점을 발견했습니다. 

향후 계획

이번 프로젝트가 기대되는 이유는 여러 가지가 있습니다. 무엇보다도 콘텐츠 제작의 민주화를 위해 끊임없이 노력하는 유니티의 사명에 크게 부합합니다.수 년 동안 파이프라인에서 사진 측량을 이용해 온 게임 개발자들도 있지만, 이는 고도로 전문적이고 복잡한 작업입니다.하지만 Apple에서 이 기능을 발표함으로써 이제 다양한 분야의 크리에이터가 해당 기술에 훨씬 더 쉽게 접근할 수 있게 되었습니다. 유니티는 앞으로 인디 게임 개발자, 중형 스튜디오, 학생 등을 비롯한 많은 사용자들이 개발 과정에서 실제 세계 오브젝트 캡처 기술을 사용하기를 기대합니다.

또한 이제 일상적인 기기에서 더 쉽게 강력한 툴셋을 통해 비개발자도 콘텐츠 제작 및 큐레이션을 수행할 수 있다는 점도 기대됩니다.유니티는 프로젝트 초기에 해당 기술의 사용 사례를 수집하면서 해당 기술이 게임에 국한되지 않은 매우 광범위한 분야에 영향을 미칠 수 있다는 점에 매우 놀랐습니다.예를 들어, 예전에는 악기 매장 주인이 전달받은 악기의 이미지만 게시할 수 있었으나, 이제는 Object Capture를 사용하여 매장에 구비된 각 악기를 근사하고 실감 나는 고품질 캡처로 구현하여 인터넷이나 AR에서 손쉽게 공유할 수 있습니다.  

이 강력한 창작 기술을 유니티 툴에 바로 통합함으로써 유니티는 새로운 유형의 사용자들을 만나고 있습니다. 큐레이터 및 건축가, 아티스트, 디자이너를 비롯한 다양한 유형의 사용자가 자신의 아이디어를 즉시 구현할 수 있습니다. 이 기능은 올 하반기에 출시됩니다.

Unity MARS를 사용하여 지능형 AR 애플리케이션을 구축하는 방법에 대해 자세히 알아보세요.