소셜 혼합 현실의 미래를 보여 주는 Unity Slices: Table

Unity Labs 팀은 오늘 Facebook Connect에서 최신 Unity Slices: Table을 선보이면서, 실감 나는 인터페이스에 초점을 맞추어 소셜 혼합 현실 경험을 지원하는 Passthrough VR을 소개했습니다.

Facebook Connect 이벤트에서 유니티 팀은 Unity Slices: Table이라는 새로운 혼합 현실(MR) 경험을 선보였습니다. 이번 Unity Labs 프로젝트는 실감 나는 인터페이스의 미래를 탐구하는 과정에서 Oculus Passthrough 기능을 사용하여 현실을 혼합하고, 인류의 오랜 사교의 장인 '테이블'로 사람들을 불러 모았습니다.

Unity Slices: Table은 물리적인 테이블을 공유하든, 바다 건너 멀리 떨어져 있든, 각자의 위치에 관계없이 사람들을 한자리에 모으기 위해 제작된 소셜 혼합 현실 경험의 POC(Proof of Concept)입니다.

저는 Unity Labs 팀의 선임 리서치 엔지니어로 XR과 관련한 미래 지향적인 아이디어를 실제 프로토타입으로 전환하는 작업을 지원합니다. Unity Slices: Table도 이러한 노력으로 탄생했습니다.

이번에 공개되는 POC는 Oculus App Lab을 위해 만든 버티컬 슬라이스 게임으로, 최대 4명의 플레이어가 함께 고전적인 테이블 게임을 즐길 수 있습니다. 지난 한 해 동안 해당 경험을 프로토타이핑하고 반복 작업한 Unity Labs 팀에서 드디어 경험 제작 비하인드 스토리를 공개합니다.

프로토타입을 만드는 과정에서 해결해야 했던 첫 번째 과제는 가상 테이블의 표현을 물리적 테이블이나 책상에 맞게 조정하는 것이었습니다. 아직 Oculus Quest 2는 Unity에서 평면을 정확하게 감지할 수 없으므로, 사용자가 빠르고 정확하게 가상 테이블을 실제 테이블에 맞게 조정할 수 있도록 컨트롤러를 사용하는 수동 방식을 채택해야 했습니다.

조정 작업을 완료한 후에는 이를 네트워크에 연결할 방법을 모색했습니다. 작업이 간단해 보일 수 있지만, 테이블을 중심으로 소셜 경험을 구축할 때는 다양한 요소를 고려해야 합니다. 사람들이 같은 공간에 있든 원격으로 연결되든 테이블 인터페이스를 생생하게 공유할 수 있어야 하며, 디자인이 모든 참여자에게 자연스러워 보여야 합니다.

따라서 공유되는 컴퓨팅 경험이 어떤 모습일지 구체화해 보았습니다. Oculus Quest 2의 우수하고 섬세한 핸드 트래킹 기술을 활용하여 테이블을 거대한 터치스크린으로 만드는 시스템을 빌드할 수 있었습니다. 하지만 이는 VR인 데다가, 유니티의 목표는 평면 인터페이스 제작에서 한발 더 나아가는 것이었으므로 리액티브 3D 오브젝트로 실험해 보기 시작했습니다.

사용자가 손을 가까이 가져가면 입체적인 3D 체스 말이 납작해지도록 프로토타이핑하여 체스 게임을 테스트했습니다. 그런데 초기 사용자 테스트 결과, 오브젝트의 모양으로 인해 플레이어가 체스 말과 적절하게 상호 작용하지 못할 수 있다는 사실이 드러났습니다. 체스 말이 납작해지기 때문에 사용자는 체스 말과 상호 작용하려면 손을 들어 아래를 가리켜야 한다고 생각했습니다. 핸드 트래킹 시스템은 손의 윗면 실루엣이 명확하게 식별되지 않는 경우 제대로 작동하지 않기 때문에 이 점이 문제가 되었습니다.

미래 지향적인 3D 인터페이스를 채택하고 싶었지만, 사용자가 상호 작용할 수 있는 체스 말을 평면으로 만들기로 했습니다. 이러한 결정에는 두 가지 주요한 장점이 있었습니다. 첫째, 사용자가 원하는 체스 말을 더 쉽게 선택할 수 있었습니다. 둘째, 단순히 체스 말을 터치한 후 끌어 올 수 있기 때문에 더 이상 사용자의 손 모양이 일그러지지 않았습니다.

표면에서의 상호 작용은 단순하면서도 기존의 터치스크린 인터페이스와 어느 정도 유사해야 하지만, 3D 공간에 있는 오브젝트와 관련하여 사용자의 손 위치에서 새로운 가능성을 발견하게 되었습니다. 터치스크린과 달리 인터페이스는 터치될 것으로 예상되는 경우 빛을 낼 수 있기 때문에 더 재미있고 예측 가능해집니다.

시스템이 원활하게 작동하도록 구축하는 데 다소 시간이 걸렸지만, 생동감 있는 아바타를 통해 네트워크가 연결된 세션에서 처음으로 다른 참여자가 테이블을 두드리는 모습을 보며 음성 채팅으로 그 소리까지 확인할 때는 마치 한 공간에 있는 것 같아서 정말 놀라웠습니다. 현실의 실재적인 부분을 공유 경험으로 만드는 일이 마법처럼 느껴졌습니다.

Passthrough VR이 생소한 분들을 위해 설명해 드리자면, 이는 헤드셋으로 현실 세계의 동영상 피드를 보여줌으로써 VR 헤드셋에 AR을 도입하는 새로운 방법입니다. 원격 가상 경험도 근사하지만, Passthrough를 사용하면 동일한 가상 경험에 있는 다른 사람과 물리적 공간을 공유할 수 있습니다. 다른 장소에서 접속한 친구의 아바타를 볼 수 있을 뿐만 아니라 내 옆에 앉은 사람들을 관찰할 수도 있습니다.

해당 경험에 Passthrough를 통합하고 나자 다양한 구현 방식 중 하나를 선택해야 했습니다. 기존 AR에서는 콘텐츠가 단순히 현실 세계 위에 존재했습니다. 따라서 사용자가 콘텐츠 위로 손을 움직였을 때 손이 보이지 않게 되면 실재에 대한 환상이 금세 깨지고 맙니다. 하지만 Passthrough에서는 실제 세계와 가상 세계가 통합되는 방식을 선택적으로 제어할 수 있으며, 사용자의 손이 경험과 완전히 혼합된 것처럼 느끼게 하는 오클루전 메시를 만들 수 있습니다.

오버레이된 콘텐츠나 실제와 가상 세계의 상호 작용 방식을 제어하는 것을 넘어, 사용자가 머리와 손을 집어넣을 수 있는 가상 세계로 통하는 포털이라는 개념을 실험했습니다.

마지막에는 테이블 주위를 에워싸는 가상 현실을 하나 구축했습니다. 게임이나 앱에 참여하면 사용자는 가상 콘텐츠에 온전히 집중하게 되고, 콘텐츠 주변의 가상 세계도 비슷한 방식으로 생동하기 시작합니다. 하지만 테이블에서 시선을 돌리면 현실 세계가 존재하기 때문에 헤드셋을 벗지 않고도 쉽게 음식을 먹거나 마실 수 있습니다. 가상 현실을 드나들며 손이 변하는 모습을 관찰하는 것은 Unity Labs 팀원 사이에서 가장 인기 있는 XR 경험이었습니다.

Unity Labs 팀은 현실을 경험하는 세 가지 방식을 구체화하면서 사용자가 간단한 상호 작용을 통해 세 가지 현실을 자유롭게 넘나들기를 바랐습니다. 그 결과, 슬라이더 기반 접근법을 채택하게 되었습니다. 가상 현실과 실제 현실을 자유롭게 이동하는 인상적인 경험은 직접 체험해봐야 더 잘 이해할 수 있습니다.

Unity Slices: Table 경험을 크리에이터 커뮤니티와 공유하게 되어 기쁩니다. Unity Labs 팀은 크리에이터들이 이번 실험에서 영감을 받아 직접 혼합 현실 경험을 만들어 보기를 바랍니다. Unity 에셋 스토어에서 Oculus SDK의 실험 기능을 사용하면 Oculus Passthrough 경험을 직접 빌드해 볼 수 있습니다.

빠른 시일 내에 Unity Slices: Table을 많은 분들이 경험해 볼 수 있도록 최선을 다하고 있습니다. 유니티 소셜 채널을 통해 향후 관련 소식을 안내해 드릴 예정이니 많은 관심 부탁드립니다.