Unity 검색

컴퓨터 비전을 이용한 지능형 스마트홈 솔루션

2021년 9월 21일 테크놀로지 | 12 분 소요
images illustrating machine learning and computer vision
images illustrating machine learning and computer vision
공유

지능형 스마트홈 솔루션을 위한 컴퓨터 비전 기술은 설계하기가 복잡합니다. 다양한 데이터를 정확하게 수집하는 데 비용과 시간이 많이 들고, 사생활 침해에 관한 우려가 있기 때문입니다. 유니티의 합성 데이터세트 생성 툴과 서비스가 어떻게 각종 도전 과제를 해결하고, 주거 시설에도 사용할 수 있는 컴퓨터 비전 애플리케이션을 개발하도록 지원하는지 알아보세요.

뛰어난 컴퓨터 비전(CV) 모델을 만드는 과정에서 맞닥뜨리는 난관 중 하나는 바로 다양성이 충분하고 라벨 지정이 정확한 데이터세트를 선별하는 일입니다. 실제 데이터를 획득하고 주석을 다는 데 시간과 비용이 많이 들기 때문에 최근에는 이 과정을 생략할 수 있는 합성 데이터세트가 해결책으로 주목 받고 있습니다. 

유니티는 합성 데이터 제작과 사용을 전적으로 지원하고 있습니다. 합성 학습 데이터세트의 구축과 관련하여 유니티의 전문 기술을 원하는 주요 분야 중 하나는 홈 인테리어입니다. 여기에는 가정 자동화(홈 오토메이션), 보안, 보조 공학, 헬스 케어, 반려동물 및 유아 모니터링, 홈 인테리어 디자인 등 다양한 분야가 포함되어 있습니다. 

홈 인테리어의 경우, 특히 사생활 침해 가능성이 있어 실제 집에 근거하여 라벨이 지정된 데이터세트를 확보하기가 어려우며, 학습 데이터에 제품의 소재, 색상, 조명 및 가구와 같이 매우 다양한 요소가 필요하기 때문에 더욱 다루기 어렵습니다.

이러한 프로젝트를 지원하기 위해 유니티는 집안 환경을 생생하게 구현하는 툴과 3D 콘텐츠 라이브러리를 개발하고 있습니다. 폭넓은 데이터를 마련하기 위해 유니티는 카메라 위치, 머리티얼, 조명, 시간대, 하늘 및 야외 환경, 환경에 추가적인 커스텀 오브젝트의 배치 등 절차적 가구 배치와 다양하게 무작위화된 요소를 활용합니다. 아래 이미지는 네 가지 무작위화의 예를 보여줍니다.

Examples for four of the randomizations included in our synthetic home interiors, while keeping other parameters constant
유니티의 합성 홈 인테리어에 포함된 네 가지 무작위화의 예, 다른 파라미터는 일정하게 유지.

유니티의 홈 인테리어 데이터세트는 이 툴을 이용하여 생성할 수 있는 결과물의 일부에 불과합니다. 이 데이터세트에는 가구의 2D 및 3D 바운딩 박스 주석과 의미론적 분류 및 인스턴스 분류 이미지(가구, 붙박이, 벽, 천장, 바닥에 대한 라벨 포함)가 포함됩니다. 라벨 유형이 다양하면 한두 가지 종류의 실측 자료로 제한된 데이터세트와 달리 광범위한 컴퓨터 비전 작업을 지원할 수 있습니다.

아래에서는 고객사와 협업하여 실제 데이터세트를 확보하는 어려움을 극복했던 홈 인테리어 사용 사례를 몇 가지 살펴보겠습니다.

The four types of ground truth included in the Home Interiors dataset. Top left: 2D bounding boxes, Bottom left: 3D bounding boxes, Top right: semantic segmentation, Bottom right: instance segmentation
홈 인테리어 데이터세트에 포함된 네 가지 유형의 실측 자료. 왼쪽 상단: 2D 바운딩 박스, 왼쪽 하단: 3D 바운딩 박스, 오른쪽 상단: 의미론적 분류, 오른쪽 하단: 인스턴스 분류

가정 자동화

컴퓨터 비전은 집안의 다양한 작업을 자동화하고 조율하는 기기를 통해 엄청난 주목을 받게 되었습니다. 다양한 영역에서 이전에는 센서 어레이를 사용하던 분야가 더 효율적이고 완전하게 작업을 수행하기 위해 컴퓨터 비전 기반 카메라를 사용하는 방향으로 옮겨가고 있습니다.

이를 보여주는 좋은 예로 스마트 로봇 진공 청소기를 들 수 있습니다. 이러한 기기는 거의 30년 전에 처음 만들어졌지만 쓰레기와 바닥에 놓인 다른 물체를 잘 구별하지 못한다는 점이 주된 단점 중 하나로 꼽혔습니다. 또한 장애물이 많은 영역을 탐색하는 데도 어려움을 겪었습니다. 이 경우 Unity를 활용하면 문제 해결을 위한 맞춤형 솔루션을 만들 수 있습니다. 예를 들어 Unity의 물리 엔진을 사용하면 임의의 형태로 접히고 주름져 있는 다양한 패브릭 오브젝트를 바닥에 사실적으로 배치하는 것이 가능합니다. 이러한 데이터세트는 진공 청소기가 옷을 식별하고 피하는 방법을 학습하는 데 사용할 수 있습니다.

Simulating the point of view of a smart vacuum cleaner. Left: 2D bounding boxes, Right: semantic segmentation
스마트 진공 청소기 시점 시뮬레이션. 왼쪽: 2D 바운딩 박스, 오른쪽: 의미론적 분류

유니티가 합성 데이터를 이용한 컴퓨터 비전 모델을 개선할 수 있도록 고객과 협력하는 또 다른 분야로는 스마트 카메라가 있습니다. 조명이나 온도와 같은 요소를 제어하고 맞춤 설정하려면 카메라가 방 안에 있는 사람의 존재를 감지해야 합니다. 유니티 툴의 유용성을 입증한 이 분야의 작업 중 하나로, 반려동물을 식별하도록 모델을 학습시킨 사례를 들 수 있습니다. 반려동물을 식별하기 위해서는 집안 환경에 있는 반려동물의 이미지가 폭넓게 필요하며, 다양한 자세와 움직임, 털 색깔 등이 포함되어야 합니다. 게임 엔진인 Unity에는 이러한 작업을 가능하게 하는 다양한 기능이 이미 빌트인되어 있으며, 여기에는 반려동물 등의 골격 모델을 애니메이션화하는 툴과 보다 사실적인 결과물을 위해 모션 블러와 같은 효과를 시뮬레이션하는 툴이 포함됩니다.

또한 합성 데이터를 사용하면 위치와 관측 방향, 투시투영, 종횡비, 렌즈 왜곡, 기타 이미지 속성(대비, 포화도 등)의 차원에서 실제 카메라의 특징과 일치하는 데이터를 생성하기도 더 쉬워집니다. 예를 들어, 합성 데이터를 생성하기 위한 설정에서 나이트 비전 카메라 데이터를 시뮬레이션하는 것은 일반적인 RGB 카메라를 시뮬레이션하는 것만큼 쉽습니다. 또한 합성 데이터의 반복 작업 시간이 단축되므로 실제 카메라를 변경하는 경우, 데이터세트를 나이트 비전에서 RGB로 쉽게 전환할 수 있습니다.  

Simulating a night vision camera with a fisheye lens. Left: 2D bounding boxes, Right: semantic segmentation
어안 렌즈를 사용한 나이트 비전 카메라 시뮬레이션. 왼쪽: 2D 바운딩 박스, 오른쪽: 의미론적 분류

안전과 보안

컴퓨터 비전이 주목을 받는 또 다른 분야로는 집을 안전하게 지키고 헬스 케어 및 지원 기술을 통해 삶의 질을 높이기 위한 솔루션이 있습니다. 

시각 장애인이 집을 안전하게 돌아다닐 수 있도록 돕기 위해서는 집의 레이아웃과 안에 놓인 오브젝트를 총체적으로 이해할 수 있는 모델이 필요합니다. 이러한 모델은 가구, 벽, 계단, 문 등의 요소를 감지하여 집 안에서도 안전한 경로를 식별해야 합니다. 또한 카메라는 사용자가 지나치게 가까이 다가왔을 때 경고할 수 있도록 벽이나 다른 장애물과의 거리를 파악할 수 있어야 합니다. 이 문제를 해결하기 위해 유니티에서는 단층 및 복층 주거 시설 레이아웃을 다양하게 사용하고 가구의 유형과 배치, 문과 창문이 열려 있는 정도 등을 무작위화합니다. 데이터세트의 다양성 외에도, 위와 같은 수준의 복잡도를 위해서는 분류, 바운딩 박스, 뎁스 맵 등 학습할 수 있는 여러 유형의 실측 자료가 있어야 합니다. 따라서 매우 다양하면서도 정확하게 라벨이 지정된 실제 데이터세트를 수집하기가 더 어려워집니다.

합성 홈 인테리어는 집 안에 있는 사람을 인식하는 모델을 만드는 과정에서 사실적인 환경의 역할도 수행할 수 있습니다. 여기에는 3D 인체 모델을 시뮬레이션에 추가하고 자세, 키, 체격, 머리 스타일, 피부 등을 무작위화하는 방식이 사용됩니다. 이러한 컴퓨터 비전 모델은 사람의 일상을 모니터링하면서 걸음걸이나 일상적인 움직임과 같은 요소에 이상이 나타나는지 감지하는 데 사용할 수 있습니다. 또한 이를 기반한 시스템으로 사용자가 낙상하거나 오랜 시간 동안, 특히 침실이 아닌 장소에서 움직이지 않는 경우 응급 서비스에 알리는 것도 가능합니다. 마찬가지로 이러한 시스템은 특정 유형의 약을 투약할 때 나타나는 일반적인 몸과 팔의 움직임을 학습하여 사용자가 투약을 잊었는지를 감지하고 알려줄 수도 있습니다.

AI recognizing 2 people and objects in a room
홈 인테리어 환경에 배치한 3D 인체 모델. 왼쪽: 2D 바운딩 박스, 오른쪽: 키포인트

인테리어 디자인

최근에는 머신러닝을 통해 컴퓨터도 예술적 비전에 대한 인식을 발달시킬 수 있게 되었으며, 인테리어 디자인은 이와 관련된 예 중 하나입니다. 일부 온라인 소매업체는 이미 사용자가 스마트폰 카메라를 사용해 집에서 제품을 시각화할 수 있는 기능을 제공하고 있습니다. 이 기능은 가상의 제품을 사실적으로 표시하기 위해 컴퓨터 비전 모델을 사용하여 방 안의 다양한 표면(바닥, 테이블, 벽)의 크기와 영역을 식별하고 측정합니다. 이것은 컴퓨터 비전 기술이 제안하는 증강 현실의 다양한 가능성 중 사소한 예시에 불과합니다.

예를 들어 유니티에서 작업한 사용 사례 중 하나는, 사용자가 업로드한 사진을 바탕으로 집의 소재와 기존 인테리어 디자인 스타일을 감지하는 것입니다. 이 기능을 갖춘 모델은 사용자가 집과 잘 어울리는 제품을 빠르게 찾을 수 있도록 도와주는 온라인 추천 시스템에 활용할 수 있습니다. 위와 같은 사용 사례를 가능하게 하는 것이 바로 유니티의 물리 기반 렌더링 엔진이며, Unity를 통해 사용자는 여러 가지 목재와 라미네이트 같은 다양한 머리티얼을 사실적으로 렌더링할 수 있습니다. 또한 유니티의 맞춤형 무작위화 툴을 사용하면 생성된 프레임마다 머티리얼의 다양한 파라미터를 쉽게 수정할 수 있습니다. 

컴퓨터 비전 모델은 사용자의 집에 있는 것과 크기가 비슷한 새 가구를 추천하고 정확하게 시각화하기 위해 방 안에 있는 가구 오브젝트의 일반적인 형태와 크기를 감지할 수도 있습니다. 비슷한 차원에서, 집에 새로운 느낌을 주고 싶을 때 어떤 색상이 어울리는지 선택할 수 있도록 다양한 색상을 사용자의 가구에 가상으로 적용해 보는 색상 스키마 시각화 도구를 구축하는 것도 가능합니다.

가구, 시간대, 스카이박스 무작위화

향후 가능성

여기에서 살펴 본 응용 분야는 이 기술이 가진 가능성의 일부에 불과합니다. 합성 데이터를 활용하면 다양한 컴퓨터 비전 작업에서 모델 성능을 향상할 수 있습니다. 추가적인 예로는 오래된 건물의 인테리어를 매핑하여 리모델링과 위치 인식, 또는 합성 환경을 절차적으로 생성하기 위해 정확한 도면을 만드는 작업을 들 수 있습니다. 요구 사항에 맞게 합성 데이터세트를 커스터마이징할 수 있으므로 활용 범위는 무궁무진합니다. 이번 포스팅은 홈 인테리어에 중점을 두었지만 유니티의 절차적 툴을 이용하면 다양한 환경을 생성하고 무작위화할 수 있습니다. 

컴퓨터 비전 기술을 활용한 홈 인테리어 프로젝트에 맞는 커스텀 합성 데이터세트에 관한 질문은 유니티 전문가팀에게 문의하세요. 유니티에서는 스마트홈 외 다른 분야로 용도를 넓히고 싶은 사용자를 위해 구체적인 환경과 라벨 지정 등 요구 사항에 맞는 다양한 커스터마이징 옵션을 지원합니다. 홈 인테리어 데이터세트를 다운로드하여 데이터세트의 예시를 확인해 보세요.

2021년 9월 21일 테크놀로지 | 12 분 소요