Perception 1.0: 합성 데이터를 위한 툴박스 확장

오픈 소스 툴의 이번 주요 릴리스에는 Unity의 합성 데이터에 합성 휴먼과 합성 홈이 포함됩니다.

더욱더 성장하고 있는 머신러닝 기반 컴퓨터 비전(CV) 시스템 분야에서 성공하려면 주석이 많이 달린 데이터가 대량으로 필요합니다. 시스템의 성능은 데이터에 크게 의존하기 때문에 대개 더 나은 데이터를 수집하는 것이 모델 성능 개선에 가장 좋은 방법입니다. 그러나 실제 데이터를 수집하고 주석을 입력하는 작업에는 많은 시간과 비용이 필요하기 때문에 모든 프로젝트에서 데이터 중심 접근 방식을 활용하기는 어렵습니다. 대신 수많은 팀에서 Unity를 사용하여 컴퓨터 비전에 사용할 합성 데이터를 구축했습니다.

현재, 유니티는 합성 데이터 구축용 오픈 소스 툴의 주요 업데이트인 Perception 1.0을 통해 합성 데이터 분야에서 큰 발전을 이루고 있습니다. 새로운 Synthetic Humans 패키지를 사용하면 다양한 형태의 결정론적인 3D 휴먼을 제작할 수 있습니다. 패키지가 제공하는 3D 휴먼은 무작위화가 가능하며 포즈를 편집할 수 있습니다. 새로운 Synthetic Homes 데이터 세트 제너레이터를 사용하면 씬 이해와 오브젝트 감지를 위한 사실적인 홈 인테리어 데이터를 얻을 수 있습니다. 또한 Perception 패키지의 뎁스와 노멀 출력, 패스트레이싱 지원, Python 시각화 및 분석 툴 등이 업데이트되었습니다.

확장된 툴을 사용하여 그 어느 때보다 신속하게 고품질의 합성 데이터를 구축하세요.

인간 중심적 CV 합성 데이터를 위한 3D 휴먼 제너레이터, Unity Synthetic Humans를 공개합니다. 이번 툴은 수천 시간을 스캐닝, 시뮬레이션, 3D 아트 제작에 쏟아부어 완성되었습니다. 오늘 그 결과물을 교육용 무료 오픈 소스 라이선스로 공개합니다. 

몇 안 되는 기본 캐릭터 모델에 몇 가지 변형만 제공하는 다른 디지털 휴먼과 달리 Synthetic Humans는 헤어 스타일 라이브러리, 다양한 얼굴 및 민족, 신체 모델, 옷을 결합하여 매우 다양한 디지털 휴먼을 생성합니다. 결과적으로 생성된 모든 가상 휴먼은 현실의 특정한 개인과 관련 없으며 유일무이합니다. 구체적인 한 명의 휴먼을 생성하지 않고 인종, 키, 체중, 나이 등을 무작위화하여 표본 분포를 조절하는 것도 가능합니다. 예를 들어 20%는 청소년, 45%는 청년, 나머지 35%가 중년 이상인 데이터 세트를 생성 파라미터를 통해 지정할 수 있습니다.

주요 기능:

• 다양한 범위의 나이, 체형, 피부톤
• 신체적 특징 및 옷 분류를 비롯한 풍부한 레이블링
• 리깅과 스킨 작업이 완료된 바디와 의상으로 Unity 애니메이션 시스템과 호환됨
• 충돌 없이 3D 환경에서 무작위로 배치

또한 대규모 합성 홈 인테리어 데이터 세트인 Synthetic Homes와 관련 데이터 세트 제너레이터를 공개합니다. 가정 내 CV 사용 사례는 무수히 많지만, 실제 세계에서 다양한 홈 인테리어 데이터를 수집하는 것은 개인 정보 보호 문제와 데이터 수집 제한으로 인해 극히 어렵습니다. Synthetic Homes는 정확하고 풍부한 레이블이 있는 대규모의 홈 인테리어 데이터 세트와 설정할 수 있는 데이터 세트 제너레이터를 함께 제공하여 홈 애플리케이션 모델을 더 빠르게 훈련하도록 돕습니다. 

Synthetic Homes는 다양성을 최대한 높이기 위해 다양한 무작위화를 포함합니다. 여기에는 머티리얼, 가구 유형 및 구성, 햇빛의 각도 및 온도, 낮/밤 전환, 인테리어 조명 온도, 카메라 각도, 잡동사니, 스카이박스, 문 및 커튼 애니메이션 등이 포함됩니다. 데이터 세트 제너레이터를 통해 수많은 요소를 제어할 수 있어서 원하는 대로 조정할 수 있습니다.

가정 내 인테리어 조명은 복잡하고 의도가 분명하기 때문에 현실감이 특히 중요합니다. Unity의 멀티 바운스 패스트레이싱을 사용하여 물리적으로 정확한 전역 조명과 반사를 구현했습니다. 높은 정확도는 흔히 말하는 시뮬레이션과 실세계 사이의 불일치(Sim2Real gap)를 줄이는 데 도움이 될 수 있으며, 모델이 합성 데이터로 훈련한 후 실제 세계에서 제대로 작동하도록 모델의 기능을 향상합니다.

Synthetic Homes 프로젝트에는 10만 개의 이미지 데이터 세트, 설정할 수 있는 데이터 세트 제너레이터, 데이터 분석을 위한 참고 자료가 포함되어 있습니다. 데이터 세트에는 의미론적 분류 및 인스턴스 분류, 바운딩 박스, 뎁스, 노멀에 관한 풍부한 레이블이 포함되어 있습니다. 또한 오클루전 비율과 카메라 위치 등의 환경적 정보도 포함되어 있습니다. 데이터로 반복 작업할 수 있도록 카메라의 위치, 블러 무작위화, 이미지 크기 등의 파라미터를 조정할 수 있는 데이터 세트 제너레이터를 함께 제공합니다.

Perception 패키지는 Unity 에디터에서 합성 데이터를 지원합니다. 이번 릴리스에서는 새로운 종류의 CV 작업을 지원하고 품질과 데이터 세트 개발 속도를 높이기 위해 패키지를 광범위하게 확장했습니다. Perception에 다음과 같은 새로운 기능이 추가되었습니다.

• 컨베이어 벨트 샘플은 무작위 오브젝트 생성 및 물리를 적용한 동영상 데이터 세트 캡처를 보여 줍니다.
• 레이트레이싱 통합은 최소한의 설정으로 물리 기반 멀티 바운스 조명을 사용하여 매우 사실적인 이미지를 제공합니다.
• 오클루전 레이블러는 씬의 다른 부분에 의해 오브젝트가 얼마나 가려지는지, 얼마나 화면 밖에 있는지 계산합니다. 이 정보를 사용하여 너무 많이 가려진 오브젝트에 대한 주석을 필터링할 수 있습니다.
• 뎁스 및 노멀 레이블러는 새 작업에서 사용할 수 있는 렌더링 레이어를 캡처하거나 더 나은 예측을 위해 모델에 추가 정보를 제공합니다.
• 투명성 및 양방향 지오메트리 지원을 통해 농업 및 실외 환경에서 식물을 매우 정확하게 레이블링할 수 있습니다.

또한 커뮤니티에 더 강력한 Perception을 제공하기 위해, 이번 릴리스와 함께 커뮤니티가 기여할 수 있는 패키지도 공개합니다.

데이터 탐색과 분석은 합성 데이터를 빠르게 반복 작업할 때 매우 중요하며, 유니티는 이를 최대한 쉽게 만들고자 했습니다. 이번 업데이트에서는 SOLO라는 새로운 데이터 세트 형식을 추가했습니다. 이는 새로운 유형의 주석 및 지표로 확장할 수 있는 대규모 이미지 데이터 세트를 위해 만들어진 형식입니다. SOLO 데이터 세트는 디스크에서 프레임별로 분리되어 있어서 분산 데이터 세트를 생성하고 처리할 수 있습니다.

SOLO 형식과 함께 pysolotools도 공개합니다. 이는 SOLO 형식으로 작업할 수 있는 유틸리티를 제공하는 새로운 Python 오픈 소스 패키지입니다. pysolotools Python 패키지는 프레임 단위에서 SOLO 데이터로 쉽게 작업할 수 있는 반복자(interator) 인터페이스를 제공합니다. 또한 오브젝트 수, 크기 분포, 히트맵 등 대부분의 CV 문제와 관련하여 보편적인 데이터 세트 통계를 쉽게 검색해서 가져올 수 있는 프레임워크를 제공합니다. 마지막으로 pysolotools를 사용하면 쉽게 커스텀 스크립트를 작성하여 데이터 형식을 SOLO에서 필요한 데이터 형식으로 변환할 수 있습니다. pysolotools는 데이터 세트를 COCO 등 많이 사용되는 형식으로 변환해 주는 사전 구축된 컨버터를 함께 제공하므로 더욱 간편합니다.

마지막으로 생성된 데이터를 시각적으로 확인하는 것이 정말 중요하다는 사실을 잘 알고 있습니다. pysolotools-fiftyone은 Voxel FiftyOne 뷰어와 통합되어 있으므로 SOLO 데이터 세트를 시각적으로 확인할 수 있습니다.

Unity Computer Vision 허브에서 튜토리얼과 활용 사례, 관련 콘텐츠 및 예시 링크 등을 통해 합성 데이터 구축에 대해 더 자세히 알아볼 수 있습니다. 

머신러닝을 위한 합성 데이터 분야는 계속해서 성장하며 빠르게 변화하는 분야입니다. Computer Vision 포럼에서 커뮤니티 및 유니티와 소통하고 궁금한 점이나 아이디어를 공유하세요.