Unity Sentis와 Hugging Face로 게임에 적합한 AI 모델 찾기

Unity에 AI 모델을 구현하는 신경망 엔진 Unity Sentis의 제품 업데이트와 Hugging Face 신규 연동이라는 기쁜 소식을 전해 드립니다. 유니티는 Sentis를 통해 AI 모델의 접근성을 높여 오브젝트 인식, 스마트 NPC, 그래픽스 최적화 등의 인게임 기능을 강화할 수 있도록 지원하고자 합니다.

그러나 사용할 수 있는 모델이 너무 많아 사용 사례에 적합하고, 신뢰할 수 있으며, Unity와 잘 연동되는 모델을 파악하기 어려운 경우가 많습니다. 이것이 바로 세계에서 가장 큰 AI 모델 허브(작성 시점 기준 47만 개 이상의 모델 등록)인 Hugging Face와 Unity를 연동한 이유입니다. 그 결과 원활한 연동 테스트를 마친 검증된 Unity Sentis용 AI 모델을 프로젝트에 활용할 수 있게 되었습니다.

Unity Sentis를 지금 바로 사용하려면 유니티 블로그, 기술 자료, 커뮤니티를 확인해 보세요.

앞으로도 유니티는 Hugging Face와 협력하여 Unity 엔진에서 사용할 수 있는 검증된 고품질 AI 모델을 제공할 예정입니다. 해당 모델은 Sentis 프레임워크를 통해 Unity에 간단하게 구현할 수 있도록 최적화되었으며 Hugging Face Hub에서 ‘Unity Sentis’ 태그가 지정되어 있습니다. 게임 내 추론을 위해 바로 사용할 수 있는 해당 C# 파일도 제공됩니다. 검증된 모델은 사전에 .sentis 포맷으로 전환되어 있으므로 ONNX 전환 과정을 거치지 않아도 됩니다. 현재 문장 유사도 측정, 음성 인식, 오브젝트 감지 같이 커뮤니티에서 요청한 일반적인 사용 사례를 다루는 11개의 검증 모델을 제공하고 있습니다.

모든 사용 사례에 활용할 수 있는 포괄적인 무료 오픈 소스 모델 세트를 만들려면 개인 프로젝트에 Unity Sentis 태그를 지정하여 Hugging Face Hub에 게시하세요.

토론 포럼에 방문하여 모델 추가 방법에 대한 도움을 받거나 Hugging Face에 업로드한 프로젝트 링크를 커뮤니티에 공유해 주세요.

Sentis를 통해 로컬에서 AI 모델 추론을 수행하는 데 최적화된 사용 사례가 아니더라도 Hugging Face는 Unity와 잘 연동됩니다. Hugging Face Unity API 패키지를 사용해 빠른 프로토타이핑용 무료 API인 Hugging Face Inference API로 모델을 호스팅하거나, 정식 제작용 유료 API인 Inference Endpoints를 사용할 수 있습니다.

2023년 사전 릴리스 패키지로 Unity Sentis의 오픈 베타가 시작되었으며 유니티는 올해 초까지 안전성을 개선하기 위해 노력해 왔습니다. 최신 릴리스는 유니티 개발자 커뮤니티에서 발견한 문제를 해결하는 데 중점을 두고 있습니다. 패키지를 개선하기 위해 지속적인 피드백을 전해 주셔서 감사합니다.

Unity Sentis는 Unity 6 릴리스에 포함되어 올해 안으로 공식 출시될 예정입니다. 그 전까지 Sentis는 Unity 2023에서 사전 릴리스 패키지로 유지되며 계속해서 기능 업데이트와 수정이 적용될 것입니다. 또한 여러 가지 흥미로운 제품 업데이트가 계획되어 있습니다.

시각화가 원활하지 않으면 모델을 구현하고 최적화하기 어려울 수 있습니다. 따라서 Unity 에디터에서 자체적으로 시각화할 수 있는 직관적인 AI 모델용 그래프 뷰어를 제작할 계획입니다. 이 그래프 뷰어를 통해 모델 노드(연산)를 서로 다른 컴퓨팅 유형(CPU 대 GPU)으로 분배할 수 있습니다. 진정한 의미의 그래프 기반 시각적 최적화라고 할 수 있습니다.

게임 개발자에게 성능은 항상 고민거리입니다. 유니티는 Microsoft Direct ML, Apple Core ML/MPS Graph, Google NN API 등의 플랫폼에서 하드웨어 가속 라이브러리와 NPU(신경망처리장치)라고 하는 신경망용 칩셋과 연동하여 모든 기기의 추론 속도를 향상할 계획입니다. NPU에서 추론을 수행하면 CPU/GPU의 계산 부하가 줄어들어 게임에 더 많은 리소스를 할당할 수 있다는 장점이 있습니다.

Sentis를 통해 기기에서 다양한 AI 모델을 실행할 수 있지만 클라우드에서 추론하는 게 더 좋은 경우도 있습니다. 호스팅 서비스를 통해서만 사용할 수 있는 모델이거나, 서버 권한을 유지해야 하거나, 저사양 기기에서 더 빠른 성능이 필요한 상황이 그 예입니다. 

API를 통해 표준 Unity 웹 요청을 사용하거나, 위에서 언급한 것처럼 Hugging Face 인프라를 사용하는 경우 Hugging Face Unity API를 사용하여 이 문제를 해결할 수 있습니다. 앞으로는 Hugging Face와의 추가 협력을 통해 Hugging Face의 Unity API와 Sentis API를 연동하고 로컬 및 클라우드 추론의 입출력을 일관되게 유지함으로써 C# 코드를 수정하지 않고도 네이티브 및 클라우드 컴퓨팅 간의 프로토타이핑을 더욱 간소화할 예정입니다.

현재 Unity Sentis는 무료 오픈 베타로 제공되며 Unity 2021.3 이상을 사용하는 모든 Unity 개발자가 패키지 관리자를 통해 사용할 수 있습니다. 이미 Sentis를 사용 중이며 유니티와 협력하고 싶다면 이 양식을 작성해 주세요.