메타가 AI를 활용해 별도의 센서나 카메라 없이도 다리를 추적하고 이를 표현할 수 있는 방법을 찾는 중이라고 XR전문매체 업로드VR이 공개했습니다.
이에 따르면 메타 AI 연구원들은 훈련 신경망인 퀘스트심(QuestSim)을 통해 퀘스트2와 컨트롤러의 추적 데이터만으로 그럴듯한 전신 포즈를 추정하는 강화 학습을 진행했습니다.
‘아바타 다리 기르기'(AGRoL)라는 제목의 논문에서 메타 AI 연구원들은 AGRoL이 스테이블 디퓨전, OpenAI의 DALL-E 2 같은 최신 AI 이미지 생성 시스템 같은 디퓨전 모델이라고 밝혔습니다.
연구원들은 AGRoL이 1만 5천 달러에 이르는 NVIDIA V100에서 거의 초당 41 프레임으로 다리를 그려낸 터라 실시간으로 실행될 수 있다고 밝혔습니다.
하지만 값비싼 머신 러닝 환경에서 구현한 결과이므로 이를 실제 퀘스트2나 퀘스트 프로 같은 장치에 적용하려면 더 많은 학습과 최적화 시간이 필요할 것으로 보입니다.