카네기 멜론 대학(Carnegie Mellon University) 연구원들이 컨트롤러에 장착한 카메라로 VR 이용자의 전신 움직임을 추적하는 실험에 성공했습니다.
몸이나 다리에 센서를 부착하지 않은 상태에서 VR 이용자의 행동을 추적하는 일은 쉽지 않았는데요.
외부 카메라가 있는 독립형 헤드셋인 퀘스트2도 이용자의 다리를 정확하게 추적할 수 없기 때문에 메타는 헤드셋 카메라로 신체를 추적하는 것을 포기했습니다.
흥미롭게도 카네기 멜론대 연구원들은 2개의 카메라를 헤드셋이 아닌 컨트롤러 위 아래로 부착해 이 문제를 해결했습니다.
컨트롤러의 카메라로 다리 움직임을 좀더 명확하게 확인하면서 믿을 만한 추적 데이터를 추출했고, 이를 학습한 컴퓨터 비전과 결합해 전신 추적 모델을 만들었습니다.
다만 카메라를 단 컨트롤러가 앞쪽에 있을 때 다리의 움직임을 정확하게 파악할 수 있는데, 모든 사용자가 항상 손을 앞에 두는 건 아니므로 더 연구가 필요합니다.
연구원들은 완전한 추적 모델에 따라 다리가 게임 플레이에 어떻게 추가될 수 있는지 경험할 수 있게 하키 골리로 퍽을 막는 시제품도 만들었습니다.
이번 연구가 상용화 될 수 있을지 알 수 없으나 상업용 VR 헤드셋 제조사에게 좋은 힌트가 될 것 같네요.