VR 헤드셋을 쓰면 착용자의 눈을 완전히 가리므로 외부에서 착용자의 눈이 어떤지 확인할 길이 없는데요.
페이스북이 올해 시그래프(SIGGRAPH)에서 외부에서 착용자의 눈을 볼 수 있는 역 패스스루 프로토타입을 시연할 예정이라고 밝혔습니다.
지금가지 패스스루는 VR 헤드셋 착용자가 외부 카메라로 실시간 촬영된 이미지를 헤드셋 내부의 디스플레이에서 보는 것이었습니다.
하지만 역패스스루는 이와 반대로 착용자의 눈과 주변의 모습을 헤드셋 외부에 표시하는 것을 의미합니다.
특히 헤드셋을 쓰고 있으면 안쪽이 어둡기 때문에 눈과 눈꺼풀 등을 카메라로 캡쳐해 외부에 표시하기 어려운 데요.
때문에 페이스북은 실제 눈 모습을 캡쳐하지 않는 대신 눈과 그 주변의 움직임을 추적하고 그래픽으로 렌더링하는 방식을 채택했습니다.
VR 역패스스루는 페이스북 리얼리티 랩(FRL) 연구원인 네이선 마츠다가 2019년 첫 시연을 했던 것인데요.
당시 FRL을 이끌고 있던 마이클 애브라쉬는 이 아이디어는 참신하다는 정도에 불과했다고 회고했습니다.
다만 페이스북 연구원들이 이 기술을 개선하는 데 제약을 두진 않았고 최근 외부에 3D 디스플레이를 활용해 깊이감까지 확인할 수 있도록 개선했습니다.
역 패스스루 VR은 아직 연구를 지속하는 과정이어서 실제 상용화가 이뤄질지는 알 수 없는데요.
비록 상업화가 되지 않더라도 이런 연구가 이뤄지는 것을 보면 페이스북은 XR 분야에 진심인 듯 보입니다.