페이스북이 4월 중순에 개최한 F8 행사에서 두 개의 서라운드 360 카메라를 발표하자 지인의 타임라인에 종전 노키아의 오조와 비슷한 페이스북 버전의 360도 카메라라며 대수롭지 않은 것 같다는 평을 본 적이 있다. 나는 그 글을 읽자 마자 곧바로 댓글을 달았다. 그렇게 가볍게 볼 수 있는 카메라가 아니라고 말이다. 다만 그 이유를 자세히 말하진 않았다. 이제서야 그 이유를 정리한다.
지난 해 페이스북은 카메라를 원반 형태로 둘러서 배치한 첫 프로토타입 360도 카메라를 선보인 적이 있다. 당시 공개했던 것은 상업용이 아니라 개발자를 위한 용도로 선보인 프로토타입이었을 뿐이다. 아마도 그 프로토타입을 기억하고 있는 이들은 올해 F8에서 공개한 두 번째 서라운드 360 카메라를 봤을 때 지난 모델을 상업적으로 내놓기 위한 개선 버전 정도로 여길지도 모르겠다. 하지만 번짓수가 틀렸다. 이 카메라는 완전히 새로운 것이다.
페이스북의 X24 서라운드 360 카메라와 X6 서라운드 360 카메라
솔직히 이 분야에 별다른 관심이 없다면 두 번째 페이스북 서라운드 360 카메라는 렌즈가 조금 많이 달렸을 뿐 종전 360도 카메라와 크게 달라보이지 않는다고 생각할 수도 있다. 사실 노키아 오조(Ozo)와 비슷하게 보인다고 말한 것도 무리는 아니다. 일단 구 형태로 된 카메라에 많은 카메라를 단 구조는 비슷하니까.
열화상 카메라를 만들던 플러(FLIR)와 제휴해 만든 페이스북 서라운드 360 카메라는 24개의 카메라를 넉넉하게 담은 X24와 6개의 카메라를 가진 X6 두 가지였다. 이 가운데 X24의 몸값은 무려 3만 달러에 달한다. 어안 렌즈 두 개를 달고 고작 30만 원 안팎의 360도 카메라와 비교하면 거의 100배 비싼 몸값을 자랑하는 녀석이니 뭔가 달라도 다르긴 할 게다.
노키아의 오조 카메라
100배나 비싸니 더 좋은 화질로 찍을 수 있는 게 아니냐고 막연한 이유를 떠올릴 수도 있을 것이다. 물론 X24는 최대 8K 영상을 촬영할 수 있기는 하다. 하지만 8K 해상도로 촬영하는 것만이 그 이유는 아니다. 오히려 페이스북의 X24 서라운드 360 카메라는 어느 관점에서 보느냐에 따라서 상당히 값싼 것일 수도 있다. 왜냐하면 이 카메라는 볼류메트릭 비디오(Volumetric Video)를 촬영할 수 있는 360도 카메라이기 때문이다.
어안 렌즈 두 개로 찍은 360도 영상과 X24 서라운드 360으로 찍은 볼류메트릭 영상은 겉으로 볼 때 똑같아 보일 수 있다. 두 영상 모두 몸을 꼿꼿이 고정한 채 고개만 좌우로 돌리거나 위아래로 올리거나 숙일 때는 그렇게 보인다. 하지만 이용자가 몸이나 머리를 앞으로 내밀거나 뒤로 젖힐 때, 양옆으로 조금 이동했을 때라면 다르다. 일반 360도 영상은 조금의 원근감 없이 전체 영상이 몸이나 고개가 움직이는 방향을 따라다닌다. 반면 볼류메트릭 비디오는 앞으로 숙이면 좀더 가깝게, 뒤로 젖히면 좀더 멀리, 살짝 옆으로 이동하면 움직인 위치에서 찍은 360도 영상을 보여준다. 즉, 한 자리에서 찍은 볼류메트릭 영상은 이용자의 달라진 시점에 맞는 영상을 보여주는 데 이는 현장의 몰입감을 높이는 데 엄청난 영향을 미친다.
볼류메트릭 비디오를 위해서 하이프VR이 제작한 카메라
볼류메트릭 비디오를 촬영하는 카메라는 일반 360도 카메라와 한 가지 다른 특징이 있다. 파노라마 이미지를 이어붙이는 일반 360 영상의 차이는 없지만, 볼류메트릭 비디오는 깊이에 대한 정보를 추가한다. 페이스북은 깊이 정보를 얻기 위해 모든 캡처를 4배로 오버 샘플링한 뒤 프레임마다 위치 추정 알고리즘을 적용해 영상을 처리한다. 이 카메라로 촬영한 영상의 깊이를 측정하는 프로세스 후 편집한 비디오는 영상 안에서 상하좌우 이동, 앞뒤 원근감, 좌우 시점 이동을 할 수 있는데, 이러한 6 자유도(6-DOF, Degree Of Freedom)를 해결한 것이 바로 페이스북의 X24 서라운드 카메라인 것이다.
물론 가상 현실을 위한 볼류메트릭 비디오를 시도하고 있는 곳은 페이스북만이 아니다. 지난 CES 2017에서 인텔 프레스컨퍼런스에 등장했던 하이프VR(HypeVR)도 앞서 볼류메트릭 비디오를 선보인 적이 있다. CES 프레스 컨퍼런스에서 시연했던 하이프VR의 샘플 영상은 베트남 풍경을 촬영한 것인데, 가상 현실 HMD를 쓰고 상하좌우 시점을 옮기더라도 화면이 함께 이동하는 게 아니라 실제와 똑같은 위치에서 시점만 옮겨서 볼 수 있도록 만들었다.
하이프VR은 볼류메트릭 비디오를 촬영할 때 페이스북 같은 구 형태의 360도 카메라가 아니라 훨씬 비싼 전문 방송 콘텐츠 제작에 쓰는 6K 레드(RED) 카메라를 14대 결합해 360도 촬영을 위한 자체 장비를 구축했다. 흥미로운 점은 촬영 영상의 깊이 정보를 얻기 위해 레이저 빛을 쏘고 받는 라이다(Lidar)를 이용한 부분이다. 라이다로 생성한 깊이 데이터와 비디오의 텍스처 데이터를 융합해 실시간 3D 렌더링한 초당 60 개의 볼륨 프레임을 생성하면 이용자가 캡처된 동영상 안에서 움직이면서 좀더 자유롭게 볼 수 있다. 하지만 볼류메트릭 영상을 만들기 위해 초당 60프레임으로 촬영한 데이터는 초당 3GB에 이르기 때문에 이를 3D 렌더링하려면 강력한 컴퓨팅 파워가 필요하다.
볼류메트릭에 도전하고 있는 또 다른 업체는 라이트로(Lytro)다. 라이트로는 이용자가 처음부터 초점을 맞추지 않아도 나중에 사진을 열어 초점을 맞추는 기술을 적용한 라이트 필드 카메라를 판매 중이다. 라이트 필드 카메라 기술을 이용하면 위치 이동에 따라 초점을 조절할 수 있으므로 360도 영상에서 시점의 제약을 해결할 수 있다. 프로토타입을 제작한 뒤 현재 시야각 90도의 라이트로 필드 카메라 90대를 탑재한 두 번째 버전을 공개했는데, 이 카메라는 6 DoF 뿐만 아니라 반사되는 소리의 반향까지도 잡아내는 것으로 알려졌다. 하지만 이 제품이 상용화할 수 있는지 알 수 없다.
라이트 필드 카메라 기술을 이용한 라이트로의 볼류메트릭 카메라
볼류메트릭 비디오는 가상 현실용 360도 영상의 몰입감을 높이기 위해서 해결되어야 할 과제다. 스포츠나 콘서트처럼 실시간으로 생중계되는 상황에서 실제 현장에서 움직이는 것 같은 효과를 줄 수 있을 뿐만 아니라 마치 게임 공간처럼 VR 영상 속을 돌아다닐 수 있는 효과를 낼 수 있어 좀더 역동적인 VR 영상 콘텐츠를 제작할 수 있기 때문이다. 이러한 볼류메트릭 비디오를 위한 페이스북 X24 서라운드 360 카메라는 일반인을 대상으로 하는 것은 아니지만, 콘텐츠의 대중화에 필요한 능력을 갖고 있다. 그 능력을 가진 카메라를 내놓은 페이스북은 가상 현실에서 가장 현실적인 접근을 하고 있는 것은 분명하다.
직접 보고 듣고 써보고 즐겼던 경험을 이야기하겠습니다.
chitsol@techg.kr
