메타와 뮌헨 공과대학교 연구원들이 단 4장의 셀카 사진 만으로 3D 아바타 머리를 생성하는 Avat3r이라는 논문을 공개했습니다.
이번 논문에서 연구진들은 수십대에 이르는 초고가 캡처 장비 없이 단 4장의 셀카 데이터를 대규모 재구성 모델(LRM)에 넣어 3D 아바타 머리를 생성합니다.
또한 스마트폰 스캔을 통해 저품질 아바타 생성 이후 3분 이상에 걸쳐 65개의 표정을 만들어 4개의 고성능 GPU가 장착된 컴퓨터에서 몇 시간 동안 처리하는 기존 작업도 생략했습니다.
연구진들은 3D 시각 작업에 트랜스포머를 활용하는 대규모 재구성 모델(비전 트랜스포머) 개념을 적용했습니다.
다만 아바타 머리는 낮은 성능의 컴퓨팅 장치에서 생성할 수 있으나 애니메이션은 지포스 RTX 3090에서 초당 8프레임 정도로 실행되고 있어 XR 헤드셋에 적용하려면 최적화가 더 필요합니다.