차세대 가상 현실의 ‘게임 체인저’, 엔비디아 지포스 RTX

RTX를 켰을 때와 껐을 때의 차이. 게임 캐릭터의 그림자를 보면 차이를 쉽게 알 수 있다.

엔비디아가 게임 그래픽의 ‘빛’을 말한 것에 의아한 이들도 많을 것이다. 왜냐하면 대부분은 수많은 3D 게임에서 수많은 빛을 봤기 때문이다. 하지만 대부분은 그 빛을 봤을 뿐 빛이 만드는 다른 현상은 보지 못한다는 사실을 깨닫지 못한다. 이를 테면 게임 속 어두운 동굴에서 손전등을 켰을 때 빛 주변을 밝게 해주는 정도의 효과는 볼 수 있어도, 빛의 차단에 의해 생길 수 있는 그림자나 사물 표면에 반사된 이미지는 거의 보지 못하는 것이다. 실제로 게임에서 손전등의 움직일 때마다 그림자의 위치나 길이의 변화가 거의 없다는 점을 볼 때, 실제 빛과 관련된 현상을 재현하지 못하는 그래픽은 결과적으로 현실감을 떨어뜨리는 원인이 되는 셈이다.

엔비디아의 튜링 마이크로아키텍처 구조

물론 앞서 나왔던 그래픽 카드에서 실시간으로 광선 추적을 처리할 수 없다는 이야기는 아니다. 종전 그래픽 카드로도 광원에서 나온 광선을 추적한 뒤 계산 값을 반영해 실시간으로 렌더링을 할 수는 있지만, 의미있는 결과를 내놓기에 미흡했을 뿐이다. 때문에 엔비디아는 기존 GPU 구조가 아니라 실시간으로 레이트레이싱을 처리할 수 있도록 튜링이라는 새로운 마이크로아키텍처를 설계했다.

안티 앨리어싱에 따르는 부담을 기계 학습으로 낮추더라도 품질은 그대로 유지한다.

여기에 레이트레이싱의 처리를 가속하는 전용 RT코어를 넣었다. 3D 모델에 그림자나 반사가 들어간 렌더링을 하기 위해선 렌더링 전 3D 모델에 광선이 닿는 교차점을 찾아야 한다. 문제는 이 교차점을 계산하는 데 걸리는 시간이 상당하다는 것. 더구나 광선수를 늘릴 수록 계산 시간은 늘어날 수밖에 없던 터라 수많은 그래픽 전문가와 연구자들은 중복 정보를 제거하는 등 계산을 가속하는 방법을 찾아냈고, 엔비디아는 빛과 3D 모델을 구성하는 수많은 삼각형의 교차점 계산을 위한 전용 파이프라인(ASIC)인 RT 코어를 튜닝 마이크로아키텍처에 반영한 것이다. 결과적으로 SM에서 명령을 받은 RT 코어의 계산이 끝나면 값은 다시 튜링 SM의 레지스터로 전달되어 렌더링에 쓰인다.

기존 GTX 1080와 RTX 2080, 그리고 RTX 2080에서 DLSS 옵션을 켰을 때의 성능 변화.

물론 텐서 코어는 3D 그래픽 성능에도 영향을 미친다. 특히 3D 모델의 가장 자리를 부드럽게 만들기 위한 안티 앨리어싱은 GPU 자원과 프레임 버퍼를 상당 부분 소비해 부담을 안겼다. 엔비디아는 각 장면 및 이미지에 대한 기계 학습으로 기존 안티 앨리어싱과 거의 같은 효과를 내는 DLSS(Deep Learning Super Sampling)라 부르는 새로운 형태의 안티 앨리어싱 기술을 넣었다. 덕분에 가장 자리를 부드럽게 만들어야 했던 GPU의 부담이 상대적으로 줄어 초당 프레임수를 더 늘릴 수 있게 됐는데, DLSS를 이용하면 종전 GTX 1080 대비 2배 안팎의 프레임 수 증가에 대한 결과를 엔비디아에서 내놓기도 했다.

이처럼 엔비디아는 ‘빛’을 실시간으로 처리하기 위한 설득력 있는 GPU 구조로 바꿨지만, 많은 이들은 화려해진 게임 그래픽 효과를 넘는 경험을 하기 힘들 것이라고 생각하는 듯하다. 충분히 그럴 수 있다. 워낙 바쁘고 정신 없는 게임 안에서 빛 효과를 감상할 시간이나 있겠냐는 말도 터무니 없지는 않다. 적어도 공간이 제약된 모니터 안이라면 빛의 효과를 경험하고 감상할 수 있는 한계는 분명 있다.

하지만 모니터보다 넓은 공간의 가상 현실이라면 상당히 달라진다. 가상 현실 안에서 빛에 의한 효과는 사실감을 더 높여 몰입감을 높이는 매우 중요한 요소로 작용하기 때문이다. 지금까지 빛의 물리적 작용이 전혀 없는 그래픽이었다면 앞으로 물리적 영향을 반영한 그래픽을 가상 현실에서 볼 수 있으므로 실제의 느낌을 더 받을 수 있다.

그렇다고 빛에 의해 달라진 그래픽이라 더 몰입감이 높아진다고 단순하게 결론만 말할 수는 없다. 사실 엔비디아는 지포스 RTX 20에 가상 현실에 영향을 미치는 다른 변화를 넣었다. 차세대 가상 현실에 필요한 성능을 충분히 제공하고 그 환경을 단순화하기 위한 여러 기술과 장치들이 지포스 RTX 20과 함께 공개됐다.

JDI가 지난 5월에 공개한 차세대 VR용 고밀도 초소형 디스플레이.

먼저 디스플레이 문제 해결을 위한 성능이다. 많은 이들은 가상 현실 헤드셋의 디스플레이 해상도로 인해 픽셀과 픽셀 사이의 검은 선이 드러나는 스크린도어 효과를 몰입감을 방해하는 주된 요소로 지적해 왔다. 이 문제를 풀려면 소형화된 고밀도 디스플레이를 써야 하는데, 작은 공간에 픽셀을 넣어 밀도를 높일 수록 높은 처리 성능을 요구한다. 특히 초소형 고밀도 디스플레이는 작고 가벼운 헤드셋의 최적화를 위해서 필수적이라 올해 LG와 JDI, 소니가 2K, 4K VR용 디스플레이를 연이어 공개했는데, 두 개의 고해상도 디스플레이에 각각 렌더링을 할 때 요구되는 더 높은 처리 성능을 RTX에서 보완한 것이다.

또한 엔비디아 지포스 RTX 20 시리즈는 처음으로 포비티드 렌더링을 지원한다. 포비티드 렌더링은 주변 시야의 이미지 품질을 줄여 렌더링 작업량을 줄이는 그래픽 기술이다. 즉, 우리가 초점을 맞추고 보는 사물이나 방향 주변은 대부분 흐릿한 형태로 남아 있는 것처럼, 헤드셋 작용자가 보고 있는 부분만 정확하고 또렷하게 렌더링을 하고 그 주변의 렌더링 품질은 떨어뜨리는 것이다.

포비티드 렌더링은 눈의 초점이 맞는 부분과 그 주변부의 품질이 다르다.

포비티드 렌더링을 위해선 헤드셋이 눈의 방향을 추적할 수 있어야 한다. 눈의 추적과 관련된 기술은 이미 많은 VR/AR 헤드셋 제조사들이 이미 진행중인 부분이다. 엔비디아는 텍스처를 고화질과 저화질로 렌더링할 수 있는 포비티드 렌더링 방법을 2017년에 공개한 바 있는데, 이 렌더링 기술을 이번 지포스 RTX에서 구현할 수 있게 됐다. 물론 안구 추적이 되는 차세대 가상 현실 헤드셋이 나오기 전까지 이 기술을 직접 보기는 어려울 듯하다.

마지막으로 VR 업계에서 제안한 버추얼링크 커넥터의 지원이다. 버추어링크 커넥터는 USB-C의 대체 모드(Alternate Mode)에 대응하는 개방형 업계 표준으로 밸브와 오큘러스, 마이크로소프트, AMD 및 엔비디아는 이 규격에 대한 지지의사를 밝혔다. 한마디로 USB-C와 같은 단자지만, 이 단자는 가상 현실 헤드셋의 복잡성을 제거하고 단순성과 호환성을 높이는 중요한 결정이다.

실제로 오늘날 가상 현실 헤드셋은 적게는 2개, 많게는 4개나 되는 케이블을 각 단자에 연결해야 한다. 디스플레이와 USB 단자에 따로 케이블을 꽂아야 하는 터라 단자 관리가 어려운 환경에서 가상 현실 헤드셋을 사용하기 어려운 문제가 있다. 버추얼링크 커넥터는 이것을 모두 통합한다. 즉, 하나의 케이블로 가상 현실 헤드셋의 작동에 필요한 전원은 물론 영상 신호와 센서 신호의 송수신을 모두 처리할 수 있으므로 가상 현실 헤드셋을 더 단순화할 수 있다. 엔비디아는 버추얼링크 어댑터를 RTX 2080이나 2070 파운더스 에디션에 기본 탑재했고, 엔비디아 이외의 그래픽 카드 제조사에서 이 단자를 채택할 지 여부는 좀더 두고봐야 할 듯하다.

엔비디아는 지포스 RTX 파운더스 에디션에 버추얼링크를 이미 탑재했다.

엔비디아가 ‘빛’을 처리하는 능력 위주로 지포스 RTX를 소개한 터라 이처럼 가상 현실을 위해 준비된 부분이 잘 알려지지 않은 점은 안타까운 부분이다. 아마도 RTX 20에서 준비된 것들을 당장 경험할 수 없는 것이 현실이기에 엔비디아도 당장 강조할 수 없는 어려움이 있었을 것이다. 지포스 RTX 20 시리즈의 능력을 가상 현실에서 보려면 다음 세대, 또는 그 다음 세대의 가상 현실 헤드셋이 나와야만 해서다.

하지만 차세대 VR 헤드셋의 출현을 좀더 앞당기기 위해서 컴퓨팅 파워가 준비되어 있어야 한다. 차세대 VR을 위한 컴퓨팅 파워와 기술 없이 기존 성능에 기대는 헤드셋의 출현은 VR의 발전을 이끌 수 없어서다. 때문에 엔비디아 지포스 RTX 20은 그 장점을 경험할 수 없는 오늘이 아니라 그 장점이 살아나는 다가올 미래의 어느날 재평가를 받게 될 것이다. 오늘 우리는 그 매리의 일부만을 만났을 뿐이다.