가상/증강/혼합현실을 아우르는 XR분야는 최근 몇 년간 눈부신 기술 발전을 거듭하고 있습니다. 특히 지난 1~2년 사이 연구자들의 주목을 받고 있는 신기술들은 XR 경험의 현실감과 효율을 획기적으로 높이며, 산업 전반에서 몰입감과 성능을 동시에 향상시키고 있습니다.
이번 칼럼에서는 최신 XR 연구 동향 중 각광받는 세 분야의 기술 – NeRF와 Gaussian Splatting, 주시 기반 가변 렌더링(광시야 초점 렌더링), 첨단 햅틱 피드백 – 을 선정하여 살펴보겠습니다. 각 기술의 개념과 원리를 쉽게 풀어 설명하고, XR 시스템에서의 구체적인 활용 방식까지 상세히 소개해보겠습니다.
NeRF(Neural Radiance Fields)는 딥러닝을 활용해 3차원 장면을 사진처럼 사실적으로 복원하는 기술입니다. 여러 각도에서 촬영한 사진을 신경망에 학습시키면, 모델은 공간의 각 지점에서 빛이 어떤 색으로, 어떤 방향으로 나오는지(복사장, Radiance Field)를 추정합니다. 즉 여러 장면 사진만으로 실제 공간의 ‘디지털 쌍둥이’를 만드는 기술입니다. 학습이 끝난 NeRF는 기존에 존재하지 않던 새로운 카메라 시점에서도 매우 자연스러운 3D 영상을 합성할 수 있으며, 사진으로부터 홀로그램에 가까운 3D 공간을 복원한다고 이해해도 좋습니다.
VR-NeRF 시스템은 이러한 NeRF를 XR에 적용한 대표 사례로, 실제 공간을 다중 카메라로 고해상도 HDR 이미지로 촬영한 뒤 NeRF 모델로 학습해 VR 헤드셋에서 사실적인 장면을 실시간으로 렌더링합니다. 사용자는 이 가상 공간 안을 자유롭게 돌아다니며, 마치 촬영 장소에 직접 들어와 있는 듯한 존재감을 경험할 수 있습니다.
이처럼 NeRF는 XR에서 “현실과 가상의 경계를 허문다”는 표현이 어울리는 기술입니다. 특히 원격 협업, tele-presence(원격 존재감), 디지털 트윈, 실감 아바타, 원격 조작 인터페이스 등에서 촬영된 공간을 NeRF로 복원해두면, 멀리 떨어진 사용자가 해당 장소에 실제로 방문한 것과 유사한 공간적 몰입을 느낄 수 있습니다.
Data Capture[출처 : VR-NeRF: High-Fidelity Virtualized Walkable Spaces]
VR Demo[출처 : VR-NeRF: High-Fidelity Virtualized Walkable Spaces]
These videos are encoded using HEVC with 10-bit HDR colors and are best viewed on a compatible display with HDR support, e.g. recent Apple devices.
그러나 NeRF는 뛰어난 품질에도 불구하고 학습·렌더링 속도가 느리다는 한계를 가지고 있습니다. 픽셀 하나를 합성하기 위해도 수십~수백 번의 MLP 쿼리를 수행해야 하므로, 실시간 XR 렌더링에는 큰 부담이 됩니다. 이러한 한계를 해결하고자 등장한 기술이 3D Gaussian Splatting(GS)입니다.
GS는 장면을 신경망이 아니라 수천~수만 개의 3D 가우시안 입자로 표현하는 방식입니다. 초기에는 Structure-from-Motion을 통해 희소 점군을 얻고, 이를 위치/색/크기/방향성을 가진 3D Gaussian(스플랫)으로 확장합니다. 새 시점에서 장면을 렌더링할 때는 이 3D Gaussian들을 카메라 평면에 투영(splatting)하여 2D에 뿌린 뒤 합성하는 비교적 단순한 과정만 거치기 때문에, NeRF처럼 복잡한 볼륨 레이마칭을 계산할 필요가 없습니다. 이러한 래스터화 중심의 표현 덕분에 GS는 NeRF 수준에 가까운 사실감을 유지하면서도 1080p 기준 100fps 이상의 실시간 렌더링 성능을 보여줍니다.