
온라인 쇼핑을 하다가 마음에 드는 옷을 발견했습니다. 모델이 입었을 때는 분명 예쁜데, 막상 결제하려니 고민이 시작됩니다.
“내가 입으면 저 핏이 나올까?”
특히 재킷이나 원피스처럼 실루엣이 중요한 옷은 사진만으로 판단하기 어렵죠. 그렇다고 옷 하나 입어 보려고 매장까지 가기는 또 귀찮고요. 결국 늘 입던 스타일을 고르게 됩니다. 옷장에는 또 비슷한 검은색 옷이 한 벌 추가되겠네요.

그런데 만약 준비된 카메라 앞에 서서, 또는 본인의 휴대폰으로 셀카를 찍고 옷을 선택하기만 해도, 화면 속 내 몸에 가상의 옷이 입혀지고 움직임까지 실시간으로 따라온다면 어떨까요?
최근 XR과 AI 기술은 바로 이런 경험을 현실로 만들고 있습니다. 그 중심에 있는 기술 중 하나가 실시간 3D AR 가상 피팅(Real-Time 3D Augmented Reality Virtual Try-ON) 입니다.
가상 피팅(Virtual Try-On, VTON)이라는 개념 자체는 새롭지 않습니다. VTON은 사용자의 사진이나 실시간 카메라 영상에 의류를 합성해, 실제로 옷을 입지 않고도 착용 모습을 확인할 수 있게 해주는 기술입니다.
예를 들어 구글의 가상 피팅 기능은 사용자가 전신 사진을 올리면 선택한 옷을 입은 모습을 생성해 보여줍니다. 사진 속 내 모습을 기준으로 스타일을 살펴볼 수 있다는 점에서 흥미로운 경험입니다.

구글 인공지능(AI) 기반 가상 피팅 서비스
하지만 사진을 기반으로 만든 결과물에는 아쉬움도 있습니다. 사진 속 모습이 아무리 자연스러워도, 지금 내가 팔을 움직이거나 몸을 돌렸을 때 옷이 어떻게 보이는지 바로 확인하기는 어렵죠.
실시간 AR 가상 피팅은 이 지점에서 다른 경험을 제안합니다. 카메라가 사용자의 움직임을 인식하고, 그에 맞춰 가상의 의류를 화면에 표현합니다. 내가 팔을 올리면 소매가 움직이고, 몸을 돌리면 옷이 보이는 각도도 달라지는 것이죠.
쉽게 말해 지금 카메라 앞에 서 있는 나를 중심으로 가상의 피팅룸을 구현하는 것입니다. 나의 위치와 옷의 위치를 계산해야 하고, 어색하지 않도록 실시간 렌더링을 하는 등, 이렇게 복잡한 작업을 스마트폰이 어떻게 실시간으로 처리할 수 있을까요?
2026년 발표된 연구 LightVTO: A High-Fidelity, Real-Time 3D Virtual Try-On System on Smartphones(Lin et al., 2026).는 이 질문에 대한 한 가지 답을 보여줍니다.
LightVTO는 스마트폰에서 실시간 3D 가상 피팅을 구현하기 위해 AI 기반 자세 추정과 신체 비율을 고려한 움직임 변환, 의류 시뮬레이션 및 렌더링을 결합한 연구 시스템입니다. 연구진은 대표적인 중급 스마트폰에서 약 60 FPS에 가까운 속도로 안정적으로 작동했다고 보고했습니다.
