VR (Virtual Reality, 가상현실) 기기 (HMD - Head Mounted Display, 머리에 쓰는 헤드셋)가 2016년경부터 시장에 본격적으로 출시되고 있으나 (아래 표 참조), 아직은 비싼 VR 기기 가격, 현실과 같은 몰입감을 주기에 부족한 저해상도, VR HMD의 PC 테더링으로 인해 이동의 불편함, VR 컨텐츠 결핍 등의 문제로 스마트폰처럼 보편화되지는 못하고 있는 상황이다.

표. 최근 출시된 VR 기기 

VR 관련 산업이 대규모 마켓을 형성하기 위해 풀어야 할 기술 분야의 숙제는,

1) 이용자 머리(VR HMD: Head Mounted Display)의 움직임과 눈에 보이는 VR 화면의 불일치로 인해 발생하는 매스꺼움이 없는 쾌적한 VR 컨텐츠 시청을 위해 MTP(Motion-to-Photon) 지연을 10~20ms이내로 최소화해주어야 한다.

2) 현실과 거의 같은 진정한 몰입감을 주기 위해 Full-view 해상도(Sphere video)가 12K~24K 이상, Full view중 시야(FOV) 화면 해상도는 4K이상, 시야각은 120° 이상, 프레임율은 60~120fps 이상, Refresh rate은 90Hz 이상 등을 제공해야 하며, 동시에/그러면서도 VR 기기의 가격이 합리적/저가이어야 한다.

3) 현재 주로 제공되고 있는, VR 기기를 PC에 테더링 (PC가 FOV 렌더링, 즉 고화질 VR 그래픽 프러세싱을 PC가 수행)하여 이용자의 이동이 제한되는 유선형이 아니라, VR 기기만 있으면 되는 모바일 VR(Standalone VR 기기)이 제공되어야 하며, 이 때 모바일 VR 기기의 VR 컴퓨팅으로 인한 배터리 소모를 최소화해줄 수 있어야 한다.

4) 고화질의 VR 컨텐츠는 다운로드 방식이 아니라 스트리밍 방식(지금 VoD, 음원 등 처럼 이용의 편의성 제공 측면과 VR 소스파일의 대용량성으로 인한 단말 스토리지 비용 문제)으로 VR 기기에 전달되어질 수 있어야 한다. 이 때, 대규모의 이용자들에게 VR 컨텐츠를 스트리밍해줄 때 통신사업자망내에 발생하는 트래픽을 최소화시킬 수 있어야 한다.

모바일 VR 기기 환경에서 Motion processing(VR 기기의 움직임 감지, 이용자의 안구 움직임 감지 등)과 렌더링(이용자 시야에 디스플레이될 최종 화면을 만드는 작업)을 수행하는 방식, VR 컨텐츠 전달방식은 아래와 같이 4가지로 분류할 수 있다. 

(1) VR 기기에서 Motion processing과 rendering을 수행

VR 기기에 다운로드된 Full view 파일이 기기에 존재하고, 기기가 Motion processing과 FOV 렌더링을 수행. VR 기기가 VR 프러세싱을 위해 고가화되고 배터리 소모가 큼

(2) VR streaming - Full view streaming/transmission 

VR 스트리밍 서버는 spatial sphere의 Full view(360° surround image)를 단말로 스트리밍해주고 단말이 motion processing과 FOV rendering (이미지 스위칭)을 수행한다. 네트워크와의 인터액션(Head rotation 등의 센싱 정보 전달)이 없으므로 Network latency와 Cloud latency는 없으나(낮은 MTP 보장), 이용자는 전체 뷰중 기기 각도에 따른 해당 FOV 화면만 보므로, 보지 않는 부분에 해당하는 대역폭은 낭비된다. 또한 VR 기기에 높은 컴퓨팅 파워가 요구되어 VR 기기가 고가화될 수 밖에 없으며 배터리 소모가 크다.  

<Full view 스트리밍의 경우 VR 스트리밍 서버가 단말로 스트리밍해주는 화면>

(3) VR streaming - FOV streaming/transmission

VR 기기는 Head rotation 등의 센싱 정보를 에지 서버로 보내주고, 에지 서버는 이용자가 전체뷰중 현재 보고 있는 시야(FOV)의 VR 이미지만을 VR 단말로 스트리밍해준다(에지서버가 FOV 렌더링을 수행). 이로 인해 Full view transmission 방식에 비해 요구대역폭이 대폭 감소하게 되며, VR 기기의 프러세싱 파워도 고사양이지 않아도 된다. 화웨이에 따르면 에지 FOV 스트리밍은 Full view 스트리밍에 비해 네트워크 대역폭을 절반 정도로 줄여준다.
 

다만 이 경우 MTP [Motion(Head movement)-to-Photon(머리 움직임에 따른/시야가 바뀐 것에 따른, 변경된 해당 이미지가 디스플레이됨)] latency를 10~20ms이내로 보장해주기 위해 망에서는 초저지연 전달(RTT)을 보장해주어야 한다. 2018년 3월에 보다폰은 화웨이와 함께 에지 FOV 렌더링 방식의 360° VR 스트리밍을 시연했다 . 

 <에지 서버가 VR 기기로 스트리밍 해주는 VR 이미지 (에지 FOV 렌더링)>

(4) VR streaming - FOV+Foveated Rendering transmission

에지에서 VR 기기의 움직임을 정보를 이용하여 FOV 영역만 렌더링하여 스트리밍해주는 에지 FOV 렌더링 방식의 다음 단계로 Foveated 렌더링 방식이 에지에서 시도되고 있다. FOV 렌더링은 이용자가 현재 FOV 화면중 어디를 보고 있는 지 모르므로 FOV 전체 영역을 고화질로 렌더링한다.

Foveated 렌더링은 VR 기기에 eye-tracker(Tobii사 솔루션)를 탑재하여 FOV 화면내 현재 이용자가 응시하고 있는 영역을 알아내어 이를 에지 서버(에지에 있는 Foveated Cloud Server)로 보내고(eye-gaze signal), 에지 서버는 이 영역은 고화질로 렌더링하고 주변 영역은 저화질로 렌더링하여 전송 대역폭을 더욱 줄여주는 기술이다.

Foveated rendering은 VR 기기에 최근 적용(HTC, Oculus 등)되고 있으며 VR 기기의 GPU 프러세싱 파워 요구사항을 대폭 줄여준다. 에지 Foveated 스트리밍은 이를 에지로 offloading시켜 전송 대역폭 절감과 함께 에지 서버의 렌더링 부하를 줄여주려는 시도이다.

에릭슨은 올해 2월 MWC에서 이를 시연했으며, Full-view 스트리밍 방식에 비해 네트워크 대역폭이 최대 85% 감소함을 보여주었다. FOV 스트리밍과 마찬가지로 MTP [Motion(Eye-tracking)-to-Phone(안구 움직임에 따른 변경된 해당 이미지가 디스플레이됨)] latency가 초저지연이어야 한다.

​<에지 서버가 VR 기기로 스트리밍 해주는 VR 이미지 (에지 Foveated 렌더링)>