넷매니아즈 벤더 솔루션 분석 리포트
Qwilt - 통신사업자용 비디오 캐싱 솔루션 전문 벤더

최근 몇 년 사이 국내외적으로 많은 인터넷 비디오 서비스 사업자 (OTT: YouTube, Netflix, Pooq, Naver, Tving 등)들이 출현하여 다양한 유무선 단말을 통해 고품질의 비디오 서비스를 제공하고 있다. 이러한 OTT 서비스의 성공으로 통신사업자는 “매출과 무관한 네트워크 비용 증가”와 “기존 비디오 서비스 매출 감소”라는 이중고에 시달리게 되었다. 세계 각국의 통신사업자는 OTT 사업자로 인한 네트워크 비용을 최소화하고 더 나아가 OTT를 활용하여 새로운 수익 모델을 발굴하기 위해 노력하고 있으며 이는 모든 통신사업자들의 큰 숙제이다.

통신사업자의 이러한 고충에 대한 해답으로 Transparent Caching 기술이 제시되고 있다. Transparent Caching 기술은 초기에는 P2P 파일을 캐싱하여 네트워크 비용을 줄이는 시도에서 시작이 되었으나 최근에는 P2P 파일보다 인터넷 비디오 파일의 유통량이 더 많아졌고 또한 비디오 파일의 캐싱은 P2P파일과 다른 특성을 가지고 있어 비디오 캐싱에 특화된 Transparent Caching 기술 및 솔루션이 시장에서 요구되기 시작하였다.

이를 충족시키는 비디오 전문 캐싱 벤더로 Qwilt(www.qwilt.com)를 들 수 있으며 본 보고서에서는 Qwilt의 솔루션 (QB-시리즈)에 대해 심층 분석하였다.

2013년 3월 19일
손장우 (넷매니아즈 대표이사)
www.netmanias.com

About NMC Consulting Group/Netmanias
NMC Consulting Group was founded on year 2002 and is advanced, professional network consulting company which is specialized for IP Network area like FTTH, Metro Ethernet and IP/MPLS, Service area like IPTV, IMS and CDN, Wireless network area like Mobile WiMAX, Wi-Fi and LTE.
Copyright ⓒ 2002-2013 NMC Consulting Group. All rights reserved.

인터넷 비디오 사업자(OTT)의 성공과 통신사업자의 고민

최근 몇 년 사이 국내외적으로 많은 인터넷 비디오 서비스 사업자 (OTT: YouTube, Netflix, PooQ, Naver, TVing 등)들이 출현하여 PC, 스마트 폰, 스마트 패드, 스마트 TV, 전용 STB 등 다양한 단말을 통해 고품질의 비디오 서비스를 제공하고 있다. 프로그레시브 다운로드와 HTTP Adaptive Bit Rate(ABR) 스트리밍과 같은 인터넷 비디오 전달 기술의 등장으로 IP 네트워크의 QoS를 보장받지 않아도 끊김 없는 안정적인 비디오 재생이 가능해졌고 영상 품질도 초기에는 500~700Kbps에서 최근에는 2~7Mbps까지 초고화질로 제공 되고 있어 OTT 서비스 이용자수가 폭증하고 있다. 이러한 OTT 서비스의성공으로 통신사업자는 “기존 비디오 서비스 매출 감소”와 “매출과 무관한 네트워크 비용 증가”라는 이중고에 시달리게 되었다.
즉, 이용자들이 통신사업자가 제공하는 비디오를 안 보고 OTT 사업자가 제공하는 비디오 컨텐츠를 소비하게 되어 자사의 비디오 서비스 매출 저하를 초래시킨다는 점과 OTT 사업자가 발생시키는 막대한 트래픽으로 인해 통신사업자의 국제 회선 구간, 백본망 구간 그리고 유무선 액세스망 구간에 트래픽이 폭증하고 있고 이를 감당하기 위한 네트워크 비용은 해마다 증가하고 있다는 점이다. 국내 통신사업자 A사의 경우 2012년 국제 회선의 36%가 YouTube 트래픽으로 관측되었고 또 다른 통신사업자 B사의 경우 2012년 전체 이동통신 트래픽의 53%가 OTT 사업자의 비디오 트래픽이다. 세계 각국의 통신사업자는 OTT 사업자로 인한 네트워크 비용을 최소화하고 더 나아가 OTT를 활용하여 새로운 수익 모델을 발굴하기 위해 노력하고 있으며 이는 모든 통신사업자들의 큰 숙제이다.

Qwilt Unified Universal Video Delivery Solution: 통신사업자망내 비디오 컨텐츠 캐싱

OTT 사업자는 비디오 컨텐츠의 전달을 위해 자체로 CDN 망을 구축하거나 상용 CDN 서비스를 받고 있는 데 이 서버들은 통상 통신사업자망의 외부에 위치한다. 최근에 OTT의 비디오 트래픽을 통신사업자 망내의 에지에서 캐싱하여 트래픽량을 획기적으로 줄여 네트워크 비용을 감시켜주는 Transparent Caching (약어로 TIC: Transparent Internet Caching) 기술이 상용망에 적용되기 시작하고 있다. Transparent Caching 기술은 인기있는 OTT 비디오 컨텐츠를 통신사업자망내에서 캐싱하고 이용자가 해당 컨텐츠를 요청하면 OTT 오리진 서버에서 다운로드받아 전달해주지 않고 통신사업자망내 캐싱된 컨텐츠를 전달해줌으로써 통신사업자는 국제 회선 비용과 백본 비용을 절감할 수 있고 이용자에게는 이용자 위치에서 가까운 캐싱 서버에서 컨텐츠를 전달해주므로 응답시간이 빨라 고품질의 비디오 서비스를 안정적으로 받을 수 있다는 장점을 제공한다.

Transparent Caching 기술은 초기에는 P2P 파일을 캐싱하여 네트워크 비용을 줄이는 시도에서 시작이 되었으나 최근에는 P2P 파일보다 인터넷 비디오 파일의 유통량이 더 많아졌고 또한 비디오 파일의 캐싱은 P2P 파일과 다른 특성을 가지고 있어 비디오 캐싱에 특화된 Transparent Caching 기술 및 솔루션이 시장에서 요구되기 시작하였다. 이를 충족시키는 비디오 전문 캐싱 벤더로 Qwilt를 들 수 있으며 본 보고서에서는 Qwilt의 솔루션 (QB-시리즈)에 대해 살펴 보도록 한다.

기존의 Transparent Caching 기술은 HTTP Response 메시지를 분석하여 컨텐츠를 식별하고 캐싱 동작을 수행하는 데 반해 Qwilt는 HTTP Request 메시지를 분석하여 컨텐츠를 식별하고 캐싱한다. 이용자가 OTT 서버로 비디오 요청 메시지 (HTTP GET)를 보내면 이 메시지는 옵티컬탭을 통해 QB (Qwilt사의 Transparent Caching 장비명)로 전달된다.
QB는 URI Path, URI Parameters 그리고 HTTP 헤더 정보를 이용하여 요청된 비디오 파일에 대한 식별자인 Content ID (CID)를 생성한다. 예를 들어 YouTube의 경우 HTTP Request 메시지내의 URI 파라미터 중 id (YouTube 비디오 ID)와 itag (해상도) 값 및 다양한 파라미터를 해싱하여 CID를 생성한다. 캐싱되어 있는 비디오 파일들에 대한 CID를 검색하여 요청된 비디오 파일이 캐싱되어 있는 지 확인한다. 해당 비디오에 대한 최초 요청의 경우에는 QB에 비디오 파일이 캐싱되어 있지 않으므로 Cache Miss가 발생한다. 이후 YouTube 서버로부터 옵티컬탭을 통해 비디오 파일을 전달받으면 이를 캐싱한다.
다른 이용자가 동일 비디오 파일에 대한 비디오 요청 메시지를 보내면 QB는 동일 방식으로 CID를 생성하고 Content DB를 검색한다. 이 경우 Cache Hit가 발생하고 QB는 이용자 단말로 HTTP 302 Redirect 메시지를 전달해주어 자신에게 비디오 요청 메시지를 보내게 한다. 이 때 Source IP를 YouTube 서버 IP로 하여 TCP FIN을 보내 단말이 YouTube 서버와의 TCP 연결을 해제하여 YouTube 서버로부터의 파일 다운로드를 중단시키게 한다. 단말은 QB로 비디오 요청 메시지를 보내고 QB는 해당 비디오 파일을 전달해준다.

이와 같이 Qwilt는 기존 TIC 벤더처럼 컨텐츠 자체를 해싱하여 컨텐츠를 식별하지 않고 HTTP Request 메시지를 분석하여 식별한다는 점과 이용자로부터 자신에게 캐싱되어 있는 컨텐츠에 대한 요청을 받으면 302 Redirect 메시지를 단말로 보내 자신에게 접속시켜 받아가게 하는 독특한 캐싱 로직을 가지며 이로 인해 기존 방식에 비해 네트워크 안정성, 네트워크 성능, 캐싱 성능, 캐싱 효율, 신규 수익모델 지원 등의 측면에서 다양한 장점을 제공한다.

일체형 장비

일체형 장비

Problem Description: 기존의 TIC 솔루션으로 10Gbps의 처리 용량을 지원하기 위한 구성이 아래 그림 왼쪽에 나타나있다. 캐싱 솔루션을 구성하기 위해 여러 대의 캐싱 서버, 스토리지, 스위치가 요구되며 기존 네트워크에도 트래픽 분류 및 리다이렉트를 위해 라우터에 PBR을 설정하거나 고가의 DPI 장비를 도입해야 한다. 많은 공간을 차지하고 전력 사용량이 크며 여러 장비를 관리하기 위한 운영 비용도 증가한다. 국내 통신사업자들의 국제 회선용량과 국내 통신사업자간 피어링 용량이 각각 수백 Gbps에 이르고 있는 데 이러한 기존 방식의 구성은 CAPEX/OPEX 측면에서 통신사업자에게 큰 부담을 준다. 또한 DPI 장비를 도입하거나 기존에 도입된 DPI 장비를 사용하여 TIC 솔루션을 구축하는 경우 DPI 장비와 TIC 솔루션간에 연동이 요구되기 때문에 상용망 도입전에 충분한 연동 시험과 검증을 거쳐야 하므로 즉각적인 상용망 도입이 어렵다는 단점도 가지고 있다.

Qwilt Solution: 반면에 Qwilt의 경우는 기존 네트워크에 PBR 설정을 하거나 DPI 장비를 도입할 필요없이 있는 그대로의 네트워크를 유지하면서 QB 시리즈 도입만으로 Transparent Caching을 가능케 해준다. 단일 장비로 비디오 요청 메시지 및 비디오 파일 획득, 비디오 트래픽 분류, 분석, 전달, 부하 분산을 모두 수행하며 Qwilt의 인터넷 비디오에 특화된 Transparent Caching 로직으로 인해 2U의 단일 서버로 20Gbps의 트래픽 분석 능력과 10Gbps의 비디오 전달 능력을 제공한다. 이로 인해 통신 사업자는 공간과 전력 사용량 그리고 운영 비용을 절감할 수 있다. 또한 TIC 벤더 솔루션 중 유일하게 DPI(Deep Packet Inspection)가 QB내에 내장되어 있어 정교한 트래픽 분류와 모니터링이 가능하며 DPI 구매를 위한 추가 비용이 발생하지 않는다. DPI를 사용하여 트래픽을 분류 및 리다이렉트시키는 경우에 DPI 장비와 TIC 서버간의 연동이 필요한 데 QB는 이러한 벤더간 연동 이슈를 없애주어 TIC 서버의 즉각적인 상용망 적용을 가능하게 해준다.

네트워크성능과 안정성

네트워크 성능과 안정성 (Passive Monitoring and Redirect 구조)

Problem Description: 기존의 Transparent Cache는 라우터에 PBR을 설정하여 80 포트인 패킷을 모두 TIC 서버로 리다이렉트시켜서 단말과 오리진 서버간의 HTTP 패킷을 수신한다. 즉, 통신사업자가 인터넷 비디오 파일만을 캐싱하려고 해도 일단 모든 HTTP 트래픽은 TIC 서버로 인가되고 TIC 서버가 HTTP 메시지를 분석하여 비디오 파일이 아닌 패킷들은 다시 라우터로 돌려보낸다. 즉, TIC 서버는 캐싱과 무관한 불필요한 트래픽들을 모두 처리해야 한다. 라우터는 H/W (패킷 포워딩 ASIC 칩)로 패킷을 포워딩하는 데 반해 TIC 서버는 S/W (CPU)로 패킷을 처리하므로 전체 네트워크 성능이 저하되게 된다. 또한 라우터의 PBR 설정으로 인해 웹 트래픽과 비디오 트래픽이 모두 TIC 서버를 통해 전달되므로 만일 TIC 서버가 다운되면 비디오 시청뿐만 아니라 일반적인 웹 서핑도 모두 통신 두절 상태가 된다.

Qwilt Solution: Qwilt는 Passive Monitoring and Redirect라는 독특한 구조를 갖는다. Passive Monitoring 인터페이스를 통해 양방향 패킷들은 모두 QB로 전달된다. QB내의 DPI 엔진은 HTTP Request 메시지를 분석하여 캐싱할 컨텐츠이면 (예를 들어 YouTube, Netflix, Pooq 등) 캐싱 엔진으로 보내고 아니면 버린다. 캐싱되어 있는 비디오 파일에 대한 HTTP Request 메시지를 Passive Monitoring 인터페이스를 통해 수신하면 해당 단말로 302 Redirect 메시지를 보내 자신에게 접속하여 비디오 파일을 받아가게 한다. 즉, QB가 처리하는 트래픽은 QB가 판단하여 Redirect를 보내 자신에게 컨텐츠 요청을 한 트래픽만 처리하고 일반 웹 서핑 메시지에 대해서는 Redirect를 보내지 않고 통신에 개입하지 않으므로 PBR 방식의 기존 TIC 서버와 달리 네트워크상에 전달 성능 병목점이 사라진다. 만일 QB가 다운이 되어도 단말이 보낸 비디오 요청 메시지를 Redirect하지 않게 되므로 오리진 서버로 접속하여 비디오 파일을 다운로드 받게 되고 일반 웹 서핑 트래픽은 QB와 무관하므로 통신 두절이나 성능 저하가 전혀 없다는 장점을 갖는다.

ABR 처리 성능

ABR (Adaptive Bit Rate) 처리 성능

Problem Description: 초기의 인터넷 비디오 서비스는 HTTP 프로그레시브 다운로드 (Progressive Download: PDL) 방식 위주였으나 최근에는 비디오 시청 중 발생되는 트래픽량이 작고 이용자 체험 품질이 우수한 HTTP Adaptive Bit Rate (ABR) 방식으로 진화하고 있다. PDL 방식은 한 번에 전체 파일을 요청하여 다운로드 받는 데 반해 ABR 방식은 하나의 파일을 수 초 정도 길이의 작은 청크로 조각내고 클라이언트가 비디오 시청 중에 지속적으로 청크를 요청하여 다운로드 받아가는 방식이다.

비디오 전달 방식이 PDL 방식에서 ABR 방식으로 전환되면서 기존의 TIC 서버의 캐싱 성능이 크게 저하되고 있는 데 그 이유는 다음과 같다. 기존의 TIC 서버는 비디오 파일의 앞부분 10KB 정도를 해싱하여 Content ID(컨텐츠 식별자)로 사용한다. 문제는 PDL 방식에서는 전체 파일 하나에 대해 한번의 해싱 계산만 하면 되는 데 ABR 방식에서는 예를 들어 비디오가 1시간짜리이고 청크 사이즈가 2초이면 이용자가 하나의 비디오를 시청하는 동안 1,800번의 해싱 계산을 수행해야 한다는 점이다. 하나의 TIC 서버가 2만 가입자에게 동시에 캐싱된 컨텐츠를 ABR 방식으로 전달해주는 경우에는 시간당 36,000,000번, 초당 10,000번의 해싱 계산이 필요하다. ABR 방식을 채택하는 OTT가 늘어나면서 컨텐츠 해싱 기반인 기존 TIC 서버에 대한 대안 방식이 요구되어지고 있다.

Qwilt Solution: 매 청크에 대해 해싱 계산을 수행해야 하는 Object 기반 방식과 달리 Qwilt는 HTTP Request 메시지를 기반으로 컨텐츠를 식별하고 하나의 파일에 속한 청크들을 하나의 CID (Content ID)로 관리한다. 따라서 매 청크 요청에 대해 해싱 계산이 필요없으므로 ABR 방식으로 비디오를 전달할 때 기존 TIC 서버 대비 높은 처리율을 얻을 수 있다. Tolly의 테스트 리포트에 따르면 Qwilt의 QB 시리즈는 기존 벤더 대비 5배 정도의 처리율을 제공한다[Tolly, Qwilt QB-100 Transparent Caching and Video Delivery Platform: Performance and Feature Evaluation, 2012].

ABR 캐싱 효율

ABR (Adaptive Bit Rate) 캐싱 효율

Problem Description: 미국 인터넷 트래픽의 33%를 차지하는 세계 최대 OTT인 넷플릭스는 ABR 방식으로 비디오 컨텐츠를 전달해준다. 넷플릭스 ABR 전달 방식의 특징은 아래 그림 (a)와 같이 Byte Range Request를 통해 청크 (수 초 짜리 영상 파일 조각)를 요청한다는 점이다. 그런데 특이한 점은 넷플릭스 플레이어가 요청하는 각 청크들의 시작 바이트와 끝 바이트가 그때 그때 다르다는 점이다. 아래 그림 (b)처럼 이용자 A와 B가 동일 비디오를 시청할 때 이용자 A에게 전달되는 각 청크들의 시작 바이트와 끝 바이트가 이용자 B에게 전달되는 값과 다르다.

이러한 넷플릭스의 비디오 요청방식은 기존의 TIC 서버의 캐싱 능력을 무력화시킨다. 기존의 TIC 서버는 HTTP Request 메시지를 참조하지 않고 요청된 파일의 앞부분 10KB 정도를 해싱한 값으로 컨텐츠를 식별한다. 따라서 전달되고 있는 청크들이 하나의 파일에 속한 조각들이라는 사실을 모르고 각 청크들을 별개의 파일로 인식한다. 그런데 동일 비디오 파일이 요청시마다 서로 다른 청크 사이즈로 전달이 되니 TIC 서버는 모두가 다 다른 파일이라고 인식하게 되며 따라서 Cache Hit가 발생하지 않는 것이다.

Qwilt Solution: QB의 경우에는 HTTP Request 메시지를 기반으로 컨텐츠를 식별하기 때문에 현재 전달되고 있는 청크들이 한 비디오 파일의 조각들이라는 것을 인식할 수 있고 각 청크들을 캐싱하여 넷플릭스 서버에 있는 원본 파일과 같은 하나의 비디오 파일로 저장한다. 이후 동일 컨텐츠에 대해 어떠한 바이트 범위의 요청이 와도 요청된 범위의 조각을 전달해 주기 때문에 캐싱 효율이 대폭 향상된다.

YouTube 캐싱 효율

모바일 유튜브 캐싱 효율

Problem Description: 모바일 단말에서 YouTube에 접속하여 비디오 컨텐츠를 시청할 때는 유선 PC 환경에서와 매우 상이한 비디오 요청 패턴이 관측된다. 유선 액세스망과 달리 무선 구간 네트워크 자원이 매우 제한적인 모바일 환경에서는 단말로 전달되나 보지 않는 비디오 분량을 최소화하기 위해서 클라이언트는 한번의 전체 파일을 요청하지 않고 처음에 1/2정도의 분량만 받고 이후 이용자가 계속 시청을 하면 나머지 1/4정도의 분량을 요청하고 역시 이용자가 계속 시청을 하면 나머지 1/4의 분량을 요청한다. 이로 인해 중간에 다른 비디오 시청을 위해 시청중인 비디오를 나가는 경우 발생하는 불필요한 트래픽 전달을 최소화해 줄 수 있다. 이렇게 실제 시청을 하는 분량만 전달해줌으로써 OTT 이용자는 단말에 들어와 있으나 시청하지 않은 비디오 트래픽 분량도 통신사업자에게 요금을 지불하게 되는 불합리성을 막아 준다.

문제는 동일 단말에서 OTT 사이트의 동일 컨텐츠를 다운로드 받을 때도 매번 이 1/2, 1/4에 해당하는 비디오 분량이 다르다는 점이다. 아래 그림에 갤럭시 노트에서 KT LTE망을 통해 YouTube 사이트의 원더걸스 비디오를 여러 번 시청할 때 단말에서 요청되는 Byte Range값이 약간씩 다름을 확인할 수 있다. 이로 인해 컨텐츠의 앞부분 10KB정도를 해싱하여 컨텐츠를 식별하는 Object 기반의 기존 TIC 서버는 매 조각의 앞부분이 조금씩 다르므로 매 조각을 서로 다른 컨텐츠라고 판단하므로 Cache Hit가 발생하지 않는다. 따라서 기존 TIC 서버는 TIC 도입으로 인한 트래픽량 절감을 기대할 수 없다.

Qwilt Solution: QB의 경우에는 HTTP Request 메시지를 기반으로 컨텐츠를 식별하기 때문에 현재 전달되고 있는 청크들이 한 비디오 파일의 조각들이라는 것을 인식할 수 있고 각 청크들을 캐싱하여 YouTube 서버에 있는 원본 파일과 같은 하나의 비디오 파일로 저장한다. 이후 동일 컨텐츠에 대해 어떠한 바이트 범위의 요청이 와도 요청된 범위의 조각을 전달해 주기 때문에 캐싱 효율이 대폭 향상된다. 이 장점도 넷플릭스 비디오 캐싱과 마찬가지로 인터넷 비디오 파일은 임의의 길이로 잘라진 채 전달될 수 있다는 점을 고려하여 캐싱 로직을 설계하였기 때문에 얻을 수 있는 장점이다.