Operator CDN 트렌드 및 기술 동향
2011년 10월 6일

손 장 우
02-3444-5747, 010-3460-5747
son@netmanias.com
www.netmanias.com/www.nmcgroups.com

Contents
1. Overview
2. Walled-Garden CDN
3. OTT (Over-The-Top)
3.1 OTT Major: Netflix, Hulu, HBOGO, Starz, BBC, Amazon,..
3.2 OTT Video Streaming: Internet Video
3.3 OTT Video Distribution: Pure-Play CDN (Akamai, Limelight, Level3,…)
4. Operator CDN
BT, Verizon, Telefonica, AT&T, DT, PT,…
5. CDN Comparison
Pure-Play CDN
Operator CDN

1. Brief Overview

Operator TPS (Walled-Garden CDN): 2005년 전후
Operator IPTV Services
-2000초중반에 ADSL/VDSL과 같은 브로밴드 회선이 보급되면서 이 광대역 회선을 이용하여 Internet뿐만 아니라 TV/VoD, VoIP 서비스를 번들로 제공하는 TPS (Triple Play Service) 서비 스가 전세계적으로 붐을 이룸.
-통신 사업자 (Operator)는 TPS 서비스를 제공하기 위해 액세스 회선을 브로드밴드화하고 메트로 및 백본망을 새로 구축하거나 증설하여 통신 사업자 망내 전구간을 광대역화함.
-IP STB를 통해 Linear TV (실시간 방송), VoD를 TV 스크린을 통해 시청함.
-통신 사업자 (Operator)는 자사 가입자에게 VoD서비스를 제공하기 위해 자사의 IP 네트워크상에 CDN을 구축함.
-영화사와 방송사로부터 컨테츠를 제공받아 자사의 Headend와 CDN에 미리 저장함.
-자사의 VoD 트래픽과 Linear TV 트래픽에 대해서는 IP 네트워크 QoS를 제공하여 영상 품질을 유 지함 (Video Streaming).

OTT (Youtube)
2005년: Youtube 서비스 개시
2006년: 구글이 인수
2007년: 구글 자체망 구축
OTT Service (OTT 출현/성공/단말 확장)
-2005년 무료 UCC 사이트인 Youtube 출현
-통신 사업자가 자사의 TPS 서비스를 위 해 만들어 놓은 광대역 IP 네트워크를 무료로 활용 (Free-Ride)
-OTT 트래픽의 통신 사업자망에 대한 압 박 시작

OTT (Netflix): 2008년

OTT (BBC)

OTT (Operator CDN: BT CC)

2. Walled-Garden CDN

IPTV: Walled-Garden / Architecture

IPTV: Walled-Garden / Live TV (IP Multicast)

IPTV: Walled-Garden / VoD CDN (1)

IPTV: Walled-Garden / VoD CDN (2)

IPTV: Walled-Garden / VoD CDN (3)
- Zone-based Routing (Nearby Streamer)
- Content-aware Routing (ES와 Content간 매핑)

Walled-Garden (VT)

IPTV: Walled-Garden / Security (VoD 서버 보호)

3. OTT (Over-The-Top)
3.1 OTT Major: Netflix, Hulu, HBOGO, Starz, BBC, Amazon,..
3.2 OTT Video Streaming: Internet Video
3.3 OTT Video Distribution: Pure-Play CDN (Akamai, Limelight, Level3,…)

OTT: Youtube, Netflix, Hulu, BBC, Amazon, HBO, Starz,…

3. OTT (Over-The-Top)
3.1 OTT Major: Netflix, Hulu, HBOGO, Starz, BBC, Amazon,..
3.2 OTT Video Streaming: Internet Video
3.3 OTT Video Distribution: Pure-Play CDN (Akamai, Limelight, Level3,…)

Netflix
2008년: 미국내 Streaming 서비스 개시
2010년: 카나다 서비스 개시
2011년 3월: Comcast 가입자 수 추월, BitTorrent 트래픽량 추월
2011년 9월: 중남미 43개국 서비스 개시

Globalization

Netflix의 Ecosystem

Netflix가 성공한 이유 (1): 볼 게 많다 (Content)
# of TV Shows: 750
# of TV Episodes: 23,5000
# of Movies: 8,250
2011 5 (Source: SNL Kagan)

Netflix가 성공한 이유 (2): 싸게 본다 (1/10)

Netflix가 성공한 이유 (3): 어떻게든 볼 수 있다 - 다양한 단말 유형(Netflix Device List)

Netflix가 성공한 이유 (3): 어떻게든 볼 수 있다 - 댁내 환경

Netflix가 성공한 이유 (4): 잘 나온다 (Adaptive Bit Rate Streaming)
Adaptive Bit Rate Streaming

참고: 북미 통신 사업자별 Netflix Performance (Source: Netflix, 2011)
Netflix가 Adaptive Bit Rate Streaming을 쓰기 때문에 각 통신 사업자의 트래픽 부하와 Last-Mile 회선 BW 등에 따라 Netflix 트래픽의 Bit-Rate이 달라 짐. Charter 망의 가입자들의 Netflix 성능이 가장 좋음 (즉, Adaptive Bit-Rate의 평균치가 가정 높음. 따라서 화질이 가장 좋음)을 볼 수 있다.

Netflix가 성공한 이유 (5): 어디서든 볼 수 있다 & 이어볼 수 있다

Summary
§Netflix 인프라
§Content는 영화사와 방송사로부터 사고 (Content Aggregator, not Content Provider)
§Encoding은 Amazon Web Service를 Outsourcing하고
§Content Distribution은 Level 3의 CDN 서비스를 이용하고
§ISP IP Network은 무임 승차 (Free-Ride)하고
§단말에는 Netflix App을 Netflix 가입자가 다운로드 받아 설치하게 하고
§Netflix Player는 개발하고…
§자기 인프라 없이 유료 Internet Video 서비스를 구현함.
§Netflix 장점
§다양한 영화 및 TV 프로그램 컨텐츠 확보(DVD 장사 시절에 구축한 미디어계의 끈)
§월 무제한 이용요금이 $7.99로 케이블 유료 TV 서비스의 1/10로 싸다.
§다양한 단말에서 볼 수 있다 (Internet Video 전용 STB, 게임 콘솔, 블루레이 플레이어 등을 TV에 연결, PC, Mobile Devices)
§통신 사업자의 QoS 지원을 못 받는 Best Effort 서비스이지만 Adaptive Bit Rate Streaming과 같은 최근 기술을 적 용하여 QoS없이도 끈김없는 화질을 제공함.
§Cloud 기반 서비스이므로 서로 다른 단말간에 이어 보기 기능 지원이 용이함.
§케이블 사업자나 Telco IPTV 사업자처럼 자사 네트워크 서비스 가입자를 대상으로 서비스하는 것이 아니라 Internet Video 서비스, 즉 OTT이므로 잠재 고객은 전체 지구 인구수임. Global 확장 가능성.

3. OTT (Over-The-Top)
3.1 OTT Major: Netflix, Hulu, HBOGO, Starz, BBC, Amazon,..
3.2 OTT Video Streaming: Internet Video
3.3 OTT Video Distribution: Pure-Play CDN (Akamai, Limelight, Level3,…)

OTT 비디오 전달 방식 (Internet Video Streaming)

Internet Video (No QoS)

Smooth Streaming Workflow

Transcoding & Packaging

Packaging: Server Manifest File (BigBuckBunny.ism)

Packaging: Client Manifest File (BigBuckBunny.ismc)

HTTP Smooth Streaming Protocol (4 messages)

HTTP Smooth Streaming Protocol (4 messages)

Fragment Request 간격 (Wireshark Capture Analysis)

HTTP Adaptive Streaming 비교 (1)

HTTP Adaptive Streaming 비교 (2)
MicrosoftSmooth Streaming
Codec
-Video: H.264/VC-1, Audio: AAC/WMA
Disk File Format(Container)
-Fragmented MP4 [.ismv]ISO/IEC 14496-12 (MPEG4 Part 12)
File Type on Storage
-Contiguous (one ismv file per bit rate)
Server Manifest
-.ism (xml format)
Client Manifest
-.ismc (xml format)
Client Platform
-Silverlight2, Xbox360, Moonlight for linux
Wire Format (Chunk)
-MP4 Fragment
Typical Chunk Duration
-2 sec
Transport Protocol
-HTTP
Adaptive Control
-Client
VoD
-Yes
Live
-Yes
Encoder
-Microsoft Expression Media Encoder 4
Caching Server
-IIS MS + ARR / Windows
Reference
-NetflixBT WCC

AdobeHTTP Dynamic Streaming
Codec
-Video: H.264/VP6, Audio: AAC/MP3
Disk File Format(Container)
-Adobe-extended Fragmented MP4 [.f4f]ISO/IEC 14496-12 (MPEG4 Part 12)
File Type on Storage
-Contiguous (one or multi f4f file per bit rate)
Server Manifest
-.f4x (binary format)
Client Manifest
-.f4m (xml format)
Client Platform
-Flash Player 10.1, Adobe AIR 2
Wire Format (Chunk)
-MP4 Fragment (adobe-extended: afra, abst)
Typical Chunk Duration
-2 - 5 sec
Transport Protocol
-HTTP
Adaptive Control
-Client
VoD
-Yes
Live
-Yes
Encoder
-Adobe Flash Media Live Encoder 3.1F4F Packager
Caching Server
-Flash Media Server(Apache Web Server)
Reference
-Commercial Version not released

AppleHTTP Live Streaming
Codec
-Video: H.264, Audio: AAC/MP3
Disk File Format(Container)
-MPEG2TS [.ts]ISO/IEC 13818-1 (MPEG2TS)
File Type on Storage
-Fragmented (360 MP2TS segment files per hour per bit rate)
Server Manifest
-n/a
Client Manifest
-.m3u8 (xml format)
Client Platform
-iOS 3.0, QuickTime X
Wire Format (Chunk)
-MP2TS Segment [.ts]
Typical Chunk Duration
-10 sec (단점: Slow bit adaptation, 장점:압축효율 )
Transport Protocol
-HTTP
Adaptive Control
-Client
VoD
-Yes
Live
-Yes
Encoder
-File Segmenter / Stream Segmenter
Caching Server
-Any Web Server
Reference
-KT olleh TV now (live)BT WCC

CDN Cache Fill Process: Smooth Streaming (First User)

CDN Cache Fill Process: Smooth Streaming (Subsequent Users)

3. OTT (Over-The-Top)
3.1 OTT Major: Netflix, Hulu, HBOGO, Starz, BBC, Amazon,..
3.2 OTT Video Streaming: Internet Video
3.3 OTT Video Distribution: Pure-Play CDN (Akamai, Limelight, Level3,…)

OTT Content Delivery 방식 (기존 Pure-Play CDN 이용)
Akamai
- 73,000 Server
- 1,500 different location (PoPs=IDCs)
- 1,000 networks (ISPs)
- 660+ Cities
- 70 Countries 한국에는 KT, LGU+에 5개 IDC에 Edge Server가 위치하며 모두 서울에 있음

Akamai CDN 방식을 파악하기 위해

OTT Web Portal 접속(http://www.iis.net/media/experiencesmoothstreaming)

Edge Server IP 획득 User가 요청한 컨텐츠를 받아갈 수 있는 Edge Server의 IP 찾기

Content Delivery

Akamai Way (1): Create Topology Map for Entire Internet
1) 대륙별/국가별/ISP별/기관별 IP 대역 (IP Address Block) 확보/식별
2) IP Address Block간 Connectivity (Transit, Peering) 확보/식별 (BGP, etc.)

Akamai Way (2): Clustering

Akamai Way (3): Akamai Element Configuration

Akamai Way (4): User Content Request - Select Cluster
- Nearby (Local DNS IP)
- Service Requested: cname에서 ms, g, vi5g5, w23, w10를 보고 식별
- Not overloaded Cluster

Map to Server (Select a Server within Cluster, LL-DNS가 ES를 선택)
1. Content Request (Consistent Hashing)
2. RTT between LL-DNS and LDNS
LL-DNS Server의 Edge Server 선택 기준
1) Service Requested (License): WWW, or Flash or, IIS, or, …
2) Server Load: CPU 부하, Port Utilization,…
3) Client Location: 같은 Local DNS & 같은 caching server OR RTT
4) Content Requested: 이미 캐쉬되어 있을 확률이 높은 캐쉬서버를 먼저 추천 (Akamai Proprietary Algorithm)

Map to Cluster (Select Cluster) - Cluster Overloaded

Map to Cluster (Select Cluster) - Service Requested

4. Operator CDN

OPERATOR의 대응

OTT에 대한 Operator의 대응: Wholesale CDN
현재의 OTT (Netflix) 컨텐츠 전달 구조
-OTT가 컨텐츠를 CDN 전문 업체 (예, Level 3, Akamai, Limelight)에게 전달해주고 OTT 서비스 이용자는 CDN 전문 업체의 Edge 서버 (Streamer)로부터 컨텐츠를 전달받아 간다.
-따라서, 통신 사업자는 과다한 Transit 비용과 자사의 백본 및 백홀망 증설 비용을 부담해야 한다.
-Netflix는 CDN 업체에게만 CDN 서비스 이용료를 내고 Netflix 의 가입자가 물리적으로 접속되어 있는 통신 사업자에게는 돈을 내지 않는다.
-통신 사업자는 자사의 Walled-Garden 서비스 트래픽에게는 QoS를 제공하고 OTT 트래픽을 Best Effort로 처리한다.
Operator의 바램: Wholesale On-Net CDN
-OTT가 컨텐츠를 Operator의 On-Net CDN으로 바로 전달해 준다.
-Operator는 자사의 가입자에게 On-Net CDN을 통해 Netflix 컨텐츠를 전달해준다.
-Operator는 OTT 트래픽에 대해 QoS를 제공해주어 OTT가 고 화질 (6~8Mbps HDTV급, 현재는 2Mbps정도임)의 비디오 서 비스를 고품질로 제공하게 해준다.
-OTT는 Operator On-Net CDN에 대한 서비스 이용료를 낸다.
-Operator는 Transit 비용과 백본 및 백홀 증설 비용을 절감할 수 있다.

OTT에 대한 Operator의 대응: Wholesale CDN (계속)
Wholesale CDN
-Operator가 자신의 IP 네트워크 상에 Video CDN을 만들어 OTT 컨텐트를 Caching함으로서
1) Transit Cost를 절감하고 IP 백본 및 백홀망에 대한 증설 비용 을 절감시키고
2) OTT로부터 CDN 서비스 이용 료를 받아내려고 함.
-그럼 Operator는 좋다.
-Operator가 OTT 사업자에게 뭘 해주나?
1) 자신이 만든 CDN을 Wholesale함
2) Operator만의 장점인 IP 네트 워크 QoS를 OTT 트래픽에 제공 해줌으로써 OTT는 고품질의 비디 오 서비스를 자신의 가입자에게 끊 김없이/로딩화면없이 제공해줄 수 있게 해줌.
3) 이로 인해 OTT는 전달망에 대 한 걱정없이 다양한 고품질의 컨텐 트를 자기 고객에게 제공해줄 수 있어 고객의 충성도를 높임.

BT Operator CDN Concept

BT Operator CDN Concept
§ OTT Video의 효율적인 전달 (네트워크 BW 절감, Edge Cache와 QoS를 통한 고품질 영상)을 목적으로 함.
§ BT retail, BTW-ISP, BTW-CSP로 분류됨.
§ BT Operator CDN은 1) Service Router, 2) Edge Server (cache, IS), 3) 대장 Cache (CA)로 구성됨.
§ Pull 방식 (Dynamically cached): Request-based, not Push (Akamai CDN과 동일 방식)
§ CSP Origin Server로부터의 dynamic cache fill 횟수를 최소화 (2계층 Cache)
§ Progressive Download와 HTTP Adaptive Streaming을 지원
§ Edge Server를 Operator Network Backbone에 연결되어 있는 IDC가 아닌 Operator Network Edge에 위치하는 BRAS/BEA에 직접 접속시킴 (Pure-Play CDN의 Edge Server보다 훨씬 분산됨)
§ 대장 Cache와 Edge Server간 Content Distribution은 MPLS VPN을 통해 전달 (QoS, Security)

BT Operator CDN Architecture

영국 BT Operator CDN

Before Operator CDN

BT Operator CDN Architecture

BT Operator CDN: Coverage Zone과 Cache 매핑

BT Operator CDN: Keep-Alive Message (Edge Server 부하 상황)

BT Operator CDN: Page Request (User가 www.bbc.co.uk/iplayer를 침)

BT Operator CDN: Content Request

BT Operator CDN: Coverage Zone과 Cache 매핑

BT Operator CDN: Cache Miss - Cache Fill Operation

Cache Miss/Cache Fill (HTTP PDL)

Cache Fill Operation (HTTP Progressive Download)

Cache Miss/Cache Fill (MS Smooth Streaming)

5. Comparison

CDN Comparison

1. Walled-Garden (VT)

2. Akamai

3. 영국 BT Operator CDN

4. Verizon (Velocix)