IP over DWDM: Terabit IP and Transport Core로의 전개
2000년 03월 15일  
손장우
son@netmanias.com
02-556-9273 www.netmanias.com

▣ Internet traffic의 폭증  
(1) 인터넷 사용자수의 증가: 1999년의 인터넷 사용자수는 1억 3천만명에 이르렀고, 2000년에는 1억 6천 3백만명에 이를 것으로 추정되고 있습니다.  
(2) 각 응용의 요구 대역폭의 증가: 기존의 E-mail, static Web에서 Games, News, Distributed computing, Multimedia conference, stream audio and video 등의 새로운 응용이 출현하고 있으며 streaming video 트래픽은 99년에 이미 전체 IP 트래픽의 10%에 이르렀다고 합니다. 이와 같이 새로이 출현하고 있는 응용들은 보다 넓은 대역폭을 요구합니다.  
(3) Residential access : Dial-up modem (56Kbps) -> ADSL(Mbps/user), Cable modem(Mbps/user), Broadband Wireless (Mbps/user)의 보급 확산으로 한 개인(단말)의 전송 대역폭이 56Kbps에서 수 Mbps로 100배이상 빨라졌습니다.  
(4) Business access : T1/E1 -> DS-3 (45Mbps), ATM OC-3(155Mbps)의 보급 확산  
(5) IP기반의 다양한 응용 : VoIP, Video over IP, VPN.  이러한 변화로 인해, RHK에 따르면, 2002년에는 공중망 전체 트래픽의 90%가 IP 트래픽이 될 것이이라고 예측하고 있습니다.( RHK Releases New Report on the Emerging Architectures in an IP World: The Shift from a Voice Centric to Data Centric Model, Jan. 1999.)따라서, service provider들은 확장성있고(scalable), 구축 및 운용 비용이 적게 들고(cost-effective), IP 트래픽 전송에 적합하며(data-centric), 차별화된 서비스를 제공해줄 수 있는 능력을 가진 백본 네트워크가 필요하게 되었습니다.  이러한 백본 네트워크를 구축하기 위한 여러 가지 대안들이 제시되어 왔으며, 현재로서는 {10Gbps이상의 DWDM 인터페이스를 갖는 테라비트 라우터 +  DWDM 광전송망 (optical transport network) }의 구조가 그 답이 될 거라는 데 인식을 같이 하고 있습니다.  

  그림 1.인터넷 트래픽의 급
다음장에서는 인터넷 백본과 전송망 백본의 진화 과정을 간단하게 살펴 보겠습니다.   ▣ 인터넷과 전송망 백본의 진화 과정  여기서는 인터넷과 전송망 백본의 진화 과정을 살펴보겠습니다.  
(1) IP over ATM over SONET   그림 2는 IP over ATM over SONET 구조로, IP router와 ATM 스위치는 대개 DS3나 OC-3 링크로 연결되며 ATM 스위치는 IP 트래픽을 고속 ATM 회선으로 다중화하여 SONET 전송 장비(SONET MUX, SONET ADM)로 보내 주는 역할을 합니다.   첫번째 그림은 Point-to-point 구성이고 두번째 그림은 링 구성입니다. 이 경우 각 라우터는 ATM PVC를 통해 연결되며 기본적으로 full mesh 구조를 갖습니다.  

1) IP 백본망 (IP Backbone Network), 10/19/1999, Netmanias white paper  
2) Why ATM Must Die (BCR 99년 7월호 기사) 번역 및 본인의 의견 ,10/25/1999, Netmanias white paper  
3) 지금 Internet backbone에선..(16 pages), 12/10/1999, Netmanias white paper  를 참조하세요  

1996년경에 많은 커리어나 ISP 네트워크 백본이 이 구조를 취하였으며, 물론 지금도 완전히 사라진 구조는 아니며 아직도 많은 ISP 백본이 이구조를 사용하고 있습니다.  

MUX: Multiplexer ADM: Add/Drop Multiplexer   그림 2. IP over ATM over SONET 구조  
\"Telco들은 인터넷이 전화망 수준의 안정한 서비스(낮은 지연시간 및 데이타손실율 보장, 신속한 망복구능력 등)를 제공하기 위해서는 ATM과 SONET인프라가 필수적이라고 주장해왔다(이미 상당한 량의 ATM, SONET장비를 그들 망에 설치해놓았기 때문에, 더욱 이렇게 주장해야 한다.).   그러나 ATM과 SONET의 도움이 없이도 IP와 DWDM의 힘으로 충분히 이러한 능력을 제공할 수 있으며, 초기에 IP트래픽이 ATM/SONET을 타고 다닌 이유는 당시 IP트래픽이 음성 전화 트래픽에 비해 적었고 따라서 ATM이나 SONET응용 트래픽들과 함께 섞여서 전송되었다\"라고 CANARIE의 CEO인 Andrew K. Bjerring는 주장하고 있습니다.  이후,  

(1) 인터넷이 급성장하고, 즉 인터넷 트래픽 자체로도 자신만을 위한 도로를 원할 만큼 트래픽이 증가하여 기존의 다른 트래픽을 위해 만들었던 도로(ATM/SONET)말고, 자신을 보다 효율적으로 전달해주는 전달망 구조를 원하게 되고  
(2) IP가 ATM과 궁합이 맞지 않음으로 인해 발생하는 많은 문제점들(VC 확장성 문제(Layer2), routing adjacency문제로 인한 확장성 문제(Layer3)), SONET대역폭의 평균 25%를 ATM 오버헤드로 버려진다는 ATM cell tax문제 등)이 노출되고,   (3) 라우터의 성능(스위칭 용량, 포워딩율, 라인 인터페이스 용량 등)이 향상되면서,  IP/ATM/SONET/Optic의 오버레이 구조에서 ATM을 제거한 이른바 IP over SONET (Packet over SONET)이 출현하게 됩니다.  IP/ATM/SONET/Optic의 오버레이 구조에서 ATM을 제거한 이른바 IP over SONET (Packet over SONET)이 출현하게 됩니다.

그림 3. IP ver SONET (Packet over SONET)의 등장으로 ATM이 빠짐.-> IP over SONET
  
(2) IP over SONET   POS(Packet over SONET)은 라우터가 IP 패킷을 PPP 패킷화하고 이를 HDLC-link 프레이밍하여 ATM을 거치지 않고 바로 SONET paylod에 IP 패킷을 넣어 전송하는 기술로, 이 POS인터페이스를 가진 라우터가 출시(97년경)되게 되었으며 당시 POS인터페이스는 OC-12(622Mbps)의 전송율을 지원하였습니다.  

여기서, 라우터는 저속 링크로부터 전달되어 오는 패킷들을 라우팅 및 다중화하는 기능을 수행하며, SONET MUX는 저속의 OC를 다중화하여(O-E-O변환 수행) 고속의 OC를 생성해주는 역할을 담당합니다.   이 구조에서는 PPP/HDLC like framing에 관련된 네트워크 오버헤드가 평균 2~3%밖에 되지 않아 SONET 대역폭을 효율적으로 사용할 수 있다는 장점을 갖습니다.  

(3) WDM의 등장  이 무렵 전송망 코어에서는 WDM (Wavelength Division Multiplexing)이 도입되기 시작하였으며 SONET MUX로부터 나오는 신호(예를 들어 OC-12/OC-48/OC-192(622Mbps/2.5Gbps/10Gbps), 각 신호는 1310nm단일 공용 파장상으로 전달)는 WDM MUX로 입력되며 WDM MUX는 각 optical line으로부터 입력되어 오는 광신호를, 일단 파장을 바꾸고 (1310nm로 들어오는 광신호를 15xx nm대로 파장변환, 이러한 파장변환 기능을 수행하는 요소를 Transponder라고 한다.) 이 서로 다른 파장을 갖는 광신호를 다중화하여 하나의 Optical fiber 상으로 전송합니다. 이 과정이 아래 그림 5에 나타나 있습니다.   DWDM (Dense WDM)은 사용될 수 있는 파장수가 8개 이상일 때 Dense WDM이라고 합니다. 이 그림 5의 예에서는 4개의 광신호가 서로 다른 파장으로 변조되어 하나의 Optical fiber를 통해 다중화되어 전달되고 수신부에서는 파장별로 역다중화한 후 표준 SONET 파장(1310nm)로 파장변환하여 DWDM장비에 물려있는 장비(SONET or ATM switch or IP router)로 전달해줍니다.  이때 각 파장은 서로 다른 신호를 날라도(예를 들어 lambda 1은 OC-48, lambda 2는 OC-192) 무방하며, 두 DWDM 장비간에 위치하는 광신호 증폭기(Optical amplifier)는 각 파장별로 증폭하는 것이아니라 광신호 전체를 증폭하므로 서로 다른 파장을 추출해낼 필요가 없습니다.  

  그림 5. DWDM의 개념
DWDM의 도입으로 인해 전송망 대역폭은 새로이 fiber를 포설하지 않고도 단지 DWDM장비만 두 end(도시)에 놓고 파장을 여러 개 사용함으로써 마치 여러개의 fiber를 새로이 포설한 효과와 동일한 효과를 얻을 수 있습니다. 즉, DWDM의 상용화로 인해 전송망의 전송 대역폭은 그야말로 거의 무제한적이다라고 볼 수 있습니다.   아래 그림 6에 400Km의 구간에 기존의 전송망 장비인 SONET과 DWDM을 이용해서 OC-192 (10Gbps) 링크 4개를 포설하는 경우에 대한 예가 나타나 있습니다.  

SONET의 경우에는 두 도시간에 4개의 fiber가 필요하며 또한 각 fiber마다 80km당 하나씩 신호 재생장비(Signal Regenerator)를 설치해야 합니다.   그러나 DWDM을 적용하면 하나의 fiber와 3개의 광신호 증폭기(100Km당 하나가 필요)만 설치하면 4개의 OC-192링크를 얻을 수 있습니다.   신호 재생장비와 광신호 증폭기의 가격이 99년 4월 기준으로 $74,000정도라고 합니다. 따라서, DWDM의 도입으로 인해 매우 경제적으로 전송망 용량을 확장할 수 있음을 알수 있습니다.  

그림 6. SONET과 DWDM 비교그림.
현재 출시되는 DWDM 장비는 Lucent와 Alcatel은 40개의 OC-48/OC-192링크를 지원하는,즉 40개의 파장을 다중화할 수 있는 장비를 출시하고 있습니다.  

(4) IP over DWDM   이 무렵(99년 초)에 라우터(Cisco의 GSR 12008/12012, Juniper의 M40)가 OC-48 인터페이스 (POS)를 갖게 됩니다.  따라서, 굳이 비싼 SONET MUX장비를 쓰지 않아도 라우터가 OC-48(2.5Gbps) 신호를 생성할 수 있으므로 SONET 장비를 없애 버리고 라우터를 바로 WDM 시스템에 연결하자는 이른바 IP over WDM 구조가 출현하게 됩니다.

그림 7. SONET 장비를 제거함 -> IP over DWDM.
그림 7에서 SONET 장비가 빠지는 것이며 이는 라우터 벤더들이 OC-48 인터페이스를 갖는 라우터를 출시함으로써 일어난 일입니다.   이를위해 99년에 Cisco와 Juniper는 WDM장비 회사인 Ciena와 공동 연구 개발을 수행하였으며 Juniper는 Ciena의 MultiWave Sentry DWDM 시스템과 IP over DWDM 테스트를 완료하였습니다.   당시 Ciena의 Chaddick는 \"IP over DWDM의 실현으로 값비싼 SONET 장비를 사용하지 않고 네트워크를 구축할 수 있으므로 커리어들이 현재 T1회선의 비용으로 OC-12(622Mbps) 서비스를 제공할 수 있을 것\"이라고 장담했습니다.   그림 8에 DWDM 망 구성이 나타나 있습니다. 첫번째 그림은 DWDM Multiplxer/Demultiplexer를 사용하여 두 도시(CO/POP)을 Point-to-pint으로 연결하는 구조이고, 두번째 그림은 링구성으로 이 때에는 OADM(Optical Add/Drop Multiplexer)가 필요합니다. OADM은 DWDM Ring상의 여러 파장중 원하는 파장만 Drop시키고 새로운 광신호를 Add하는 기능을 갖습니다.  

tical Add/Drop Multiplexer  그림 8. IP over DWDM 망 구성
여기서 현재까지의 진화 과정을 재정리하면 아래 그림 9와 같습니다. 결국 네트워크 구축 비용 절감을 위해 불필요하거나 그 기능이 다른 장비에서도 수행될 수 있다고 판단되는 장비(Layer)는 사라지고, 결국 전송할 대상인 IP와 전송하는 망인 DWDM만 남게 된 것입니다.  

물론 모든 사업자들의 망이 IP over DWDM 구조로 통일된다는 것은 아닙니다. 그 사업자가 서비스하는 주 응용이 무엇이냐에 따라서 IP over ATM, IP over SONET, IP over DWDM 구조가 차별적으로 사용되는 것이 맞다고 생각합니다.  

  그림 9. 진화 과정 정리

▣ DWDM과 Terabit Router   여기서(99년 내내), Gigabit Router vendor와 Terabit Router vendor의 설전이 벌어지는 데 주로 Terabit router 벤더인 Avici, Pluris, Nexabit 등이 기존의 고속 라우터 시장을 장악하고 있는 gigabit router 벤더인 Cisco(99년 상반기 87%, 99년 전체 85%)와 Juniper(99년 상반기 13%, 99년 전체 15%)를 공격하는 형태입니다.   이들의 논리는 다음과 같으며 대체적으로 맞다고 다른 벤더들이나 커리어, ISP들사이에서 받아들여지고 있습니다.  

(1) 상황 1: a fiber bandwidth = 40 Gbps ( 16 lambdas/fiber, OC-48(2.5Gbps)/lamdba )   만약, DWDM MUX장비가 16개의 파장을 지원하고 각 파장이 OC-48 신호를 나를 수 있다면 (현재는 그 이상을 지원하는 DWDM 장비들이 출시되어 있습니다.), Gigabit router(Cisco의 GSR과 Juniper의 M40)으로 POP(Point-of-Presence)를 구축하다고 가정해 봅시다.  

Cisco GSR의 스위칭 용량이 대략 40Gbps급이고 OC-48 인터페이스를 최대 8개까지만 지원하므로, DWDM 장비로 연결할 수 있는 인터페이스 수는 대략 4개 정도입니다(access/edge쪽에서 유입되어 오는 트래픽을 받는 인터페이스와 POP내에서 연결을 위해 사용되는 인터페이스 들도 있으므로).   따라서, 라우터당 4개의 OC-48 링크가 WDM MUX로 연결될 수 있으며, 하나의 라우터는 총 10Gbps의 트래픽을 WDM장비로 전달할 수 있습니다.   총 16개의 파장을 지원하므로 이 DWDM 대역폭(40Gbps)을 다 사용하기 위해서는 4개의 라우터가 필요하게 됩니다.(실제로는 백본장비이므로 2배의 Redundant configuration을 하므로 8대가 필요합니다.)  

  이 경우에, Terabit router를 적용하면 (예를 들어 Nexabit의 NX64000의 경우 64개의 OC-48링크를 지원한다.), 라우터 하나로 DWDM의 40Gbps의 전송 대역폭을 모두 사용할 수 있게 됩니다.   (2) 상황 2: a fiber bandwidth = 160 Gbps ( 16 lambdas/fiber, OC-192(10Gbps)/lamdba )   또 하나의 예로, DWDM MUX장비가 16개의 파장을 지원하고 각 파장이 OC-192신호를 나르는 경우, OC-48 인터페이스만을 갖는 Gigabit router로 POP을 구축하는 경우를 생각해봅시다.  

  GSR이 OC-48 인터페이스만 지원하므로 OC-192 신호를 만들기 위해 어쩔 수 없이 SONET MUX가 필요하게 되고 그림과 같이 POP을 구축해야 한 fiber의 DWDM 전송 대역폭을 모두 사용할 수 있게 됩니다.   즉, 160Gbps의 대역폭을 갖는 하나의 fiber를 데이타로 채우기 위해서는 16개의 Gigabit router와 16개의 SONET MUX(4 STS- -> STS-)가 필요하며 고장 복구를 위해 보통 두 배의 장비를 두므로 32개의 router와 SONET MUX가 필요하게 됩니다.  현재(2000년 2월), 많은 Large service provider들이 10 Gbps의 인터페이스를 지원하는 라우터에 관심을 가지고 있습니다.  Williums의 CTO인 Matt Bross의 불만은 99년 중반에 상용 초고속 라우터 제품을 조사해봤더니 라우터의 스위칭 용량은 수백 Gbps에서 수 Tbps에 이르는 데, 인터페이스 용량이 수 Gbps(2.5Gbps)에 머무르고 있다는 것이였습니다.   그는 라우터를 optical domain에 연결하려 하면(근까, DWDM fiber bandwidth를 충분히 사용할 수 있게끔 라우터와 SONET MUX를 두려면), 아마 그 장비들의 무게에 못이겨 POP사이트(건물)가 무너질거라는 다소 엽기적인 표현을 했습니다.(Sam Masud, Transforming the Network Core, Telecommunication, Feb. 2000.)   이 경우 Terabit router를 적용하면(현재 출시된 테라비트 라우터는 16개의 OC-192 인터페이스를 제공합니다.) 아래 그림과 같이 간단하게 구성됩니다.  

즉, 테라비트 라우터 벤더들(Avici, Pluris, Nexabit, IronBridgenetworks 등)의 논리는 \"전송망에서 DWDM이 도입되어 하나의 fiber가 나를 수 있는 대역폭은 (fiber 하나당 40~80~100파장)*(파장당 OC-12/OC-48/OC-192)로 결국 수 Tbps에 이르게 되며 이 것은 이론이 아니라 실제이다.   즉 실제 커리어 전송망 백본에 도입되고 있다. 따라서, 이 막대한 fiber 대역폭을 충분히 쓸 수 있으려면 전송망 에지에 붙어 있는 라우터의 성능이 테라비트급이되어야 한다.   그렇게 하지 않고 기존의 기가비트급 라우터(시스코와 쥬니퍼)를 사용하게 되면 라우터를 전송망(DWDM 장비)간에 연결해주기 위해서는 막대한 물량의 라우터와 SONET MUX가 필요하게 되어, 대단히 비경제적일 뿐더러 POP 건물이 무너질만큼 많은 공간을 차지하게 된다. \"는 논리입니다.   DWDM의 도입은 마치 기존의 1차선 도로가 40~80~100차선으로 확장되면 그 많은 차선의 트래픽을 충분히 감당할 수 있는 교차로가 필요하게 되며 그것이 바로 자신들의 테라비트라우터라는 이야기입니다. (물론 제가 다니는 회사에서 테라비트 라우터를 만든다면 참 속 시원한 논리입니다.)   DWDM 기술의 적용은 초기에는 지금까지의 예에서와 같은 Point-to-point 구성과 Ring 구성에 주로 사용되었지만 궁극적으로는 Optical switch(또는 Lambda router, Optical CrossConnect라고도 불리웁니다.)를 이용한 mesh 구조의 DWDM 전송코어망이 구축될 거라는 데 의견이 모아지고 있습니다.(물론 Point-to-point, Ring구조도 여전히 혼용되어 사용될 것입니다.)   결론적으로 전송망을 함께 고려한 인터넷 백본의 궁극적인 구조는 아래 그림 14과 같이 될 것이라고 Terabit router 벤더들과 많은 커리어, ISP들이 보고 있습니다.  

그림 14. 궁극적인 인터넷과 전송망 백본의 구조: Terabit Router + DWDM MUX + DWDM Optical
Switch  추후 다룰 내용: 이 구조에서 반드시 풀어야할 문제는 확장성 문제입니다.  이 구조도 IP over ATM overlay구조와 거의 동일한 확장성 문제를 갖습니다. 즉, 라우터들간에 연결을 제공해주는 수단은 IP over ATM overlay구조에서는 ATM PVC이고 IP over DWDM구조에서는 Wavelength path입니다.  이는 단일 파장으로 두 라우터간에 연결성을 제공해줄 수도 있으나 이 경우 파장의 수에 제한이 있기 때문에 확장성이 매우 제약을 받게 됩니다.   따라서, Optical switch가 파장 변환기능을 가지고 있어서 종단간에 여러개의 파장을 쓸 수 있는 구조가 바람직하고 이렇다고 해도 파장 할당만으로는 확장성에 매우 문제가 있을 것으로 생각되며 다음에는 이러한 내용을 다루겠습니다.  

그림 15. Meshed DWDM 네트워크에서 각 테라비트 라우터간의 연결
기본적으로 생각할 수 있는 구조는 모든 라우터간에 Layer 1 full mesh연결 제공. 근데, 파장의 수가 제한이 있다. 따라서, 여기서도 IP over ATM overlay 구조에서처럼 Multi-hop으로(여러 라우터를 경유하여 목적지 라우터에 도달하도록하는 방법) 연결성을 제공하는 방법밖에 없을 것 같습니다.   ▣ Wenb refrerence

Trend  
Transforming the Network Core -- (Sam Masud, Senior Technology Editor), Feb. 2000.  
The All-Optical Network: A Balanced View -- by Doug Green(vice president of marketing at Chromatis Networks.), Feb. 2000.  
Paul Bonenfant and Antonio Rodriguez-Moral, \"Optical Data Networking,\" IEEE communication magazine, March 2000.  
Nasir Ghani, Sudhir Dixit, and Ti-Shiang Wang , \"On IP-over-WDM Integration,\" IEEE communication magazine, March 2000.  
Robert Doverspike, Steven Phillips, Jeffery Westbrook (AT&T Labs - Research) ,\"Transport Network Architectures in an IP World,\" Infocom2000.  
Riding the Wave to an Optical Infrastructure (abstract) -- by Bob Bellman, BCR, April 1999.  
DWDM and New Switching Architectures (full text) -- by Michael Finneran, BCR, Volume 28, Number 7, pp. 24-27, July 1998.  

Terabit router vendor\'s white papers

Scaling the IP core to Complement the Optical Tansmission Core, Pluris white paper.  
Next Generation Core Network Architecture, IronBridge Networks white paper.  
NX64000 Multi-Terabit Switch/Router Product Description, Nexabit (현Lucent) white paper.  
Switch/Router Solutions for Carrier & ISP Backbones, Avici white paper.  
The World of Terabit Switch/Router Technology, Avici white paper.  

Network Manias white Papers    

손장우, IP 백본망 (IP Backbone Network), 10/19/1999, Netmanias white paper  
손장우, Why ATM Must Die (BCR 99년 7월호 기사) 번역 및 본인의 의견 ,10/25/1999, Netmanias white paper  
손장우, 지금 Internet backbone에선..(16 pages), 12/10/1999, Netmanias white paper  
이종필, OPTICAL TRANSPORT에 대한 실용적인 전망 (올린시간: 12/29/1999), Netmanias white paper    

Webproforum Tutorials  

Optical Networks -- by ALCATEL  
Dense Wavelength Division Multiplexing (DWDM) Tutorial -- by Lucent Technologies