통신은 항상 정보가 넘쳐나는 산업이었지만 기술의 변화로 인해 - 클릭스트림 데이터, 위치 데이터, 모바일 애플리케이션 로그, 소셜 미디어 스트림, 센서 데이터 등을 비롯하여 - 새롭게 부상하는 정형화된, 비정형화된 그리고 반정형화된 데이터 소스들의 집합이 폭발적으로 증가했다.

모든 사업자는 고객 경험의 최적화가 매출 기회임을 알고 있다. 적시에 고객에게 개인화된 제품 또는 서비스를 제공하면 관련성이 증가하고 고객 참여, 수익 및 브랜드 충성도가 향상될 수 있다. 그러나 유용하게 사용할 수 있는 데이터는 형식과 스키마가 다양하며 조직 곳곳에 사일로 (silo) 형태로 고립되어 있다. 또한 저장, 처리 및 관리 비용이 높기 때문에 가치를 창출하기가 어렵다.

통신사들은 데이터 솔루션에 자원을 기꺼이 쏟아 부을 의지가 충분하지만, 그러한 투자를 정당화할 만한 수익을 보지 못하고 있다. 이에 묻지 않을 수 없는 질문이 바로 '기회가 엄청난데 왜 통신 회사들은 이러한 기회를 활용하지 않고 있지?' 라는 것이다. 통신업계가 자신들이 가진 데이터의 잠재력을 깨닫지 못하는 데 일조하는 5가지 그릇된 통설에 대해 이야기해 보자.

첫째, 데이터가 너무 다양해서 분석할 수가 없다.

내 데이터는 수백 가지 시스템과 플랫폼에 있다. 조직 전체에 걸쳐 너무 많은 복잡한 정형화, 비정형화 및 반정형화된 데이터가 고립되어 있어, 이를 통합하고 중앙 집중화할 수 있는 방법이 없다.

현실: "빅 데이터"는 실제로 다양한 소스에서 오는 매우 다양한 데이터이며 항상 고도로 정형화되어 사용할 준비가 되어 않아도 된다. 통신사의 경우 데이터의 다양성과 특히 연관되어 있다. 통신사는 여러 비즈니스 스트림에 걸쳐 작업하고, 방대한 양의 데이터뿐만 아니라 다양한 데이터 세트에도 액세스 할 수 있기 때문이다. 또한 빅 데이터는 Apache Hadoop과 같은 업계 최고의 빅 데이터 플랫폼이 두각을 나타내는 분야이다.  Apache Hadoop 에코 시스템을 구성하는 증가일로의 오픈 소스 컴포넌트 세트를 통해서, 통신사들은 이제 소스, 형식 또는 크기에 관계없이 대용량 데이터를 쉽게 수집, 저장, 처리 및 분석할 수 있다.

둘째, 오픈 소스란 보안이 뚫렸음을 의미한다.

"클라우드" 또는 "오픈 소스"라는 말을 들으면 보안에 대한 우려를 먼저 떠올리게 된다. Hadoop은 오픈 소스이기 때문에 데이터를 관리하는 보안 프로토콜이 자연스럽게 제 기능을 못할 것이라고 여겨진다.

현실: Apache Hadoop 에코 시스템은 2006년 첫 선을 보인 후 오랜 시간 동안 발전해왔다. Apache Sentry, Record Service 및 기타 선도적인 툴을 기반으로 하는 빅 데이터 플랫폼은 전방위적인 엔터프라이즈  보안 및 거버넌스를 제공하여 데이터 보안 및 컴플라이언스를 효과적으로 보장한다. 이들 기술은 오늘날의 가장 엄격한 규제 환경 및 컴플라이언스 정책에 필요한 필수 데이터 보안 제어를 배치하고 관리하고 통합하기 위한 애플리케이션과 프레임워크를 제공한다.

셋째, Hadoop은 충분한 투자 수익을 내지 못한다.

Gartner survey에 따르면 Hadoop을 배포, 시험 또는 실험 중이라고 응답한 경우는 응답자의 26%에 불과했다. Hadoop은 고비용 제품으로 여겨져 왔으며, 일반 업체들이 직면한 문제들을 해결하기에는 "과잉 솔루션"이다.

현실: 아마도 이 통설이 가장 많이 떠도는 통설일 것이다. 운영 범위와 규모에 따라 기업은 Hadoop을 활용함으로써 기존 데이터 관리 메커니즘과 비교하여 35 - 90 %의 상당한 비용 절감 효과를 누려왔다. 특히 통신사들은 Hadoop을 데이터 관리 플랫폼으로 사용하여 가장 주목할 만한 사용 사례들을 이끌어 내고 있다. Hadoop을 통해 가치를 창출하는 예로 부정 행위 및 수익 유출 방지를 들 수 있다. 

업계 추정에 따르면, 부정 행위로 인해 통신사들에게 발생하는 피해는 연간 매출의 약 2.8%에 달하며, 이로 인해 업계에 발생하는 비용은 매년 약 380억 달러에 달한다. 사실상 이 금액은 통신사들이 제품이나 서비스를 판매하지 않고도 수익에 추가할 수 있는 금액이다. 사이버 범죄자들과 경쟁하고 혁신을 선도하기 위해 주요 통신사는 Apache Hadoop 및 기계 학습 알고리즘을 사용하여 대량의 데이터를 분석하여 사기 및 수익 위협을 실시간으로 파악하고 있다.

넷째, Hadoop은 배우기가 너~무 어렵다.

Hadoop은 복잡한 기술들을 필요로 하기 때문에 매우 어렵다. 엘리트 기술 회사에서 일하는 소수의 숙련된 데이터 과학자 및 분석가만이 Hadoop을 구현함으로써 실질적인 가치를 창출 할 수 있다.

현실: 기술의 발전은 사람들에게 인지된 복잡한 문제들을 해결해왔다. 모든 조직은 자신의 데이터 가치를 실현하고 최대한 활용할 수 있는 적절한 기술을 습득할 수 있어야 한다. 통신사는 자사의 기존 팀들을 교육시킴으로써 데이터 과학자들을 스카우트하는 데 드는 시간과 비용을 절약할 수 있다. 오늘날 저렴한 독학식 Hadoop Basics 자습서를 비롯하여 다양한 워크숍 및 인증 프로그램이 제공되므로 기존 팀들은 빠르게 기술을 습득할 수 있다.

다섯째, 기존 시스템이 너무 뿌리깊게 자리잡고 있고 복잡해서 또 다른 데이터 솔루션으로 작업하기 어렵다.

기존 시스템 (legacy system)은 여전히 조직이 데이터를 관리하고 분석하는 방법 및 조직의 데이터로부터 가치를 획득하는 방법을 결정한다. 조직들은 오픈 소스 툴에 투자하기를 꺼려 하며, 이는 일면 이해가 되는 부분이다. 여러 비즈니스 단위에서 작동하고 여러 플랫폼에 대응해야 해서 그렇잖아도 골치 아픈 문제가 이미 한가득인데, 더 복잡하게 만들고 싶지 않기 때문이다.

현실: Apache Hadoop은 기존 시스템과 원활하게 작동하여 분석 및 관리 플랫폼 전반에 걸쳐 데이터를 관리하고 정리한다. 기존 시스템을 버리고 갈아타는 것이 아니라 오히려 기존 시스템을 통합하고 예기치 않은 소스에서 정형 데이터와 비정형 데이터를 가져 오는 것이다. Hadoop 기반 솔루션을 사용하면 통신사들은 수년 전까지 거슬러 올라가 정형 데이터와 비정형 데이터 모두를 처리하고 분석할 수 있어 기존 시스템과 다투는 것이 아니라 기존 시스템을 보완할 수 있다. 조직의 기존 시스템에는, 마땅한 데이터 플랫폼이 마련되어 있지 않아 발굴될 수 없었던 잠재적 가치가 존재하고 있을지도 모른다. 

Houman Sadeghi Kaji Chief Innovation Officer (CIO) at Lotus Communication Inc.   All Articles by Houman Sadeghi Kaji (국문, 영문)