제1절 빅데이터 분석과 전략 인사이트
1. 빅데이터 열풍과 회의론
어느 분야든 새로운 흐름이 나타날 때마다 열기와 냉기가 교차함. 최근의 빅데이터 열풍 또한 예외는 아님. 자칫 이런 회의론이 갖는 문제는 실제 우리가 빅데이터 분석에서 찾을 수 있는 수많은 가치들을 제대로 발굴해 보기도 전에 그 활용 자체를 사전에 차단해 버릴 수 있음.
2. 왜 싸이월드는 페이스북이 되지 못했나?
분석에 기초한 전략적 통찰력이 얼마나 중요한지 싸이월드 사례를 통해 살펴봄. 한때 싸이월드는 세계 최대의 소셜 네트워크 서비스라 해도 무방할 정도였음. 결론부터 말하자면 ‘데이터 분석 기반 경영 문화의 부재’라고 말할 수 있음. 즉 데이터 분석에 기초해 전략적 통찰을 얻고, 효과적인 의사결정을 내리고, 구체적인 성과를 만들어 내는 체계가 없었기 때문.
MIT에서 경제학 박사를 받고 전략적 분석을 통해 놀라운 성과를 올린 하라스엔터테인먼트의 회장 러브먼은 다음과 같이 분석 기반 경영이 도입되지 못하는 이유를 적고 있음.
- 기존 관행을 그냥 따를 뿐 중요한 시도를 하지 않는다.
- 경영진의 의사결정은 정확성이나 공정한 분석을 필요로 하지 않으며, 오히려 정반대로 직관적 결정을 귀한 내능으로 칭송함. 그렇지 못한 CEO는 똑똑하지만 직관력이 떨어지는 것으로 여겨짐.
- 분석적 실험을 갈망하거나 능숙하게 해내는 사람이 거의 없어, 적절한 방법조차 제대로 익히지 못한 사람들에게 분석 업무가 주어짐.
- 사람들은 아이디어 자체보다는 아이디어를 낸 사람이 누구인지 관심을 두는 경향이 있음.
3. 빅데이터 분석 ‘Big’이 핵심이 아니다
빅데이터 프로젝트를 출범시키는 대부분의 대규모 조직은 기존 프로세스의 자동화를 우선 시행한 후 점차적으로 거시적 전략적 가치를 이끌어 낼 수 있을 것으로 기대. 하지만 그러한 가치는 저마다의 시각에 따라 다를 수 있음.
많은 기업에서 우선 더 많은 데이터를 보유하는 데에 관심을 쏟는 현상도 발견됨. ‘빅’한 데이터를 보유하고 있으면 거기서 뭔가 쓸만한 걸 찾아내고 가치를 창출할 수 있을 것이라고 함.
빅데이터의 이런 ‘빅’이라는 화두와 관련해서 2012년 뉴밴티지 파트너스에서 대규모 조직들을 대상으로 실시한 설문조사 결과도 동일한 점을 시사.
“데이터의 양이 아니라 유형의 다양성과 관련이 있음. 설문조사를 통해 현재는 물론 최근 3년간 회사들이 데이터 양 대신 그 다양성에 초점을 맞추고 있음을 알 수 있음. 빅데이터 이니셔티브의 가장 중요한 목표와 이를 통해 얻을 수 있는 잠재적 보상은 다양한 데이터 소스와 신종 소스를 분석할 수 있는 능력이지 대용량 데이터 세트를 관리할. 수 있는 능력이 아님.”
이미 대용량 데이터를 보유하고 있던 거대 조직들의 경우에서 알 수 있듯이, 빅데이터가 가져다 주는 기회는 데이터의 크기에 있다기보다는 음성, 텍스트, 로그, 이미지나 비디오 같은 새롭고 다양한 정보 원천의 활용에 있음. 이러한 비정형 데이터를 정형 데이터와 결합해 활용함으로써 고객과 비즈니스 운영 상황을 보다 종합적이고 완벽하게 조망할 수 있음.
여기서 알 수 있듯이 데이터는 크기의 이슈가 아니라, 거기에서 어떤 시각과 통찰을 얻을 수 있느냐의 문제임. 무작정 ‘빅’한 데이터를 찾을 것이 아니라, 비즈니스의 핵심에 대해 보다 객관적이고 종합적인 통찰을 줄 수 있는 데이터를 찾는 것이 그 무엇보다 중요함. 다시 말해 전략과 비즈니스의 핵심 가치에 집중하고 이와 관련된 분석 평가지표를 개발하고 이를 통해 효과적으로 시장과 고객 변화에 대응할 수 있을 때 빅데이터 분석은 가치를 줄 수 있음.
현재에도 그렇지만 앞으로도 빅데이터와 관련된 걸림돌은 ‘비용이 아니라 분석적 방법과 성과에 대한 이해 부족’일 것이다.
4. 전략적 통찰이 없는 분석의 함정
빅데이터 회의론의 가장 큰 문제는 빅데이터를 ‘그저 그런 것’으로 받아들이도록 하여 그 획기적 속성을 제대로 알지 못하게 한다는 데 있음. 빅데이터를 유행으로 보든 그렇지 않든, 데이터의 크기를 떠나 전략적 분석이 주는 이점을 빠르고 구체적으로 이해해 받아들이는 것이 중요함.
자칫 일차원적이고 부분적인 분석을 통해 손쉬운 해결책만 찾다가 전략적 통찰이 없는 분석이 갖는 함정에 빠질 수 있음.
아메리칸항공 사례와 실패
- 수익관리 시슽메은 3년 만에 아메리칸항공에 14억 달러에 이른 수익을 가져옴. 아메리칸항공은 분석을 활용해 비행경로와 승무원들의 일정을 최적화. 12가지 유형의 항공기와 250개의 목적이와 매일 3,400회 비행을 하는 복잡한 허브 앤 스토크 방식은 사실 분석시스템의 도움 없이는 불가능했음.
- 첫째, 다른 항공사들 역시 분석적 접근법을 채택했다는 점. 미국 항공산업에서 항공사가 분석적 접근법을 채택하는 데에는 아무 어려움이 없었음. 따라서 분석을 전략적으로 용하기 위해 노력하지 않으면 차별화가 어려움.
- 둘째, 분석이 ‘아무짝에도 쓸모없는 비즈니스 모델을 뒷받침하는 데 활용’. 아메리칸항공은 경쟁사들 앞서서 수익관리 분석 기법을 도입. 하지만 저가 항공사들이 전반적으로 더 낮은 가격을 고객에게 제시했기 떄문에 이러한 분석 자체가 별 의미가 없었음.
이처럼 단순히 분석을 많이 사용하는 것이 곧바로 경쟁우위를 가져다 주지는 않음. 자칫 분석이 경쟁 본질을 제대로 바라보지 못할 때 아무짝에도 쓸모없는 분석 결과들만 잔뜩 쏟아내게 되고 마는 것.
5. 일차적인 분석 vs. 전략 도출 위한 가치 기반 분석
가트너가 예측하듯이 빅데이터에 대한 대중의 관심이 피크에 이미 도달했고, 이후 기대가 실망으로 바뀌고 거품이 빠지는 과정이 실행될 수 있음. 그래서 더욱더 빅데이터에 주어진 가치 창출이라는 핵심 과제가 시급한지도 모름. 그리고 이 가치는 각 산업의 특성이나 경쟁의 정도, 분석의 목적, 분석을 활용하는 수준에 따라 다양할 수 있음.
우선은 이런 일차적인 분석 영역들에서 주기적으로 업계에서 일어나는 일을 조사하고 경쟁사들의 활동을 꼼꼼히 살펴보라. 이런 식의 분석 활용은 중요한 시점에 경고를 해주고, ‘경쟁에서 뒤쳐지지 않고, 변화하는 고객의 기대를 따라잡기 위해 무엇을 해야 할지 알려줌’
전략적 인사이트를 주는 가치 기반 분석을 위해서는 우선 사업과 이에 영향을 미치는 트렌드에 대해 큰 그림을 그려야함. 이처럼 큰 그림에서 폭넓게 사업을 바라보지 못한다면 비즈니스 성과와 경쟁력이 핵심인 전략적 이슈를 다룰 수 없음.
전략적 수준에서의 분석은 여러분의 사업성과를 견인하는 요소들, 차별화를 이룰 수 있는 기회에 대해 중요한 통찰을 줄 것임. 전략적 통찰력의 창출에 포커스를 뒀을 때, 분석은 해당 사업에 중요한 기회를 발굴하고, 주요 경영진의 지원을 얻어낼 수 있고 이를 통해 강력한 모멘텀을 만들어 낼 수 있음.
제2절 전략 인사이트 도출을 위한 필요 역량
1. 데이터 사이언스의 의미와 역할
데이터 사이언스에 대해 간단하게 참고할 만한 정리를 살펴보면 아래와 같음.
- 데이터 사이언스란 데이터로부터 의미 있는 정보를 추출해내는 학문임. 통계학이 정형화된 실험 데이터를 분석 대상으로 하는 것에 비해, 데이터 사이언스는 정형 또는 비정형을 막론하고 인터넷, 휴대전화, 감시용 카메라 등에서 생성되는 숫자와 문자, 영상 정보 등 다양한 유형의 데이터를 대상으로 함. 또한 데이터 마이닝이 주로 분석에 초점을 두고 있는 개념인데 반해 데이터 사이언스는 분석뿐 아니라 이를 효과적으로 구현하고 전달하는 과정까지를 포함한 개념임. 이러한 관점에서 데이터 사이언스는 데이터 공학(Data Engineering), 수학, 통계학, 컴퓨터공학, 시각화(Visualization), 해커의 사고방식, 해당 분야의 전문 지식을 종합한 학문으로 정의하기도 함. 데이터 사이언스가 기존의 통계학과 다른 점은 데이터 사이언스는 총체적(holistic) 접근법을 사용한다는 점.
2. 데이터 사이언스의 구성 요소
데이터 사이언스는 BI(Business Intelligence), BA(Business Analytics) 등과 혼용되기도 하고 상당히 포괄적인 의미를 담고 있음. 데이터 사이언스는 데이터 처리와 관련된 IT영역들(시스널 프로세싱, 프로그래밍, 데이터 엔지니어링, 데이터 웨어하우징, 고성능 컴퓨팅 등), 분석적 영역들(수학, 확률모델, 머신러닝, 분석학, 패턴인식과 학습, 불확실성 모델링 등), 그리고 비즈니스 컨설팅의 영역들(커뮤니케이션, 프레젠테이션, 스토리텔링, 시각화 등)을 포괄하고 있음.
[그림 I-3-6] 데이터 사이언스의 핵심 구성요소
데이터 사이언티스트들은 빅데이터의 세계에서 의미 있는 발견을 할 수 있도록 훈련된, 호기심을 가진 전문가들임. 이들은 데이터의 홍수 속에서 헤엄을 치고, 데이터 소스를 찾고, 복잡한 대용량 데이터를 구조화하거나 때로는 불완전한 데이터를 서로 연결해 깔끔한 결과를 내놓음. 이들은 문제의 이면을 파고들고, 질문들을 찾고, 검증 가능한 가설을 세우는 능력과 통계적 지식을 종합적으로 활용해 깔끔한 패턴이나 통찰력 있는 해결책들을 찾음. 이렇게 인사이트를 발견한 후에는 결과/정보를 시각적으로 보여주는 등 효과적인 ‘커뮤니케이션’을 통해 비즈니스가 어떠한 방향으로 나아갈 것인지를 제시.
실제 기존의 많은 빅데이터 논의들을 돌아보면 우리의 빅데이터 환경에서 일하는 데이터 사이언티스트들은 주로 데이터 처리나 분석 기술과 관련된 하드 스킬(hard skill)만을 요구 받고 있는 것처럼 보임. 하지만 이러한 하드 스킬은 훌륭한 데이터 사이언티스트가 갖춰야 하는 능력의 절반에 불과함. 나머지 절반은 통찰력 있는 분석과 설득력 있는 전달, 협력 등 소프트 스킬(soft skill)임.
[그림 I-3-7] 데이터 사이언티스트의 요구역량
3. 데이터 사이언스 : 과학과 인문의 교차로
세계적인 데이터 사이언스 전문가들이 이구동성으로 지적하는 데이터 사이언티스트가 갖춰야 할 역량들은 모험적인 예술가나 탐험가의 특징에 가까운 것들임. 더 높은 가치를 창출해내고 진정한 차별화를 가져오는 것은 실은 ‘사고방식(habits of mind), 비즈니스 이슈에 대한 감각, 고객들에 대한 공감능력’ 등 전략적 통찰과 관련된 소프트스킬이기 때문임.
4. 전략적 통찰력과 인문학의 부활
인문화 열풍의 이유
- 단순 세계화에서 복잡한 세계화로의 변화.
- 비즈니스의 중심이 제품생산에서 서비스로 이동.
- 경제와 산업의 논리가 생산에서 사장창조로 바뀜.
5. 데이터 사이언티스트에 요구되는 인문학적 사고의 특성과 역할
인문학이란 이미 주어진 지식이나 이를 정해 주워 담는 것이 아니라, 어떻게 해서 우리가 그 지식으로 세상을 이해한다고 믿는가를 따지는것, 우리가 어떻게 하다 그런 식으로 생각하게 됬느냐를 따지는것 자체임. 이처럼 집요하게 따지는 일들은 앞서 살펴보았듯이 통찰력 있는 분석과 그 맥을 같이함. 분석에서 문제의 이면을 제대로 파고들지 못한다면 그건 그냥 단순한 정보의 나열에 불과함. 계속해 질문들을 찾고, 검증 가능한 가설을 세우고, 실험을 거듭하는 것, 즉 집요하게 따지는 것이야말로 통찰력 있는 분석의 요체임.
- 단순히 정보를 활용한다고 할 수 있는 정도의 수준
- 과거 정보들은 무슨 일이 일어났는지 정도를 요약해주는 보고서 같은 정도. 현재는 이런 과거 정보들에 ‘어림규칙’을 적용해 정규적인 패턴이 무엇인지 파악하는 정도
- 통찰력을 제시하는 단계
- 분석의 여러 도구들을 활용해 더 깊이 파고들어 감. 사업의 성과를 좌우하는 핵심적인 문제에 대해 훨씬 깊이 있고 유용한 대답을 얻을 수 있음.
- 과거의 통찰력은 통계적 모델링 등을 활용해 어떻게, 왜 그런일이 발생하는지에 대한 설명을 제공. 그리고 현재에 대한 통찰력은 지금 벌어지는 상황에서 더 나은 결과를 얻기 위해 무엇을 해야 하는지에 대해 효과적인 권고를 줄 수 있음.
최고의 데이터 사이언티스트는 정량 분석이라는 과학과 인묵학적 통찰에 근거하는 합리적 추론을 탁월하게 조합. 앞서 데이터 사이언티스트의 가장 중요한 특징으로 강한 호기심(intensive curiosity)을 꼽은 것도 바로 이 때문임.
6. 데이터 분석 모델링에서 인문학적 통찰력의 적용 사례
금융업에서의 ‘신용리스크 모델’. 우리나라는 2000년대 전후해서 본격적으로 신용리스크 모델을 활용하기 시작함. 기존의 신용리스크 모델은 세계적인 단계에 도달했음. 더 나아가기 위해서 근본적인 질물이 필요하기 시작함. ‘기존 신용리스크 모델은 인간을 어떤 과점에서 바라보는가?’라는 근원적인 질문에 맞닥뜨리게 됐음.
인간을 바라보는 관점은 지구상에 존재하는 사람 수만큼이나 다양함.
- 첫 번째 관점은 인간을 타고난 성향의 관점에서 바라보는 것. 이것은 인간을 변하지 않는 존재로 상정하고 있음. 유전적 요소처럼 원래의 성향이 존재하고 인간은 이것을 기초로 나뉨.
- 두 번째는 인간을 행동적 관점에서 바라보는 것. 타고난 성향을 기준으로 사람을 정확하기 판단하는 것은 불가능.한 사람의 행동을 지속적으로 관찰해 그 행동을 보고 그 사람을 판단하는 것이 더 정확하다는 관점이 등장.
- 세 번째는 인간을 상황적 관점에서 바라보는 것임. 통상 특정 행동을 거듭하는 사람은 그 행동을 앞으로도 반복할 확률이 높음.
최근 신용리스크 모델에서 이러한 상황적 관점을 반영하기 위한 시도가 이뤄지고 있음. 특정한 신용 행동을 지속하는 사람들도 경제 상황과 같이 주변 맥락이 바뀌면 갑작스레 그 행동 패턴을 바꾸기도 함. 따라서 모델에 경제 상황의 변화를 반영해, 경제상황 변화에 특별하게 민감한 그룹과 그렇지 않은 그룹을 구별하게 됨.
## 제3절 빅데이터 그리고 데이터 사이언스의 미래
1. 빅데이터의 시대
디지털 환경의 진전과 더불어 실로 엄청난 ‘빅’데이터가 생서오디고 있으며, 또 다양한 측면에서 활용되고 있음. 빅데이터는 기업들에게 비용절감, 시간 절약, 매출증대, 고객서비스 향성, 신규 비즈니스 창출, 내부 의사결정 지원 등에 있어 상당항 가치를 발휘.
2. 빅데이터 회의론을 넘어 : 가치 패러다임의 변화
좀 더 큰 그림을 그리고 폭넓은 관점에서 세상의 변화를 읽어내는 노략, 즉 현상이나 어떤 일의 표면을 보고 그 뒤에 숨은 뜻과 흐름, 추세를 추측하고 역사적인 사례와 비교해 우리 세상이 어떤 방향으로 가고 있는지 알아내는 작업이 필요함.
간략하게 이러한 커다란 흐름을 ‘가치 패러다임’의 측면에서 한번 살펴 볼 수 있음. 가치 패러다임의 변화는 크게 세 단계로 구분해 볼 수 있음.
- ‘디지털화(digitalization)’
- 아날로그 세상을 어떻게 효과적으로 디지털화 하는가가 이 시대의 가치를 창출해 내는 원천이었음. 그 대표 주자가 바로 빌 게이츠임. 도스 운영프로그램을 통해 개인들에게 디지털 세상으로의 창을 열어주는 핵심적인 역할을 하면서 그는 일약 이 시대의 총아로 등장.
- ‘연결(connection)’
- 새로운 시대에서 디지털화된 정보와 대상들은 이제 서로 연결되기 시작함. 이 연결을 어떻게 효과적이고 효율적으로 제공해 주느냐가 이 시대의 성패를 가름함. 이때 등장한 것이 스탠포드 대학 박사과정 두 사람이 만든 구글임. 학술 논문은 통상 인용이 많을 수록 그리고 인용자의 권위가 높을수록 높이 평가 받는데 이런 원리를 웹에 적용한 것이 구글임.
- ‘에이전시(agency)’
- 지금도 인터넷에서는 사람, 기기 등 상당히 많은 대상이 서로 연결됐지만 ‘사물인터넷’의 성숙와 함께 아픙로는 연결이 더 증가하고 극도로 복잡해 질 것임. 따라서 향후에는 ‘복잡한 연결을 얼마나 효과저깅고 믿을 만하게 관리해주는가?’의 이슈인 ‘에이전시’가 키워드로 등장할 확률이 높음.
- 에이전시의 기능을 제대로 수행하기 위해서 반드시 필요한 것이 데이터 사이언스와 관련된 능력임.
3. 데이터 사이언스의 한계와 인문학
- 분석 과정에서는 가정 등 인간의 해석이 개입되는 단계를 반드시 거치게 됨.
- 아무리 정량적인 분석이라도 명심해야 할 것은 모든 분석은 가정에 근거한다는 사실임.
- 데이터 분석은 완벽하지 않음. 훌륭한 데이터 사이언티스트는 인문학자들처럼 모델의 능력에 대해 항상 의구심을 가지고, 가정과 현실의 불일치에 대해 끊임 없이 고찰하고, 분석 모델이 예측할 수 없는 위험을 살피기 위해 현실 세계를 처다봐야 함.