빅데이터 프로젝트 성공 전략 - 시작 단계에서 주의해야 할 점

빅데이터 프로젝트는 “빅” 데이터라는 타이틀에 걸맞게끔 대규모의 다양한, 그리고 시의적절한 데이터를 다룰 수 있는 충분한 파워의 분석 툴, 프레임워크를 제공하는 것 이상의 정확성을 요구한다. 많은 조직들이 직면한 문제 중 하나는 대부분의 조직에 공통된 이슈를 정의한, 일관되고 유용한 베스트 프랙티스 가이드가 부족하다는 것이다.


비즈니스 데이터 분석의 한 종류로서 빅데이터는 새롭고 아직 잘 정의되지 않았으며 관련 툴들은 아직 미완성 단계다. 빅데이터의 투자회수(ROI)나 가치 제안, 빅데이터의 혜택을 받도록 해주는 툴 등 불확실성이 팽배하다. 인포메이션위크에서는 빅데이터 프로젝트를 성공으로 이끌기 위해 시작 단계에서 주의해야 할 점을 여러 컨설팅 업체들의 조언을 통해 소개했다.

1. 툴 또는 데이터, 어디에서 무엇이 빠졌는지 규명하라

빅데이터 프로젝트에서 큰 갭은 데이터를 수집, 중복제거하며 태깅하고 새로운 유형의 메타데이터를 처리하는 툴에 있다. 이 툴은 빅데이터를 가치있게 하며 맥락화할 수 있게 해준다.

텍스트 메시지의 데이터베이스, 자산관리 정보, 사용자에 의해 모바일로 생성된 기타 콘텐츠들에 위치 데이터를 결합하면 대단히 유용해질 수 있다. 그러나 극히 일부 분석 툴 또는 데이터 관리 툴만이 스마트폰의 GPS 칩으로부터 데이터를 모으고 기존 DB와 결합하는 기능을 제공한다.


2. 기업이 보유한 데이터와 기업에게 필요한 데이터를 이해하라

 
빅데이터 프로젝트를 복잡하게 만드는 또 다른 요인은 사용 가능한 데이터들을 평가하고 리포팅하는 것이다. 전통적인 개발 프로세스와는 반대로 빅데이터에서는 이런 일련의 일들이 프로젝트 요구사항을 수집하기 위해 엔드유저들에게 접근하기 이전에 수행된다.



3. 기업이 성취하려고 하는 바를 알아야 한다


명료하고 이해하기 쉬운 비즈니스 요구사항을 생성하는 것이다. 요구사항이 명료하지 않으면 프로젝트를 완료하는 데 소요되는 시간 계획이나 세부 단계를 세울 수 없다. 임직원들에게 유용한 스킬이나 트레이닝이 무엇인지도 물론 파악하기 어렵다.


4. 데이터 사이언티스트를 찾아 고용하라

어떤 빅데이터 프로젝트에서도 성공을 위해서는 다양한 형태, 다양한 소스들로부터 데이터를 정의, 이해하며 관리하고 상황에 맞춰 해석하는(contextualize) 능력이다. 대부분의 IT부서, 나아가 대부분의 기업에서 이러한 직무는 한 단어로 귀결된다. 바로 데이터 사이언티스트다.

 실패한 비즈니스 인텔리전스(BI) 프로젝트에서 45%가 실패의 원인으로 스태프의 데이터 전문성 부족을 꼽았다. 빅데이터 프로젝트는 BI 프로젝트보다 훨씬 더 엄격히 데이터 전문성을 요구한다. 전문성 결여에 따른 실패율이 더 높기 때문이다.


IBM의 정의에 따르면 데이터 사이언스는 컴퓨터 사이언스, 애플리케이션, 데이터 모델링, 통계학, 분석학, 고급수학의 훈련을 요구한다. 또 비즈니스 프로세스 혹은 비즈니스 매니지먼트 훈련도 요구된다. 조직의 요구 사항을 규정하고 그에 맞는 데이터를 찾기 위해서다.

5. 속도를 이해하고 기대치를 관리하라

빅데이터에서 데이터의 신속한 획득과 분석은 중요한 요소다. 빅데이터 시스템은 쉽고 빠르게 적용할 수 있어야 한다. 전형적인 데이터 프로젝트들 대부분은 18~24개월의 개발 주기를 가진다. 그러나 빅데이터 프로젝트에는 이 주기를 적용할 수 없다. 빅데이터 프로젝트는 3~6개월 주기로 데이터의 유형이나 소스가 변경될 수 있어야 한다.
적절한 빅데이터 분석을 위해 데이터는 (기업으로)투입되는 것과 동시에 분석 시스템에 배포되고 프로덕션 시스템에서 사용할 수 있어야 한다. 이 일련의 작업들은 동시 혹은 거의 곧바로 이뤄져야 한다.
이러한 일들을 수행해내기 위해 빅데이터 프로젝트 관리자들은 새로운 시스템을 프로토타이핑하거나 기존 시스템 변경을 당연하게 받아들여야 한다. 그리고 데이터를 수집하고 품질을 검증하는, 데이터 샘플링 프로세스를 수립해야 한다.

데이터 품질이 의심스럽다면 어떤 분석도 할 필요가 없다. 시스템이 얼마나 뛰어난지도 상관없다.


6. 엔드유저와 함께 논의하고 점검하라

 
빅데이터 프로젝트 시작부터 구현 전 과정, 그리고 그 이후에도 반복되는 중요한 원칙이 있다. 빅데이터는 구체적으로 실제 사업부 임직원들의 업무에 도움을 줄 수 있는 질문에 답해야 한다는 것이다. 이는 모든 전문가들이 이구동성으로 지적하는 것이다.

매끄러운 분석은 훌륭한 것이지만, 엔드유저에게 실제로 영향을 줄 수 있는 질문에 간단명료하고 직접적인 답을 제공하진 않는다. 어떤 데이터가 어떤 관련성이 있는지, 어떤 답변이 유용한지 엔드유저로부터 엄격하고 규칙적인 인풋이 없다면 빅데이터 프로젝트는 성공할 수 없다. 아무리 정교하게 설계되고 효과적으로 구현된 시스템이라고 해도 말이다.

[출처] 전자신문