빅데이터 관련 개념 정리

데이터 분석 기획

은행털이 2024. 4. 19. 00:40

데이터 분석 기획이란

  1. 데이터를 활용하여 비즈니스 문제를 해결, 인사이트를 도출하는 전략적 계획 수립
  2. 명확한 문제  정의, 데이터 수집 및 정제와 분석 방법론의 선택, 결과 해석 등의 단계로 구성
  3. 이 기획의 목적은 데이터 기반의 의사결정을 가능하게 하여, 조직의 효율과 비즈니스 가치를 극대화 함에 있음

 

1. 분석 마스터 플랜 수립 프레임워크

  1. 비전과 목표 설정
    - 분석 비전 : 조직의 비즈니스 전략과 어떻게 연결되는지에 대한 명확한 분석 비전 설정
    - 구체적 목표 : 달성하고자 하는 구체적 분석 목표를 정의

  2. 데이터 관리 전략
    - 데이터 수집 : 필요한 데이터의 종류, 데이터 수집 방법을 명시
    - 데이터 저장 및 관리 : 수집한 데이터를 저장, 관리할 인프라와 정책을 구축
    - 데이터 품질 관리 : 데이터의 정확성, 일관성을 보장하기위한 절차 개발

  3. 분석 방법론 및 도구 선정
    - 분석 기술 : 사용할 문석 기술(통계적 분석, 머신러닝 등)과 모델을 결정
    - 분석 도구 : 분석 작업에 필요한 소프트웨어를 선정(R, Python, SQL 등)

  4. 인력 및 역량 개발
    - 팀 구성 : 팀의 구성을 계획하고, 역할과 책임 정의
    - 교육 및 개발 : 팀원의 역량 ㄱ아화를 위해 교육과 개발 계획을 수립

  5. 실행 계획
    - 프로젝트 관리 : 분석 프로젝트의 일정, 예산, 리소스 할당 계획 수립
    - 위험 관리 : 프로젝트 진행 중 발생할 수 있는 위험을 식별하고 대응책 마련

  6. 성과 측정 및 평가
    - 성과 지표(KPIs) : 분석의 성과를 측정하기 위한 지표 정의
    - 평가 및 피드백 : 분석 프로젝트의 결과를 평가하고 피드백을 수집하여 지속적 개선을 도모

 

 

2. 분석 프로세스

  1. 문제 인식
    - 무엇이 문제이고 왜 해결해야 하며 무엇을 달성할 것인지 명확하게 해야함

  2. 연구 조사
    - 문제와 관련된 문헌을 요약 및 분류하고 문제를 정확하게 정의함
    - 어떤 요인이 문제 해결에 중요하게 작용하는지 가설 설정

  3. 모형화
    - 문제의 본질과 관련된 변수를 선정하여 단순하게 모형화
    - 모형화는 변수들 사이의 관계를 정의하는 것

  4. 자료 수집
    - 분석을 수행하기 위한 자료 수집
    - 기존에 연구된 자료를 가져오거나(2차 자료), 혹은 직접 조사하여 수집하는 자료(1차 자료)
    - 해당 자료는 데이터베이스에 저장

  5. 자료 분석
    - 데이터 탐색 및 모델링까지 다양한 분석을 수행
    - 분류, 예측, 연관 분석 등 4대 데이터마이닝 분석 방법론 적용

  6. 분석 결과
    - 분석 결과의 명료한 전달 방법으로 제시(시각화, 스토리텔링 등)

 

 

2-1. 분석 문제 도출 - 하향식 접근

  1. 문제 탐색
    - 비즈니스 모델 기반 문제를 탐색
    - 거시적으로 경쟁사, 시장, 역량 등 분석 기회를 발굴할 범위를 확정

  2. 문제 정의
    - 사용자 관점에서 비즈니스 문제를 데이터 문제로 변환하여 정의
    - 필요한 데이터 및 기법 정의

  3. 해결방안 탐색
    - 정의된 문제를 해결할 분석 기법에 따라 다양한 방안으로 탐색
    - 소요되는 예산 및 활용가능한 도구를 다양하게 고려

  4. 타당성 검토
    - 제시된 대안에 대한 타당성 평가를 수행(경제적, 기술적 타당성 등)

  5. 선택
    - 여러 대안 중 타당성에 입각하여 최적 대안을 선택하고 이를 프로젝트화 함

 

 

3. 빅데이터 계획의 과정

  • 데이터 수집
    - 수집 대상 데이터 선정 : 분석 목적과 서비스 품질을 결정하기 위해 수집할 데이터를 선정하는 가장 첫 단계이며 분석 목적에 부합하는 데이터를 정확하게 선정해야 함
    - 수집 세부 계획 수립 : 데이터의 소유자를 확인하고 수집 대상 데이터가 내부 데이터인지 외부 데이터인지, 그리고 데이터 유형 및 포맷까지 파악
    - 데이터 수집 실행 : 능동적 데이터 수집은 수집 주체가 직접 데이터 소스에 접근하여 수집하는 방식이며 수동적 데이터 수집은 데이터가 자동으로 생성되어 수집되어지는 방식
    - 빅데이터 변환/통합 : 수집된 데이터 중 비정형 데이터의 경우 컴퓨터가 처리할 수 있는 구조적 형태로 변환되어 저장

  • 저장 관리
    - 안전한 영구 보관 : 수집한 데이터를 분석하여 사용하기 적합한 방식으로 영구적으로 안전하게 보관 가능하며 데이터의 신뢰성과 무결성을 보장할 수 있는 기반을 마련
    - 고성능 대용량 저장 : 다양한 형식의 대용량 데이터를 고성능으로 저장할 수 있는 기반 마련
    - 전처리 : 목적에 맞지 않는 정보를 필터링하여 분석 시간을 단축하고 저장공간을 효율적으로 활용
    - 후처리 : 수집된 데이터를 분석에 용이하도록 일관성 있는 형식으로 변환(평활화, 집계, 일반화, 정규화)

  • 데이터 처리
    - 대용량 데이터 처리 : 단순한 데이터 처리를 넘어 다양한 데이터 소스에서 오는 복잡한 로직 처리 능력을 요구
    - 복잡도와 분산 처리 : 복잡도가 매우 높으므로 대용량 처리를 위해서는 통상적으로 분산 처리 기술이 필요
    - 빅데이터 일괄 처리 : 하둡, 맵리듀스, 스파크 같은 기술들은 데이터를 분산시키고, 병렬로 처리하므로 대규모 데이터 일괄 처리에 특화 되어있음
    - 빅데이터 분석 : 빅데이터로부터 의미있는 지식을 얻기 위해서는 패턴, 트렌드, 상관관계 분석으로 예측 모델을 생성하거나 의사결정을 지원하는 등 강력한 데이터 분석 기능이 필요

  • 데이터 분석 시각화
    -
    Acquire : 디스크의 파일이나 네트워크를 통해 시각화 할 데이터를 획득
    - Parse : 데이터의 의미를 해석하기 용이하도록 구조에 넣음
    - Filter : 시각화 대상 데이터만 남기고 나머지를 제거
    - Mine : 통계학이나 데이터 마이닝 등 분석 기법을 이용하여 패턴이나 수학적 맥락을 파악
    - Represent : 막대그래프, 리스트, 트리구조 등의 기본적 시각화 모델을 이용한 표현
    - Refine : 기본적인 시각화 모델을 더 명확하고 돋보이게 개선
    - Interact : 사용자가 데이터를 변경하거나 보이는 내용을 조절할 수 있는 방법을 제공

  • 데이터 폐기
    - 이용목적을 달성했거나 데이터, 정보의 활용가치가 사라진 후에는 폐기
    - 악용될 수 있는 개인정보를 보호함과 동시에 저장공간을 효율적으로 이용할 수 있음

 

 

4. 빅데이터를 활용한 성공적인 수익 모델 개발

  • 고객 세분화 및 조사 : 타깃 고객 집단을 정확하게 분석하고 이해 해야함
  • 제품 및 서비스 개발 검토 : 고객의 요구와 시장의 요구를 모두 만족시키는 서비스, 혜택 등을 면밀히 검토하여 정의
  • 거래 형태 및 서비스 차별화 : 경쟁우위를 점하기 위해 서비스 방식을 어떻게 차별화하고 변화시킬지 고민해야함
  • 정보통신기술의 활용 : 클라우드 컴퓨팅, 빅데이터 분석, 인공지능, 모바일 기술 등 다양한 정보통신기술을 활하여 서비스의 효율성 증대와 고객에게 더 나은 가치를 제공할 수 있는 방법을 모색

 

4-1. 비즈니스 수익 모델의 종류

  • 구독형 수익 모델 : 정기적 비용을 지불받고 지속적으로 제품, 서비스를 제공
  • 거래 수수료형 수익 모델 : 기업이 거래를 중개하고 거래 성사 시 마다 수수료를 받음
  • 판매형 수익 모델 : 제품이나 서비스를 직접 판매하여 수익을 창출
  • 제휴형 수익 모델 : 기업이 파트너십을 통해 수익을 창출하는 모델
  • 광고형 수익 모델 : 자신의 플랫폼에 광고를 게재하고 광고주로부터 광고비를 받는 모델

 

4-2. 빅데이터 관련 세부 비즈니스 모델

  • 하드웨어 : 빅데이터 수집, 저장, 처리를 위한 물리적인 인프라 관련 서비스
  • 소프트웨어 : 데이터를 수집, 저장, 관리, 분석하는 데 필요한 도구와 애플리케이션 관련 서비스
  • 교육/컨설팅 : 빅데이터를 효과적으로 사용할 수 있게 해주는 지식과 전략을 제공하는 서비스
  • 솔루션 : 데이터 분석, 저장, 관리 등을 통합하여 제공하는 서비스
  • 데이터 및 정보 제공 : 고객의 의사결정에 필요한 특정 분야의 데이터나 분석 결과를 제공하는 서비스
  • 생성 비즈니스 : 통신사, 포탈, SNS등 데이터를 직접 생산할 수 있는 비즈니스
  • 지원 비즈니스 : 교육, 컨설팅, 솔루션, 데이터베이스 관리 등 빅데이터 활용을 전반적으로 지원하는 서비스
  • 거래 비즈니스 : 데이터를 직접 사고파는 사업, 서비스

 

 

'빅데이터 관련 개념 정리' 카테고리의 다른 글

데이터 변환 기술  (1) 2024.04.19
수집 데이터 유형 및 기술  (1) 2024.04.19
데이터 수집 프로세스  (1) 2024.04.19
빅데이터의 개념  (0) 2024.04.18
데이터의 개념과 종류  (0) 2024.04.17