데이터 분석 준전문가(ADSP) 스터디 - 2. 데이터분석 기획

📌 Study

🔸 2. 데이터분석 기획

• 분석 대상과 방법

분석 대상과 방법

• 끓여먹을 대상인 라면이 있고, 물을 끓일 수 있는 방법을 안다. =>  최적화(Optimization)
  
  
• 끓여먹을 대상을 찾지 못하지만, 물을 끓일 수 있는 방법을 안다. => 통찰(Insight)
  
  
• 끓여먹을 대상인 라면이 있지만, 물을 끓일 수 있는 방법을 모른다. => 솔루션(Solution)
  
  
• 끓여먹을 대상을 찾지 못하였고, 끓일 수 있는 방법도 모른다. => 발견(Discovery) 

 

 

• 분석 기획 방안

	과제 중심적 부근	장기적 마스터 플랜
목적	빠르게 해결	지속적 분석 원인 해결
1차 목표	Speed & Test	Accuracy & Deploy
과제 유형	Quick & Win	Long Term View
접근 방식	Problem Solving	Problem Definition

 

 

• 분석 기획시 고려사항
  • 가용데이터 : 분석의 기본이 되는 데이터 확보 및 파악
    
    
  • 적절한 유스케이스 탐색 : 기존에 잘 구현 되어있는 유사 시나리오 활용
    
    
  • 장애요소에 대한 사전계획 수립 : 조직의 역량으로 내제화
    
    
    
• 의사 결정을 가로막는 요소
  • 고정 관념, 편향된 생각
    
    
  • 프레이밍 효과 : 동일 상황임에도 개인의 판단, 결정이 달라짐 - 중요
    
    
    
• 분석 방법론의 구성 요소
  • 절차, 방법, 도구와 기법, 템플릿과 산출물
    
    
    
• 폭포수 모델 : 이전 단계 완료되어야 다음 단계 진행(Top-Down)
  
  
• 나선형 모델 : 여러 개발 과정 거쳐 점진적으로 완성, 위험요소 제거 초점
  
  
• 프로토타입 모델 : 일부분(프로토타입)을 우선 개발하고 보완
  
  
• 애자일 : 일정한 주기를 가지고 프로토타입을 끊임없이 수정하여 고객의 Needs 반영
  
  
  
  
• KDD 분석 방법론
  • 데이터 선택 -> 전처리 -> 변환 -> 마이닝 -> 결과 평가
    
    
  • 전처리 : 이상값, 잡음 식별 및 데이터 가공
    
    
  • 변환 : 변수 선택 및 차원 축소
    
    
    
• Crisp-DM 분석 방법론
  • 업무 이해 -> 데이터 이해 -> 데이터 준비 -> 모델링 -> 평가 -> 전개
    
    
  • '업데데이트모델평가전'
    
    
  • 모델링 단계에서 모델 평가 수행하고 평가 과정 단계에서 모델 적용성 평가 수행
    
    
  • 평가 -> 전개에서 위대한 실패 발생 가능
    
    
    
    
• 빅데이터 분석 방법론 - 중요

분석기획(Planning)	데이터 준비(Preparing)	데이터 분석(Analyzing)	시스템 구현(Developing)	평가 및 전개(Deploying)
비즈니스 이해 및 범위 설정	필요 데이터 정의	분석용 데이터 준비	설계 및 구현	모델 발전계획 수립
프로젝트 정의 및 계획 수립	데이터 스토어 설계	텍스트 분석	시스템 테스트 및 운영	프로젝트 평가 및 보고
프로젝트 위험계획 수립	데이터 수집 및 정확성 점검	탐색적 분석
		모델링
		모델 평가 및 검증
		모델 적용 및 운영방안 수립

• 분석 기획
  • 비즈니스 범위 설정 : SOW(Statement of Works) - 구조화된 프로젝트 정의서
    
    
  • 위험 계획 수립(회피, 전이, 완화, 수용) - '회전완수'
    
    
    
• 데이터 분석
  
  • 추가적인 데이터 확보 필요 시 데이터 준비 단계로 다시 진행
    
    
    
• 데이터 분석 - 모델링
  • 가설 설정 통해 통계 모델이나 기계학습을 이용한 분류, 예측 등의 모델을 만드는 과정
    
    
  • 의사 코드 : 일반적인 언어로 프로그래밍 언어의 알고리즘을 유사한 형식으로 써 놓은 것
    
    
    
• 디자인 싱킹
  • 사용자에 공감으로 시작해서 아이디어 발산/수렴 과정을 통한 피드백으로 발전하는 과정
    • 공감하기 -> 문제정의 -> 아이디어 도출 -> 프로토타입 -> 테스트
      
      
      
• 하향식 접근 방법
  • 문제가 주어지고 해답을 찾기 위해 진행
    
    
  • 문제 탐색 -> 문제 정의 -> 해결방안 -> 타당성 검토
    
    
    
• 문제 탐색
  • 빠짐없이 문제를 도출하고 식별하며, 솔루션 초점 보다는 가치에 초점
    
    
  • 기존 시스템 개선하여 사용 가능하면 개선하여 활용
    
    
  • 비즈니스 모델 캔버스 단순화 측면 : 업무, 제품, 고객, 규제와 감사, 지원 인프라
    
    
  • 거시적 관점 : STEEP(사회, 기술, 경제, 환경, 정치)
    
    
  • 경쟁자 확대 관점 : 대체자, 경쟁자, 신규 진입자
    
    
  • 시장의 니즈 탐색 관점 : 고객, 채널, 영향자
    
    
  • 분석 유스 케이스
    • 발굴한 분석 기회들을 구체적 과제로 만들기 전에 상세한 설명과 효과를 명시
      
      
      
• 타당성 검토
  • 경제적 타당성 : 비용대비 편익 분석관점 접근
    
    
  • 데이터 타당성 : 데이터 존재여부, 분석역량이 필요
    
    
  • 기술적 타당성 : 역량 확보 방안 사전에 수립
    
    
    
• 상향식 접근 방법
  • 문제 정의 자체가 어려울 때, 사물을 그대로 인식하는 What 관점
    
    
  • 주로 비지도 학습
    
    
    
• 지도 학습
  • 정답이 있는 데이터를 학습
    
    
  • 분류분석, 회귀분석, 의사결정트리, KNN, SVM
    
    
    
• 비지도 학습
  • 정답이 없는 데이터를 학습
    
    
  • 군집분석, 차원축소, 연관규칙분석
    
    
    
• 분석 과제에서 고려해야할 5가지 요소
  
  • 데이터 크기, 속도, 데이터 복잡도, 분석 복잡도, 정확도 / 정밀도
    
    
  • 정확도와 정밀도는 Trade-Off 관계
    
    
    
• 프로젝트 관리 지식 체계 10가지 영역
  
  • 통합, 범위, 시간, 원가, 품질, 인적자원, 의사소통, 리스크, 조달, 이해 관계자
    
    
  • '이범통 의자 시원 조리품'
    
    
    
• 분석 마스터 플랜 수립
  
  
  • 우선순위 선정
    • 전략적 중요도 : 전략적 필요성, 시급성
      
      
    • 실행 용이성 : 투자 용이성 ,기술 용이성
      
      
      
  • ISP 
    
    • 중장기 마스터 플랜을 수립하는 절차
      
      
      
  • ROI 관점
    • 시급성 관점 : 비즈니스 효과(Return) - Value
      
      
    • 난이도 관점 : 투자비용 요소(Investment) - Volume, Variety, Velocity (3V)
      
      
      
  • 분석 거버넌스 체계
    
    • 조직, 프로세스, 시스템, 데이터, 분석관련 교육 및 마인드 육성체계
      
      
    • '시조프로마인드데'
      
      
  • 데이터 분석 수준 진단 - 중요
    • 분석 준비도
      • 분석업무파악 : 사실 분석, 예측, 시뮬레이션, 최적화, 분석 업무 정기적 개선
        
        
      • 분석 인력 및 조직 : 분석전문가, 관리자, 조직, 경영진 이해
        
        
      • 분석기법 : 적합한 기법 사용, 분석기법 라이브러리 / 평가 / 개선
        
        
      • 분석 데이터 : 데이터 관리, 외부데이터 활용, 기준데이터 관리(MDM)
        
        
      • 분석문화 : 의사결정, 회의에서 활용, 공유 및 협업 문화
        
        
      • IT 인프라 : 운영 시스템 통합, 환경
        
        
      • 'IT문데기인파'
        
        
        
    • 분석 성숙도
      • CMMI 모델 기반(1 ~ 5 단계)
        
        
      • 비즈니스 / 조직, 영량 / IT 부문 관점으로 구분
        
        
      • 도입 : 환경, 시스템 구축
        
        
      • 활용 : 업무에 적용
        
        
      • 확산 : 전사 차원 관리, 공유
        
        
      • 최적화 : 혁신, 성과향상에 기여
        
        
      • '도활확최'
        
        
        
    • 데이터 분석 성숙도 모델
      • 준비형 : 낮은 준비도, 낮은 성숙도
        
        
      • 정착형 : 낮은 준비도, 높은 성숙도
        
        
      • 도입형 : 높은 준비도, 낮은 성숙도
        
        
      • 확산형 : 높은 준비도, 높은 성숙도
        
        
      • '도준정확' -> 4사분면부터 시계방향 암기
        
        
    • 분석 지원 인프라 방안 수립
      
      • 확장성을 고려한 플랫폼 구조 적용
        
        
        
        
    • 데이터 거버넌스
      
      • 구성 요소 : 원칙, 조직, 프로세스   ->  '원조프'
        
        
      • 중요 관리 대상 : 마스터 데이터, 메타데이터, 데이터 사전 등
        
        
      • 데이터 거버넌스 체계
        
        • 데이터 표준화 : 메타데이터 및 사전 구축
          
          
        • 데이터 관리 체계 : 효율성을 위함
          
          
        • 데이터 저장소 관리 : 저장소 구성
          
          
        • 표준화 활동 : 모니터링, 표준 개선 활동
          
          
          
          
    • 빅데이터 거버넌스
      • 데이터 거버넌스 체계 + 빅데이터 효율적 관리, 데이터 최적화, 정보보호, 데이터 카테고리별 관리책임자 지정 등을 포함
        
        
        
        
    • 조직 및 인력방안 수립 (DSCoE : 분석 조직) - 중요
      
      • 집중 구조 : 독립적인 전담 조직 구성(중복 업무 가능성 존재)
        
        
      • 기능 구조 : 해당 부서에서 직접 분석(DSCoE가 없음)
        
        
      • 분산 구조 : 분석 조직 인력을 협업 부서에 배치
        
        
      • '집기분'