털?자

빅데이터 저장 시스템 대용량의 데이터 집합을 저장하고 관리하는 시스템 대용량의 공간, 빠른 처리 성능, 확장성, 신뢰성, 가용성 등을 보장해야 함 메타데이터를 별도의 전용 서버로 관리하는 비대칭형 클러스터 파일 시스템이 개발되고 있으며, 이 시스템은 메타데이터에 접근하는 경로와 데이터에 접근하는 경로가 분리된 구조를 가짐 1. 빅데이터 저장 제품 검토 빅데이터 저장을 위한 제품을 선택, 검토하기 위해 사용자 요구사항을 분석 단계 설명 예시 1. 요구사항 수집 - 문서나 인터뷰를 통해 수집하거나 기존 시스템 분석을 통해 요구사항을 수집 포커스 그룹 인터뷰 설문, 워크숍 2. 요구사항 분석 - 기능, 비기능 데이터 및 기타 요구사항 분석 데이터 유형이나 업데이트 주기 3. 요구사항 명세 - 요구사항을 문서화..

데이터 적재(Load) - 변환된 데이터를 최종 목적지(데이터 웨어하우스, 데이터 레이크, 데이터 베이스)에 저장하는 과정 - ETL의 마지막 부분으로 데이터가 분석, 보고, 비즈니스 활동에 사용될 준비를 마치는 중요한 과정 1. 적재 단계의 주요 특징과 고려사항 주요 특징 내용 적재 방식 - 전체 적재 : 타깃 시스템에 이미 존재하는 모든 데이터를 삭제하고 새로운 데이터로 전체를 대체하는 방식으로 초기 설정이나 주요 업데이트에 사용 - 증분 적재 : 마지막 적재 이후 변경된 데이터만을 대상 시스템에 추가하거나 업데이트 하는 방식으로 효율성과 성능 최적화를 위해 사용 성능 최적화 적재 과정에서 DB의 성능을 저하시키지 않도록 효율적인 적재 전략을 수립 배치사이즈 조절, 병렬처리, 인덱스 관리 등을 통해 ..

데이터의 품질 조직의 목적 달성을 위해 관리되는 데이터가 조직 구성원, 고객 등 데이터 이용자의 만족을 충족시킬 수 있는 수준을 의미 데이터 품질 관리 협의적 개념 광의적 개념 조직에서 보유한 데이터를 수집, 처리, 분석하는 동안 무결성을 보장하는 프로세스 데이터 관리, 비전, 목표, 전략, 데이터 관리 원칙과 기준 등을 모두 포괄하는 데이터 관리 체계 1. 정형 데이터의 품질 기준 품질 기준 설명 완전성 필수 항목에 누락이 없어야함 유일성 데이터 항목은 유일해야하며 중복되어서는 안됨 유효성 데이터 항목은 정해진 데이터 유효 범위, 도메인을 충족해야 함 일관성 데이터의 구조, 값, 형태가 일관되게 정의되고 일치해야 함 정확성 실제 존재하는 객체의 표현 값이 정확하게 반영되어야 함 2. 비정형 데이터의 품..

데이터 변환 데이터 변환은 우리가 데이터 분석을 하는 목적에 알맞게 변환시키는 것을 의미하며 이는 정해진 규칙에 따라 데이터를 바꾸는 것을 말함 과거의 데이터 변환은 DMBS에서 질의문을 이용하거나 별도의 소프트웨어를 개발하여 변환했지만, 현재는 데이터 양의 폭발적인 증가와 전환 효율성을 고려해야하기 때문에 데이터 전환 도구(ETL)을 이용하며 특히 컴퓨터가 바로 처리할 수 없는 비정형 데이터나 반정형 데이터를 정형의 구조적인, 정해진 규칙에 따라 변환하여 저장하는 것을 의미함 1. ETL의 개념과 역할 및 기능 ETL이란 - 데이터를 소스가되는 시스템에서 추출하고 필요한 형태로 변환한 뒤 마지막으로 대상 데이터베이스에 로드하는 과정 ETL의 역할 데이터 통합 : 서로 다른 소스에서 데이터를 수집하여 통..

일반적인 데이터의 특징 구분 정량적 데이터 정성적 데이터 형태 정형, 반정형 비정형 특징 속성(attribute)가 모여 객체를 구성 객체 하나에 함의 된 정보가 포함됨 데이터 세트가 아닌, 하나의 데이터가 수집 데이터로 객체화 구성 수치, 도형, 기호 등 언어, 문자 등 저장 형태 데이터베이스, 스프레드시트 파일, 웹 소스 위치 내부 시스템 외부 시스템 1. 정량적 데이터 수집 방법 수집 방법 특징 면접 조사 연구자가 대상자와 직접적 상호작용을 통해 필요한 자료를 수집, 기록 전화 / 우편 / FAX / E-Mail 조사 질문지를 대상자들에게 전화 / 우편 / FAX / E-mail로 보내어 수집 온라인 조사 네트워크, 인터넷 등 컴퓨터가 연결된 상태에서 이루어지는 조사 CTL(Central Locat..

데이터 수집 프로젝트의 특성 일반 업무 프로젝트는 데이터의 확보에서 프로젝트의 품질, 성패를 좌우하지 않음 하지만 데이터를 수집하는 절차가 포함된 프로젝트의 경우 데이터의 확보가 프로젝트의 품질과 성패를 결정짓는 최중요 요소가 됨 고로 데이터의 수집을 위한 절차를 설계하고, 충분한 테스트를 걸쳐 진행해야 함 일반 프로젝트 데이터 수집 프로젝트 데이터 입력 측면 사용자가 데이터 발생의 주체 수집 프로세스로 확보한 데이터를 이용하므로 수집 프로세스 자체가 데이터 발생의 주체 데이터 입력자가 데이터에 대한 오너십을 가짐 수집 정책에 관련된 기술에 대해 데이터 오너십이 존재 데이터는 트랜잭션 하나에 한 건씩 발생 데이터가 프로세스 하나에서 여러건 발생 가능 데이터 처리 측면 입력된 데이터의 사전, 사후 처리 과..

데이터 분석 기획이란 데이터를 활용하여 비즈니스 문제를 해결, 인사이트를 도출하는 전략적 계획 수립 명확한 문제 정의, 데이터 수집 및 정제와 분석 방법론의 선택, 결과 해석 등의 단계로 구성 이 기획의 목적은 데이터 기반의 의사결정을 가능하게 하여, 조직의 효율과 비즈니스 가치를 극대화 함에 있음 1. 분석 마스터 플랜 수립 프레임워크 비전과 목표 설정 - 분석 비전 : 조직의 비즈니스 전략과 어떻게 연결되는지에 대한 명확한 분석 비전 설정 - 구체적 목표 : 달성하고자 하는 구체적 분석 목표를 정의 데이터 관리 전략 - 데이터 수집 : 필요한 데이터의 종류, 데이터 수집 방법을 명시 - 데이터 저장 및 관리 : 수집한 데이터를 저장, 관리할 인프라와 정책을 구축 - 데이터 품질 관리 : 데이터의 정확..