[빅데이터 분석 기사 필기 요약] 1.1.1 빅데이터의 이해 : 빅데이터 개요 및 활용

빅데이터 개요 및 활용

빅데이터 특징

(1) 빅데이터(Big Data) 개념

- 빅데이터는 막대한 양(수십 테라바이트 이상)의 정형 및 비정형 데이터이다.

 

DIKW 피라미드

피라미드 요소	설명
데이터(Data)	- 객관적 사실로서 다른 데이터와의 상관관게가 없는 가공하기 전의 순수한 수치나 기호
정보(Information)	- 가공 처리하여 데이터 간의 연관 관계와 함께 의미가 도출된 데이터
지식(Knowledge)	- 획득된 다양한 정보를 구조화화여 유의미한 정보로 분류하고일반화시킨 결과물 - 정보에 기반해 찾아진 규칙
지혜(Wisdom)	- 근본 원리에 대한 깊은 이해를 바탕으로 도출되는 창의적 아이디어 - 상황이나 맥락에 맞게 규칙을 적용하는 요소

 

(2) 빅데이터 특징

빅데이터는 전통적으로 3V(Volumn, Variety, Velocity)의 특징이 있지만, 최근에는 5V(Veracity, Value 추가),

7V(Validity, Volatility 추가)로 확장되고 있다.

 

빅데이터의 특성

특징	설명
규모(Volume)	- 빅데이터 분석 규모에 관련된 특징
다양성(Variey)	- 빅데이터 자원 유형에 관련된 특징 - 정형 데이터뿐만 아니라 비정형, 반정형 데이터를 포함
속도(Velocity)	- 빅데이터 수집, 분석, 활용 속도에 관련된 특징 - 가치 있는 정보 활용을 위해 데이터 처리 및 분석 속도의 중요성 증가
신뢰성(Veracity)	- 빅데이터의 수집 대상 데이터가 가지는 신뢰에 관련된 특징
가치(Value)	- 빅데이터 수집 데이터를 통해 얻을 수 있는 가치 - 빅데이터의 가치는 데이터의 정확성 및 시간성과 관련됨
정확성(Validity)	- 빅데이터의 수집 대상 데이터가 가지는 유효성과 정확성
휘발성(Volatility)	- 빅데이터의 수집 대상 데이터가 의미가 있는 기간 - 빅데이터는 장기적인 관점에서 유용한 가치를 창출해야 함

 

(3) 빅데이터의 유형

- 빅데이터의 유형은 데이터 구조적 관점에서 정형, 반정형, 비정형 데이터로 구분

유형	설명
정형	- 정형화된 스키마 구조, DBMS에 내용이 저장될 수있는 구조 (관계형 데이터베이스(Oracle, MS-SQL 등))
반정형	- 데이터 내부의 데이터 구조에 대한 메타 정보가 포함된 구조 (XML, HTML, JSON 등)
비정형	- 고정 필드 및 메타데이터(스키마 포함)가 정의되지 않음 (텍스트 문서, 이진 파일, 이미지, 동영상 등)

 

(4) 데이터 지식경영

- 데이터 기반 지식경영의 핵심 이슈는 암묵지와 형식지의 상호작용에 있다.

 

지식 구분

구분	설명	상호작용
암묵지	- 학습과 경험에 통해 개인에게 체화되어 있지만 겉으로 드러나지 않는 지식	공통화, 내면화
형식지	- 문서나 매뉴얼처럼 형상화된 지식	표출화, 연결화

 

빅데이터의 가치

(1) 빅데이터의 가치

- 경제적 자산

- 불확실성 제거

- 리스크 감소

- 스마트한 경쟁력

- 타 분야 융합

 

(2) 빅데이터 가치 산정이 어려운 이유

- 데이터 활용 방식, 새로운 가치 창출, 분석기술의 발전으로 인해 빅데이터의 가치를 정확하게 산정하기가 어렵다.

 

(3) 빅데이터의 영향

빅데이터 영향

대상	영향
기업	- 혁신 수단 제공 - 경쟁력 강화 - 생산성 향상
정부	- 환경 탐색 - 상황 분석 - 미래 대응 가능
개인	- 목적에 따른 활용

 

(4) 빅데이터 위기 요인 및 통제 방안

 

① 빅데이터 위기 요인

- 사생활 침해

- 책임 원칙 훼손

- 데이터 오용

 

② 빅데이터 위기 요인에 대한 통제 방안

- 알고리즘에 대한 접근 허용

- 책임의 강조

- 결과 기반의 책임 적용

 

빅데이터의 산업의 이해

(1) 빅데이터 산업 개요

- 스마트폰, SNS 사물인터넷넷(IoT) 확산 등에 따라 데이터 활용 증가로 빅데이터는 신성장동력으로 급부상

- 클라우드 컴퓨팅 기술의 발전으로 데이터 처리 비용이 급격하게 감소하여 빅데이터가 발전

 

(2) 산업별 빅데이터 활용

- 의료, 건강

- 과학기술

- 정보보안

- 제조, 공정

- 소비, 거래

- 교통, 물류

 

빅데이터 조직 및 인력

(1) 빅데이터 산업 개요

① 빅데이터 업무 프로세스

단계	설명
빅데이터 도입 단계	- 빅데이터 서비스를 제공하기 위해서는 빅데이터 시스템 구축을 위한 빅데이터 도입 기획, 기술 검토, 도입 조직 구성, 예산 확보 등을 수행
빅데이터 구축 단계	- 빅데이터 플랫폼을 구축하기 위해서는 요구사항 분석, 설계, 구현, 테스트 단계를 수행
빅데이터 운영 단계	- 빅데이터 시스템의 도입 및 구축이 끝나면, 이를 인수하여 운영 계획을 수립 - 빅데이터 플랫폼 운영, 데이터 및 빅데이터 분석 모델 운영, 빅데이터의 운영 조직, 빅데이터 운영 예산 고려

② 조직 설계 절차 예시

순서	절차
1	경영 전략 및 사업 전략 수립
2	전체 조직 구조 설계
3	핵심 업무 프로세스 검토
4	팀 조직 구조 설계
5	핵심 인력 선발
6	역할과 책임 할당
7	성과 측정 기준 수립
8	역량 교육 및 훈련

③ 조직 구조 설계의 요소

  ⓐ 조직 구조 설계의 요소

    - 업무 활동

      : 수직 업무 활동

      : 수평 업무 활동

    - 부서화

    - 보고 체계

 

  ⓑ 조직 구조 요형

    - 집중 구조

    - 기능 구조

    - 분산 구조

    - DSCoE(Data Science Center of Excellence)는 데이터 사이언스 전문가 조직이다. 

 

④ 조직 구조의 설계 특성

- 공식화

- 분업화

- 직무 전문화

- 통제 범위

- 의사소통 및 조정

 

(2) 조직 역량

① 역량 모델링

구분	스킬	설명
소프트 스킬 (Soft Skill)	분석의 통찰력	논리적 비판 능력, 창의적 사고력, 호기심
	여러 분야의 협력 능력	커뮤니케이션 능력
	설득력 있는 전달력	스토리텔링 능력, 비주얼라이제이션
하드 스킬 (Hard Skill)	빅데이터 관련 이론적 지식	빅데이터 관련 기법 및 다양한 방법론 습득
	분석기술의 숙련도	목적에 맞는 최적 분석 설계, 노하우 축적

 

② 역량 모델 개발 절차

순서	절차
1	조직의 미션/성과 목표/CSF 검토
2	조직 구성원의 행동 특성 도출
3	조직 구성원의 역량 도출
4	조직 구성의 역량 모델 확정

 

③ 역량 교육 체계 설계 절차

순서	절차
1	요구사항 분석
2	직무별 역량 모델 검토
3	역량 차이 분석
4	직무 역량 매트릭스 작성
5	직무별 역량 교육 체계 설계

 

(3) 조직성과 평가

① 조직성과 평가 절차

순서	평가 절차
1	목표 설정
2	모니터링
3	목표 조정
4	평가 실시
5	결과의 피드백

 

② 균형 성과표(BSD; Balanced Score Card) 관리

- 재무, 고객, 내부 프로세스, 학습, 성장

 

BSC를 통한 KPI 도출 예시

관점	KPI 지표	KPI 목표	계산방식(단위)	평가 기준
재무	빅데이터 분석비용 절감	10% 절감	전년 대비 분석비용 절감률(%)	1등급: 10% 이상 2등급: 5% 이상
고객	빅데이터 서비스 만족도	별 5점 만점에 4점 이상	고객 평가 점수(점)	1등급: 평균 4점 2등급: 평균 3점
내부 프로세스	서비스 가동률	99% 가용성 확보	서비스 가동률(%)	1등급: 99% 2등급: 98%
학습, 성장	1인당 빅데이터 분석 교육 시간	1인당 24시간 이상	교육 시간(시간)	1등급: 24시간 2등급: 16시간