빅데이터 (Big Data)
빅데이터(BigData) 란 ?
빅데이터는 큰 사이즈의 데이터로부터 유의미한 지표를 분석 해내는 것을 정의로 할 수 있다.
출현배경
- 데이터 양의 증가와 데이터 저장기술의 발달
- 저장장치의 가격 인하
- 데이터 처리기술의 발달
빅데이터 특징 : 5V
- Volume : 데이터의 크기
- Variety : 정형,반정형,비정형 등 여러 형태의 데이터
- Velocity : 생성 속도
- Value : 데이터의 가치, 유의미한 가치를 가지는 데이터
- Veracity : 예측 데이터의 정확성
빅데이터 처리 단계
수집 -> 정제 -> 적재 -> 분석 -> 시각화
-
수집 : 데이터를 수집하는 단계
-
정형 : DB/CSV 와 같은 칼럼 단위의 형태가 존재하는 데이터
-
반정형 : xml,html 처럼 스키마가 존재하는 데이터
-
비정형 : 영상 ,음성 데이터처럼 형태가 존재하지 않는 데이터
-
-
정제 : 수집한 데이터를 적재하기 위해 필요 없는 데이터나 깨진 데이터를 정리하는 단계
특히나 반정형이나 비정형 데이터는 분석에 필요한 데이터 외에 필요 없는 부분을 제거하는 단계가 필요함
-
적재 : 정제된 데이터를 분석하기 위해 DB나 RDB 같은 도구에 적재하는 단계
-
분석 : 적재한 데이터를 의미 있는 지표로 분석하는 단계
의사 결정자나 이용자가 사용할 수 있는 데이터로 분석하는 단계임
-
시각화 : 분석한 데이터를 도표로 보여주는 단계