한땀한땀 정성들인 코딩
[빅데이터]원천데이터 본문
반응형
정보는 두개의 범주로 나뉜다.
-원천 데이터
-도출된 데이터
원천데이터는 왜 불변인가
- 주소 정보는 변하는가? , 만약 다른집으로 이사를 간다면?
- 타임스탬프만 추가한다. +1982년 3월 1일 현재 샬롯테가 아카시아 길 22번지에 산다.
도출데이터는 원천 데이터를 이용해 만들어 냄으로 굳이 따로 보관할 필요가 없다.
데이터가 불변이면 새로운data를 스토리지에 저장만 하면 된다.
- 잠금장치 혹은 트랜잭션 같은것이 전혀 필요없다.
왜? 데이터가 변할일이 없다.
여러개의 스레드가 서로 방해할 걱정없이 동일한 data를 마음껏 병렬적으로 사용한다.
스파크 프로그래밍에서 왜 val을 사용하는것을 권장하는지 알수있음.
반응형
'빅데이터' 카테고리의 다른 글
[HBase]단일컬럼값 필터 (0) | 2017.01.17 |
---|---|
[HBase]기본필터기능 (0) | 2017.01.17 |
[spark]스파크 코어 (0) | 2017.01.17 |
[spark]스파크 생태계 (0) | 2017.01.16 |
[빅데이터]동시성공부 (0) | 2017.01.16 |