한땀한땀 정성들인 코딩

[빅데이터]원천데이터 본문

빅데이터

[빅데이터]원천데이터

romance penguin 2017. 1. 17. 18:02
반응형

정보는 두개의 범주로 나뉜다.

-원천 데이터

-도출된 데이터


원천데이터는 왜 불변인가

- 주소 정보는 변하는가? , 만약 다른집으로 이사를 간다면?

- 타임스탬프만 추가한다. +1982년 3월 1일 현재 샬롯테가 아카시아 길 22번지에 산다.


도출데이터는 원천 데이터를 이용해 만들어 냄으로 굳이 따로 보관할 필요가 없다.

데이터가 불변이면 새로운data를 스토리지에 저장만 하면 된다.

- 잠금장치 혹은 트랜잭션 같은것이 전혀 필요없다.

왜? 데이터가 변할일이 없다.

여러개의 스레드가 서로 방해할 걱정없이 동일한 data를 마음껏 병렬적으로 사용한다.


스파크 프로그래밍에서 왜 val을 사용하는것을 권장하는지 알수있음.


반응형

'빅데이터' 카테고리의 다른 글

[HBase]단일컬럼값 필터  (0) 2017.01.17
[HBase]기본필터기능  (0) 2017.01.17
[spark]스파크 코어  (0) 2017.01.17
[spark]스파크 생태계  (0) 2017.01.16
[빅데이터]동시성공부  (0) 2017.01.16