빅데이터
[빅데이터]원천데이터
romance penguin
2017. 1. 17. 18:02
반응형
정보는 두개의 범주로 나뉜다.
-원천 데이터
-도출된 데이터
원천데이터는 왜 불변인가
- 주소 정보는 변하는가? , 만약 다른집으로 이사를 간다면?
- 타임스탬프만 추가한다. +1982년 3월 1일 현재 샬롯테가 아카시아 길 22번지에 산다.
도출데이터는 원천 데이터를 이용해 만들어 냄으로 굳이 따로 보관할 필요가 없다.
데이터가 불변이면 새로운data를 스토리지에 저장만 하면 된다.
- 잠금장치 혹은 트랜잭션 같은것이 전혀 필요없다.
왜? 데이터가 변할일이 없다.
여러개의 스레드가 서로 방해할 걱정없이 동일한 data를 마음껏 병렬적으로 사용한다.
스파크 프로그래밍에서 왜 val을 사용하는것을 권장하는지 알수있음.
반응형