[spark]스파크 코어

인메모리 클러스터 컴퓨팅 프레임워크

고급실행엔진 존재

스파크 맵리듀스 모두 단방향성 frame_work

반복적 알고리즘

-데이터를 반복하여 여러번 처리하는 알고리즘.

주요 엔티티

드라이버 프로그램 - data처리 코드 제공, 스파크를 사용하는 애플리케이션

클러스터 매니저 - 리소스 관리, 상세한 수준의 리소스 스케줄링 제공

워커 - cpu,메모리,disk 스토리지 제공

익스큐터 - jvm프로세스로 다수의 스레드에서 동시에 애플리케이션 코드를 실행

테스크 - 가장 작은 작업단위

잡 : 연산의 묶음

스테이지 : 테스크의 묶음