목록빅데이터 (23)
한땀한땀 정성들인 코딩
package insertCsv; import org.apache.hadoop.io.Text; public class parseCsv { private int year; private int month; private int day_of_month; private String unique_carrier; private String flightnum; private int airtime; private int arrdelay; private int depdelay; private int distance; private int cancelled; private String cancellation_code; public parseCsv(Text text){ try{ String[] columns = text...
package insertCsv; import java.io.BufferedReader; import java.io.IOException; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.Date; import java.util.List; //import org.apache.hadoop.fs.FileSystem; //import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.client.HTable; import org.apache.hadoop.hbase.client.Put; import org.apache.hadoop.hbase.io.ImmutableB..
이클립스 neon1hadoop-2.7.3hbase-1.2.4zookeeper-3.4.9 ( hive-2.1.1도 있지만... 맵리듀스가 sql로 실행하기 때문에 매우 편리하다.. 근데 안 쓸거다.) hdfs(파일시스템)위에 hbase가 작동한다.가상분산모드( 완전분산모드의 경우 제약이 많이생긴다...컴퓨터의 구입이라든가, 휴대라든가)아파치+톰캣 was구성 : http같은 정적서버를 아파치가 담당하고 톰캣이 정적페이지 (jsp)를 담당한다.프론트엔드 : css+html5+[js 자바스크립트는 쓸지말지..] 구성 (css 다 까먹어서 복습이 필요하다.) 현재 어느 중국분이 올린 hadoop-eclispe 플러그인으로 (java api사용)( 웹(클라이언트)과의 연동방법으로는 1. java api - 서버로 ..