이클립스에서 빌드한 JAR 파일을 하둡 클러스터에 자동 배포하기 !

 

이클립스 개발 환경과 하둡 클러스터는 서로 다른 Host 인 경우가 대부분이다. 그래서 개발 PC 에서 빌드된 JAR 파일을

하둡 클러스터ㅔ 매번 올리는 것이 여간 불편한 일이다. 지금부터 하고자 하는 이른, 바로 이런 불편을 해소하기 위한

메이븐 빌드 및 배포 환경 설정이다. 이 설정의 기본 컨셉은 scp 라는 리눅스 명령에서 아이디어를 가져왔다고 하다.

 

이제 메이븐의 플러그인 ant-jsch 와,  com.jcraft의 jsch 를 설치 해야 한다. 이는 antrun의 task 중 하나인 scp를 이용하기 위해

필요한 것이다.

 

1. 원격 하둡 클러스터에 배포하기 위한 pom.xml 설정

 

다음 그림에서 11번 라인의 <hase> 엔 install 을, 14번과 15번 라인의 <scp> 에 원본 파일명과 하둡 클러스터에 업로드할

원격 디텍토리 및 scp 계정 정보를 작성해주면 된다. 리눅스의 scp 명령의 사용법을 참고하면 도움된다.

 

 

 

2. 메이븐 install 을 이용하여, 빌드된 jar 를 하둡 클러스터에 업로드

이클립스 메ㅠ의 Run As -> Maven Install 를 클릭 하면, 콘솔에 다음과 같은 로그기 기록되는것을 볼 수 있는데,

이때는 하둡 클러스터에 대한 네트워크 접근이 가능한 상태여야 한다. 하둡 클러스터 중 Jar 를 실행할 호스트의 ip가

10.211.55.3 이고, ssh 를 통해서 접속하여 hadoopExam-0.0.1-SNAPSHOT>jar 파일이 성공적으로 업로드 됨을 알 수 있다.

 

 

3. 하둡 클러스터에서 올려진 JAR 파일 확인

 

하둡은 리눅스에서 동작하도록 만들어진 자바 프로그램이다.

로그에서 업로드한 시각과, hadoopExam-0.0.1-SNAPSHOT.jar 파일의 시각을 대조해보면, Maven Install 을 통해 정상적으로

업로드 된것을 확인할 수 있다.