하둡 설정 파일 동기화 !

 

하둡은 한곳의 설정 파일 및 관련 모든 파일들의 동기화를 할 수 있다.

conf/hadoop-env.sh 내에는 아래와 같은 속성이 있다.

# host:path where hadoop code should be rsync'd from. Unset by default.

export HADOOP_MASTER=hadoop@master:/var/hadoop-1.0.3

모든 노드의 conf/hadoop-env.sh 파일에 master의 HADOOP_HOME 위치를 설정하게 되면 노드가 구동될 때 rsync 를 이용하여 master의 파일과 동기화가 이루어 진다.


위에서 설정한 값은 아래의 스크립트에서 동작하게 된다. 반드시 HADOOP_HOME 환경변수가 설정 되어 있어야 한다.

$ vi /opt/hadoop/bin/hadoop-daemon.sh

[127 line]

if [ "$HADOOP_MASTER" != "" ]; then

echo rsync from $HADOOP_MASTER

rsync -a -e ssh --delete --exclude=.svn --exclude='logs/*' --exclude='c ontrib/hod/logs/*' $HADOOP_MASTER/ "$HADOOP_HOME"

fi

클러스터 환경에서는 HADOOP_HOME 변수를 설정하게 되면 hadoop_home deprecated 주의 메시지가 뜬다.
이 때에는 conf/hadoop-env.sh 파일에 export HADOOP_HOME_WARN_SUPPRESS="TRUE" 를 추가하면 더이상 주의 메시지가 표시되지 않는다.