Linux를 써보기는 해봤지만, 익숙하지 않은 나에게 이제는 linux가 익숙해 져야만 하는 때가 왔다. 이제 뭘 개발을 하려해도 windows 환경보다는 linux에서 먼저 개발을 해야하기 때문에.. 일단 몇일간 hadoop에 대한 내용을 책이나 인터넷을 통해 읽었고, 직접 설치하고 테스트 해보기로 했다. 설치는 노트북에서 vmware를 설치해두고 그 위해서 수행하였다.
- 노트북 사양 : Samsung series 9 (Windows 8, 8G RAM, i5 1.7GHz core, 128G SSD, ...)
- 설치 : VMware 8.0 + ubuntu 12.04 LTS(32bit)
1. VMware + Ubuntu 12.04 LTS 설치
| 위와 같은 환경으로 VMware를 설치했고, Ubuntu 12.04 LTS iso이미지 파일을 다운로드받아 설치함. |
2. JAVA 설치
- Java jdk나 jre를 설치해야 하는데, hadoop 설치를 위해서 설치할 jdk 버젼을 확인해야 한다.
SUN Java를 설치하려면 위에서 확인된 버젼만 가능하면 설치하면 될것같다. 대략 jdk 1.6.0_20 이상의 버젼을 설치하면 아무 이상이 없을듯하다. 이 외에 OpenJDK가 있는데, 아직 문제가 조금 있는듯하다. OpenJDK도 SUN jdk를 기반으로 만들어지긴 했지만, 특정 버젼(Open JDK 6)에서 hadoop mapreduce를 컴파일하는데 문제가 있는것으로 나와서 Open jdk는 권장하지 않는다. 이런 이슈가 나온것이 2012년 6월이니, 그 이후에 나온 버젼에 대해서는 수정이 되었는지는 모르겠다. (http://wiki.apache.org/hadoop/HadoopJavaVersions 참고) |
- jdk 설치를 위해서 아래의 명령어를 입력한다.
> sudo add-apt-repository ppa:webupd8team/java > sudo apt-get update > sudo apt-get install oracle-java6-installer 위 명령어에서 로그인을 root로 했다면 sudo는 필요없다. 그리고, 사실 oracle-java6-installer도 있고, oracle-java7-installer, oracle-java8-installer도 있다. 그런데 java6 버젼을 많이 사용하는 것같다. 이유는 모르겠지만.. (최신버젼 사용하면 문제있나? 설치해서 확인해보고 싶지만.. 귀찮아서 pass~~) |
3. hadoop 설치
- 하둡설치는 현재 alpha버젼으로 2.0.2까지 나와있지만, 일단 stable 버젼으로 설치하기로 한다. 아래의 명령으로 설치한다.
> cd ~/Download ;일단 Download 디렉토리에 다운로드 받는다. > cp hadoop-1.0.4-bin.tar.gz /usr/local ;본인은 /usr/local/ 디렉토리에 설치하려고 한다. > cd /usr/local ;/usr/local 디렉토리로 이동해서 > tar zxvf hadoop-1.0.4-bin.tar.gz ;압축을 해제한다. |
4. PATH 설정
- 설치했던 hadoop과 jdk의 path를 설정해야 한다.
<참고 : vim 설치>
- 본인은 vi 보다는 vim을 사용한다. 필요에 따라 vim을 설치해준다.
| > sudo apt-get install vim |
- 경로 설정은 .profile 의 맨 하단에 추가해주면 된다.
> sudo vim ~/.profile ;.profile 파일을 연다. ; 아래 부분을 추가해준다. export JAVA_HOME="usr/lib/jvm/java-6-oracle" export HADOOP_HOME="/usr/local/hadoop-1.0.4" export PATH="$PATH:$JAVA_HOME/bin" export PATH="$PATH:$HADOOP_HOME/bin" export CLASSPATH=":$JAVA_HOME/lib/*" > sudo source ~/.profile ;시스템에 적용한다. > sudo vim /usr/local/conf/hadoop-1.0.4/conf/hadoop-env.sh ; 파일의 윗부분에 JAVA_HOME경로를 아래와 같이 수정한다. export JAVA_HOME=/usr/lib/jvm/java-6-oracle |
5. 테스트
- 아래처럼 테스트하여 나온다면 설치가 제대로 된 것이다.
> java -version ;java 버젼확인 java version "1.6.0_38" Java(TM) SE Runtime Environment (build 1.6.0_38-b05) Java HotSpot(TM) Server VM (build 20.13-b02, mixed mode)
> hadoop version ;hadoop 버젼 확인 Hadoop 1.0.4 Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1393290 Compiled by hortonfo on Wed Oct 3 05:13:58 UTC 2012 |
만약에 경로 설정에 문제가 있을 경우가 있다. 어떨때이냐하면 터미널을 새로 띄워서 동일하게 테스트 해봤을때는
> hadoop: command not found
> vim ~/.bashrc ;여기에 path 설정을 해주면 된다.터미널을 띄울때 실행됨. |
> source ~/.profile ;terminal을 매번 띄울때마다 이 명령을 실행해주거나.. |