IT기술 썸네일형 리스트형 Hadoop ecosystem 구성 (hadoop + hive + tez + spark + sqoop + more..) 구성환경 및 버전 Linux 서버 2대 - hadoop-3.2.1 - apache-hive-3.1.2 - apache-tez-0.9.2 - sqoop-1.4.7 - spark-2.4.7-bin-hadoop2.7 1. 기본적인 구성 환경 - 사용자 계정 : root 가 아닌 일반사용자로 진행한다 2. openjdk 8 설치 : 높은 버전은 hive 에서 오류 발생 하므로 8 을 설치한다. - .bashrc 파일에 환경 설정 $ vi ~/.bashrc export JAVA_HOME=/usr/lib/jvm/java-1.8.0 $ source ~/.bashrc 3. password 없이 ssh 접속 가능한 환경 구성 $ ssh-keygen $ ~/.ssh/id_rsa.pub 파일을 대상 호스트의 ~/.ssh/a.. 더보기 이전 1 다음