하둡 클러스터 설치(hadoop cluster setup)
순서머신 준비hadoop document 기준 권장사항 NameNode 1대,ResourceManager 1대, DataNode와 NodeManager은 일반적으로 같은 머신(하둡은 기본 3개의 복제본을 가지기 때문에 3대이상 권장)hadoop 사용 계정 생성key 기반 ssh 통신 설정하둡 환경변수 및 옵션 설정각 머신에 파일 배포실행 기본사항(사전에 알아야 할 것들)구성클러스터내의 모든 시스템이 software(파일)를 가지고 있어야 함. 일반적으로 클러스터는 NameNode, ResourceManager를 각 1대 씩 세팅하고 DataNode와 NodeManager를 같이 동작시키는 machine들로 구성함. 여러가지 상황에 따라 Web App Proxy Server나 MapReduce Job Hi..
Framework & Library & Tool/Apache Hadoop
2018. 5. 23. 10:03