Data Science Lab

네임노드와 데이터노드 HDFS(Hadoop Distributed File System)는 마스터(master)-슬레이브(slave) 구조로 되어 있다. 즉 마스터 역학을 하는 네임노드(NameNode) 서버 한대에 슬레이브 역할을 하는 데이터노드(DataNode) 서버 여러대로 구성된다.  네임노드(NameNode)의 역할은 HDFS의 메타데이터를 관리하고 클라이언트가 HDFS에 저장된 파일에 접근 할 수 있도록 한다. 데이터를 저장할 때 블록으로 나누어진 데이터를 여러 데이터노드에 분산하여 저장한다. 저장된 데이터를 읽기 위해서는 HDFS 클라이언트를 사용하며 클라이언트는 API형태로 사용자에게 제공 된다.  데이터노드(DataNode)의 역할은 주기적으로 네임노드에게 핫빗(Hearbeat)과 블록..

HDFS 블록 파일 시스템 HDFS(Hadoop Distributed File System)는 블록 구조 파일 시스템이다. HDFS에 저장하려는 파일은 특정 사이즈의 블록으로 나누어져 분산된 서버에 저장된다. (이때 저장되는 개별의 서버를 Data Node라고 한다.) 블록 사이즈는 기본적으로 64MB 또는 128MB이며 변경이 가능하다. (최대 512yottabyte) HDFS는 블록을 저장할 때 기본적으로 3개의 블록 복제본을 생성하여 분산된 서버에 저장한다. 복제된 블록이 여러 서버에 저장되어 있기 때문에 특정 시스템에 장애가 발생하여도 데이터를 유지 할 수 있다. 블록의 사이즈를 너무 작거나 크게 하였을 경우에 블록 사이즈보다 작은 데이터가 저장 될 경우 무조건 해당 블록의 크기만큼 공간을 차지하..

HDFS 소개 HDFS(Hadoop Distributed File System)는 수십 테라바이트 또는 페타바이트 이상의 대용량 파일을 분산된 서버에 저장하고 많은 클라이언트가 저장된 데이터를 빠르게 처리할 수 있게 설계된 파일 시스템이다. HDFS는 내결함성이 우수하고 저가의 하드웨어에 배포 할 수 있도록 설계되어 있다. 또한 POSIX 요구사항을 수용하여 파일 시스템 데이터에 스트리밍 액세스 할 수 있다. HDFS에 저장된 데이터는 물리적으로 분산되어 있지만(서로 다른 여러 대의 서버에 저장되어 있음) 분산된 서버의 로컬 디스크에서 파일의 읽기, 저장과 같은 제어는 HDFS에서 제공하는 API를 이용해 처리된다. HDFS는 다음과 같은 목표로 설계 되었다.  Hardware Failure (하드웨어..

Hadoop Echosystem 하둡은 다양한 서브 프로젝트가 개발되면서 하둡 에코시스템(하둡 생태계)이 구성되었다. 분산 데이터를 저장하는 HDFS와 분석 데이터를 처리하는 맵리듀스가 하둡의 메인(코어) 프로젝트에 해당하며 나머지 프로젝트는 하둡의 서브 프로젝트로 관리 및 수집 등의 기능을 한다. (출처 : 시작하세요 하둡 프로그래밍 / 위키북스 http://blrunner.com/?page=13) [Zookeeper] 분산 환경에서 서버간의 상호 조정이 필요한 다양한 서비스 제공. 로드 밸런스, 동기화, HA 등 분산환경을 구성하는 서버들의 환경설정을 통합적으로 관리 [Oozie] 하둡 작업을 관리하는 워크플로우 및 코디네이터 시스템. 자바 서블릿 컨테이너에서 실행되는 자바 웹 어플리케이션이며 맵리듀..

Hadoop 용어 [하둡, Hadoop] 대용량 데이터를 분산 처리 할 수 있는 자바 기반의 오픈소스 프레임워크. 아파치 재단의 최상위 프로젝트로 하둡 분산 파일 시스템과 맵리듀스를 구현한 것이다. [HDFS, Hadoop Distributed File System] 대용량 파일을 분산된 서버에 저장하고 많은 클라이언트가 저장된 데이터를 빠르게 처리할 수 있게 설계된 파일 시스템 [네임노드, NameNode] HDFS의 모든 메타데이터를 관리하고 클라이언트가 HDFS에 저장된 파일에 접근할 수 있게 해준다. [파일 시스템 이미지, fsimage] HDFS의 네임스페이스(디렉터리명, 파일명, 상태정보)와 파일에 대한 블록 매핑 정보를 저장하는 파일 [에디트로그, editlog] HDFS의 메타데이터에 대한..

Hadoop? 하둡(Hadoop, High-Availability Distributed Object-Oriented Platform)은 대량의 자료를 처리할 수 있는 클러스터 컴퓨터 환경에서 동작하는 분산 응용 프로그램을 지원하는 프레임워크 이다. Google, Yahoo, Facebook, eBay, LinkedIn인 등 주요 회사들이 하둡을 사용한다. 또한 IBM, Microsoft, Cloudera, ORACLE 등 많은 기업이 자사의 제품에 하둡을 포함하고 있다. 하둡의 특징 중 하나는 메모리나 디스크를 공유하지 않는 다수의 머신에서 실행 할 수 있다는 것이다. 작은 조각으로 데이터를 나누어 그 조각을 배포하고 처리하며 원하는 대상 플랫폼에서 자동을 결과를 병합한다. 분산 파일 처리 시스템인 HD..

Linux (CentOS)방화벽 설정 하둡을 이용하기 위해서는 하둡 클러스터간 내부 통신을 수행해 한다. 이때 하둡에서 사용하는 방화벽 포트가 막혀 있으면 방화벽 정책에 추가하여 허용을 해야 한다. Linux(CentOS )에서 방화벽 설정 하는 법. [ UI 사용법] [시스템] - [보안 수준 미및 방화벽] 클릭. [보안 수준 설정] 창이 나타나면 방화벽을 활성 또는 비활성화 선택 할 수 있다. 활성 상태에서는 필요한 포트만 접근 허용을 선택 할 수 있다. [ 스크립트 사용법] 터미널에서 방화벽을 사용 또는 중지 할 수 있다. service iptables stop : 방화벽 비활성 service iptables start : 방화벽 활성 service iptables restart : 방화벽 재시작 ..

Hadoop 도전기 4탄 - SSH 및 HostName 설정 하둡은 SSH 프로토콜을 이용하여 하둡 클러스터간 내부 통신을 한다. 네임 노드에서 SSH의 공개키를 설정하고 이 공개키를 하둡을 사용하는 전체 서버에 복사해서 사용 한다. 우선 네임 노드를 설치할 하둡 계정으로 로그인을 한다.(필자는 계속해서 root 계정 사용) 그리고 다음과 같이 명령어를 입력하여 키를 생성한다. ssh -Keygen -t rsa 그리고 공개키를 저장할 경로 및 입력 값등을 요구하는데 그냥 엔터를 눌러 진행 한다. 아래 그림은 키 생성이 완료 된 화면이다. 키 생성이 완료 되면 사용자 계정의 홈 디렉토리에 .ssh라는 폴더에 생성된다. .ssh 폴더에서 키를 확인 하는 방법은 아래 그림과 같이 숨겨진 파일 보기를 해야 확인..

Hadoop 도전기 3탄 - JAVA 다운로드 및 설치 이번에는 JAVA 설치를 진행 한다. 참고로 테스트 중인 계정은 root로 진행 하였다. 대부분의 책 및 자료에서는 만약의 사태에 대비하여 새로운 계정을 생성하여 사용하라고 권고 하고 있지만 리눅스를 잘 다루지 못하는 필자로써는 권한 및 사용법의 어려움으로 인하여 그냥 root로 진행 한다. (엉키면 처음부터 새로 설치 하지 뭐~ 라는 마인드로 ^^ VM 환경이라 항시 백업 이미지가 존재한다능 거 ^^) 하둡은 반드시 자바가 설치 되어 있어야 한다. 하둡은 자바로 개발 되었고 데모을 구동할때 JAR 파일을 수정하기 때문이다. JAVE는 다음 링크에서 다운 받을 수 있다. 다운로드 : http://www.oracle.com/technetwork/jav..

Hadoop 도전기 2탄 - 하둡 다운로드 및 설치하기 지난 시간에는 하둡을 서비스 하기 위한 OS 설치에 대해서 알아 보았다. 이번 시간에는 하둡 소프트웨어를 다운 받고 설치하는 방법에 대해서 알아 보자. 하둡 다운로드는 다음 사이트에서 받을 수 있다. 다운로드 : http://www.apache.org/dyn/closer.cgi/hadoop/common 다운로드 사이트에서 hadoop-1.0.4.tar.gz 를 다운받도록 하자. (다운로드 시점에서 버전은 바뀔 수 있다.) 십여년전 대학 시절 학교 수업시간에 잠깐 리눅스를 처음 써보고 처음 쓰는 것인데 UI가 상당히 많이 발전 했음을 느낄 수 있었다. 리눅스의 참맛은 VI를 통해서 느낄수 있다고 하는데 나는 리눅스에 대해서 전혀 모르므로 최대한 UI를..