HDFS에서 파일 삭제시 바로 삭제 될까? (휴지통 기능)

HDFS에서 파일 삭제시 바로 삭제 될까? (휴지통 기능)

 

·       Version : Hadoop 3.0.0-cdh6.3.2

 

HDFS에서 파일 삭제시 즉시 삭제되고 빈 공간이 반환될까? HDFS에는 휴지통 기능이라는 것이 있어서, 파일 삭제시 즉시 삭제되지 않고 휴지통 폴더 (/user/사용자명/.trash)로 이동된다. 휴지통에 있는 파일은 복구 할 수 있다. 휴지통 디렉터리는 설정된 간격으로 체크포인트가 실행되고, 설정된 기간이 지나면 영구 삭제 된다. 영구 삭제가 완료되면 유휴 공간으로 반환된다.

 

휴지통의 삭제 기간은 core-site.xml 파일에서 설정할 수 있다.

<property>     <name>fs.trash.interval</name>     <value>1440</value> </property> <property>     <name>fs.trash.checkpoint.interval</name>     <value>120</value> </property>

 

·       fs.trash.interval : 파일을 삭제하기 위한 체크포인트 시간(분). 설정값이 0이면 즉시 삭제.

·       fs.trash.checkpoint.interval : 체크포인트를 확인하는 간격(분). 체크포인트가 실행될 때마다 체크포인트를 생성하고 유효기간이 지난 체크포인트는 삭제한다.

 

Cloudera 하둡을 사용할 경우, Cloudera Manager UI에서 설정값을 변경할 수 있다. 설정 방법은 아래 그림을 참고 한다.

 

 

현재 휴지통에 있는 파일을 지우려면 아래와 같은 명령을 사용한다.

hadoop fs -expunge

 

파일 삭제시 휴지통을 사용하지 않고 즉시 삭제하려면 아래 명령어를 사용한다.

hadoop fs -rm -skipTrash /user/data/file

 

 

 

 

 [참고자료]

https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#File_Deletes_and_Undeletes

 

2019-12-05 / Sungwook Kang / http://sungwookkang.com

 

Hadoop, HDFS 파일 삭제, HDFS 휴지통, Hadoop trash, 하둡 파일 삭제