HDFS 的Trash回收站功能的配置、使用
文件的刪除和恢復?
?????? 和Linux系統(tǒng)的回收站設(shè)計一樣，HDFS會為每一個用戶創(chuàng)建一個回收站目錄：/user/用戶名/.Trash/，每一個被用戶通過Shell刪除的文件/目錄，在系統(tǒng)回收站中都一個周期，也就是當系統(tǒng)回收站中的文件/目錄在一段時間之后沒有被用戶回復的話，HDFS就會自動的把這個文件/目錄徹底刪除，之后，用戶就永遠也找不回這個文件/目錄了。在HDFS內(nèi)部的具體實現(xiàn)就是在NameNode中開啟了一個后臺線程Emptier，這個線程專門管理和監(jiān)控系統(tǒng)回收站下面的所有文件/目錄，對于已經(jīng)超過生命周期的文件/目錄，這個線程就會自動的刪除它們，不過這個管理的粒度很大。另外，用戶也可以手動清空回收站，清空回收站的操作和刪除普通的文件目錄是一樣的，只不過HDFS會自動檢測這個文件目錄是不是回收站，如果是，HDFS當然不會再把它放入用戶的回收站中了
? ? ? ?根據(jù)上面的介紹，用戶通過命令行即HDFS的shell命令刪除某個文件，這個文件并沒有立刻從HDFS中刪除。相反，HDFS將這個文件重命名，并轉(zhuǎn)移到操作用戶的回收站目錄中（如/user/hdfs/.Trash/Current, 其中hdfs是操作的用戶名）。如果用戶的回收站中已經(jīng)存在了用戶當前刪除的文件/目錄，則HDFS會將這個當前被刪除的文件/目錄重命名，命名規(guī)則很簡單就是在這個被刪除的文件/目錄名后面緊跟一個編號(從1開始知道沒有重名為止)。
??????? 當文件還在/user/hdfs/.Trash/Current目錄時，該文件可以被迅速地恢復。文件在/user/hdfs/.Trash/Current中保存的時間是可配置的，當超過這個時間，Namenode就會將該文件從namespace中刪除。 文件的刪除，也將釋放關(guān)聯(lián)該文件的數(shù)據(jù)塊。注意到，在文件被用戶刪除和HDFS空閑的增加之間會有一個等待時間延遲。?
??? 當被刪除的文件還保留在/user/hdfs/.Trash/Current目錄中的時候，如果用戶想恢復這個文件，可以檢索瀏覽/user/hdfs/.Trash/Current目錄并檢索該文件。/user/hdfs/.Trash/Current目錄僅僅保存被刪除 文件的最近一次拷貝。/user/dfs/.Trash/Current目錄與其他文件目錄沒有什么不同，除了一點：HDFS在該目錄上應(yīng)用了一個特殊的策略來自動刪除文件，目前的默認策略是 刪除保留超過6小時的文件，這個策略以后會定義成可配置的接口。
????? 還有，NameNode是通過后臺線程(默認是org.apache.hadoop.fs.TrashPolicyDefault.Emptier，也可以通過fs.trash.classname指定TrashPolicy類)來定時清空所有用戶回收站中的文件/目錄的,它每隔interval分鐘就清空一次用戶回收站。具體的操作步驟是，先檢查用戶回收站目錄/user/用戶名/.Trash下的所有yyMMddHHmm形式的目錄，然后刪除壽命超過interval的目錄，最后將當前存放刪除的文件/目錄的回收站目錄/user/用戶名/.Trash/current重命名為一個/user/用戶名/.Trash/yyMMddHHmm.
????? 從這個回收線程(Emptier)的實現(xiàn)可以看出，被用戶用命令刪除的文件最多可在其回收站中保存2*interval分鐘，最少可保存interval分鐘，過了這個有效期，用戶刪除的文件就永遠也不可能恢復了
配置
Hadoop回收站trash，默認是關(guān)閉的。?
1.修改conf/core-site.xml,增加?
默認是0.單位分鐘。這里我設(shè)置的是1天（60*24）?
刪除數(shù)據(jù)rm后，會將數(shù)據(jù)move到當前文件夾下的.Trash目錄?
2.測試 ?
1）新建目錄input?
Java代碼??
2）上傳文件?
Java代碼??
3）刪除目錄input?
Java代碼??
4）參看當前目錄?
Java代碼??
發(fā)現(xiàn)input刪除，多了一個目錄.Trash?
5）恢復剛剛刪除的目錄?
Java代碼??
6）檢查恢復的數(shù)據(jù)?
Java代碼??
6）刪除.Trash目錄（清理垃圾）?
Java代碼??
注意：當用戶寫程序調(diào)用HDFS的API時，NameNode并不會把刪除的文件或目錄放入回收站Trash中，而是需要自己實現(xiàn)相關(guān)的回收站邏輯，見如下的代碼
import java.io.IOException;import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.Trash;public class RMFile {private final static Log log = LogFactory.getLog(RMFile.class);private final static Configuration conf = new Configuration();/*** Delete a file/directory on hdfs* * @param path* @param recursive* @return* @throws IOException*/public static boolean rm(FileSystem fs, Path path, boolean recursive)throws IOException {log.info("rm: " + path + " recursive: " + recursive);boolean ret = fs.delete(path, recursive);if (ret)log.info("rm: " + path);return ret;}/*** Delete a file/directory on hdfs,and move a file/directory to Trash* @param fs* @param path* @param recursive* @param skipTrash* @return* @throws IOException*/public static boolean rm(FileSystem fs, Path path, boolean recursive,boolean skipTrash) throws IOException {log.info("rm: " + path + " recursive: " + recursive+" skipTrash:"+skipTrash);if (!skipTrash) {Trash trashTmp = new Trash(fs, conf);if (trashTmp.moveToTrash(path)) {log.info("Moved to trash: " + path);return true;}}boolean ret = fs.delete(path, recursive);if (ret)log.info("rm: " + path);return ret;}public static void main(String[] args) throws IOException {conf.set("fs.default.name", "hdfs://data2.kt:8020/");FileSystem fs = FileSystem.get(conf);RMFile.rm(fs,new Path("hdfs://data2.kt:8020/test/testrm"),true,false);}}執(zhí)行程序后，發(fā)現(xiàn)使用程序刪除的文件，也到了用戶的回收站目錄中，見紅框內(nèi)
《新程序員》：云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀
總結(jié)
以上是生活随笔為你收集整理的HDFS 的Trash回收站功能的配置、使用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Hadoop生成HFile直接入库HBa
- 下一篇： 使用ssh-keygen和ssh-cop