場(chǎng)景：從本地目錄下上傳文件到hdfs。

參考代碼：

package ct.gd;import java.io.BufferedInputStream; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.List;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils;public class SGPGWHDFS {//hadoop jar /home/hdfs/dx.jar ct.gd.SGPGWHDFS &public static void main(String[] args) throws IOException { SimpleDateFormat format = new SimpleDateFormat("yyyyMMdd");String hisDate=format.format(System.currentTimeMillis());Configuration conf = new Configuration();FileSystem fs = FileSystem.get(conf); List<String> hisfilename=new ArrayList<String>();//保存當(dāng)前日期下已上傳的文件名while(true){//獲取當(dāng)前時(shí)間String nowDate=format.format(System.currentTimeMillis());if(hisDate!=nowDate) {//日期變化hisfilename.clear();//清空hisDate=nowDate;}String localpath="/data/4GPGW_Data/SG/"+nowDate.substring(0, 6)+"/"+nowDate;String hdfspath="/pgw/sg/"+nowDate.substring(0, 6)+"/"+nowDate; try {//從本地目錄檢索文件File f = new File(localpath);if (!f.exists()) continue;File fa[] = f.listFiles();for (int i = 0; i < fa.length; i++) {File file = fa[i];String filename=file.getName();if(!hisfilename.contains(filename)){//未上傳//上傳到hdfsString localfile=localpath+"/"+filename;InputStream in = new BufferedInputStream(new FileInputStream(localfile));String hdfsfile = hdfspath+"/" + filename;//hdfs存放文件路勁和名字OutputStream out = fs.create(new Path(hdfsfile),true);//如果已存在，覆蓋IOUtils.copyBytes(in, out, 1024*1024,true);//遷移out.flush();if(out!=null) out.close();if(in!=null) in.close();hisfilename.add(filename);//加入已上傳列表}}} catch (IOException e) {e.printStackTrace();continue;}} } }

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的MapReduce基础开发之十三FileSystem实现本地文件上传的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。