(1)兩個(gè)文件的交集，并集
1. 取出兩個(gè)文件的并集(重復(fù)的行只保留一份)
cat file1 file2 | sort | uniq > file3
2. 取出兩個(gè)文件的交集(只留下同時(shí)存在于兩個(gè)文件中的文件)
cat file1 file2 | sort | uniq -d > file3
3. 刪除交集，留下其他的行
cat file1 file2 | sort | uniq -u > file3

(2)兩個(gè)文件合并
一個(gè)文件在上，一個(gè)文件在下
cat file1 file2 > file3
一個(gè)文件在左，一個(gè)文件在右
paste file1 file2 > file3

(3)一個(gè)文件去掉重復(fù)的行
sort file | uniq
注意：重復(fù)的多行記為一行，也就是說這些重復(fù)的行還在，只是全部省略為一行！
sort file | uniq –u
上面的命令可以把重復(fù)的行全部去掉，也就是文件中的非重復(fù)行！

更多精彩內(nèi)容，歡迎掃碼關(guān)注以下微信公眾號：大數(shù)據(jù)技術(shù)宅。大數(shù)據(jù)、AI從關(guān)注開始

草原狼

總結(jié)

以上是生活随笔為你收集整理的linux实现文件的去重【转】的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。