使用rsync实现文件同步
生活随笔
收集整理的這篇文章主要介紹了
使用rsync实现文件同步
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
第一步,先來(lái)下載這個(gè)免費(fèi)的軟件。
use chroot = no # 不使用chroot
max connections = 10 # 最大連接數(shù)為10
#motd file = /etc/rsyncd.motd #歡迎信息文件名稱和存放位置(此文件沒有,可以自行添加)
pid file = /var/run/rsyncd.pid #指定rsync的pid文件
lock file = /var/run/rsync.lock #指定支持max connections參數(shù)的鎖文件,默認(rèn)值是/var/run/rsyncd.lock
log file = /var/log/rsyncd.log #指定rsync的日志文件,而不將日志發(fā)送給syslog
#下面就是每個(gè)模塊的配置了
[rsync_module_name1] # 這里是認(rèn)證的模塊名,在client端需要指定
path = /rsync_path/dir1 # 需要做鏡像的目錄
comment = rsync files
ignore errors # 可以忽略一些無(wú)關(guān)的IO錯(cuò)誤
read only = yes # 只讀
list = no # 不允許列文件
auth users = rsync_user # 認(rèn)證的用戶名,如果沒有這行,則表明是匿名,多個(gè)用戶用,分隔
secrets file = /etc/rsyncd.pas # 認(rèn)證文件名
#pid file = /var/run/rsyncd.pid
#log file = /var/log/rsyncd.log
#lock file = /var/run/rsync.lock
其中,個(gè)人認(rèn)為,沒項(xiàng)配置都可以既在全局配置,也可以在模塊內(nèi)部配置,其中如果模塊內(nèi)部如果有與全局相同的配置,
則模塊內(nèi)部的配置覆蓋全局的配置。
ok,現(xiàn)在啟動(dòng)下試試看吧。
如果要在啟動(dòng)時(shí)把服務(wù)起來(lái),有幾種不同的方法,比如:
加入inetd.conf
編輯/etc/services,加入rsync 873/tcp,指定rsync的服務(wù)端口是873
編輯/etc/inetd.conf,加入rsync stream tcp nowait root /bin/rsync rsync –daemon
加入rc.local
在各種操作系統(tǒng)中,rc文件存放位置不盡相同,可以修改使系統(tǒng)啟動(dòng)時(shí)rsync –daemon加載進(jìn)去。
記得配置防火墻,允許你rsync端口的tcp和udp協(xié)議。
873:tcp 873:udp
下面這個(gè)命令行中-vzrtopg里的v是verbose,
z是壓縮傳輸,
r是recursive,
topg都是保持文件原有屬性如屬主、時(shí)間的參數(shù)。
u是只同步已經(jīng)更新的文件,避免沒有更新的文件被重復(fù)更新一次,不過要注意兩者機(jī)器的時(shí)鐘的同步。
–progress是指顯示出詳細(xì)的進(jìn)度情況,
–delete是指如果服務(wù)器端刪除了這一文件,那么客戶端也相應(yīng)把文件刪除,保持真正的一致。后面的rsync_user@192.168.0.2::rsync_module_name1中,之后的rsync_module_name1是模塊名,也就是在/etc/rsyncd.conf中自定義的名稱,rsync_user是指定模塊中指定的可以同步的用戶名。最后的/tmp是備份到本地的目錄名。在這里面,還可以用-e ssh的參數(shù)建立起加密的連接。
可以用–password-file=/password/path/file來(lái)指定密碼文件,這樣就可以在腳本中使用而無(wú)需交互式地輸入驗(yàn)證密碼了,這里需要注意的是這份密碼文件權(quán)限屬性要設(shè)得只有屬主可讀。
#/usr/local/rsync/bin/rsync -vzrtopg –progress –delete rsync_user@192.168.0.2::rsync_module_name1 /tmp/
Password:
或者你也可以制定password文件
由于需要系統(tǒng)crontab執(zhí)行,所以這里采用讀入密碼文件的方式,
這個(gè)時(shí)候就成功了。
#vi /etc/rsyncd.pas
加入
注意,客戶端的密碼文件只需要密碼,而不需要用戶名!
hosts allow = 192.168.1.38,192.168.1.3,192.168.1.138
#hosts deny = 0.0.0.0/32
use chroot = no
max connections = 4
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[www]
path = /www
ignore errors
read only = yes
list = no
auth users = backup
secrets file = /etc/backserver.pas
[snmp]
path = /usr/local/net-snmp
ignore errors
read only = yes
list = no
auth users = backup
secrets file = /etc/backserver.pas
建立backserver.pas
#echo “backup:backserver” > /etc/backserver.pas
服務(wù)器啟動(dòng)服務(wù)
/usr/local/rsync/bin/rsync --daemon --config=/etc/rsyncd.conf
客戶端運(yùn)行的命令
/usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas backup@192.168.1.238::snmp /tmp
/usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas backup@192.168.1.238::www /tmp
問題排除:
1、
[root@bo bin]# /usr/local/rsync/bin/rsync -vazu -progress --delete backup@192.168.1.238::www /tmp --password-file=/etc/backserver.pas
rsync: Failed to exec ss: No such file or directory (2)
rsync error: error in IPC code (code 14) at pipe.c(86) [receiver=2.6.9]
rsync: writefd_unbuffered failed to write 12 bytes [receiver]: Broken pipe (32)
rsync error: error in rsync protocol data stream (code 12) at io.c(1122) [receiver=2.6.9]
[root@ht-store bin]#
以上錯(cuò)誤可能是上面使用的參數(shù)前面的符號(hào)不正確。換成下面的就沒有上面的錯(cuò)誤了
[root@bo /]# usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas backup@192.168.1.238:www /tmp
2、
[root@ht-store /]# usr/local/rsync/bin/rsync -vzrtopgu --progress --delete backup@192.168.1.238:www /tmp/ --password-file=/etc/backserver.pas backup@192.168.1.238's password:
Permission denied, please try again.
backup@192.168.1.238's password:
Permission denied, please try again.
backup@192.168.1.238's password:
Permission denied (publickey,gssapi-with-mic,password).
rsync: connection unexpectedly closed (0 bytes received so far) [receiver]
rsync error: unexplained error (code 255) at io.c(453) [receiver=2.6.9]
[root@ht-store /]#
更改成
[root@ht-store /]# usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas
backup@192.168.1.238::www /tmp
@ERROR: auth failed on module www
rsync error: error starting client-server protocol (code 5) at main.c(1383) [receiver=2.6.9]
[root@ht-store /]#
3、
[root@ht-store /]# /usr/local/rsync/bin/rsync -vazu --progress --delete --password-file=/etc/backserver.pas
backserver@192.168.1.238::www /tmp
@ERROR: auth failed on module www
rsync error: error starting client-server protocol (code 5) at main.c(1383) [receiver=2.6.9]
檢查一下用戶名是否錯(cuò)誤backserver 應(yīng)該是backup
4、
[root@ht-store /]# /usr/local/rsync/bin/rsync -vzar --progress --delete --password-file=/etc/backserver.pas backup@192.168.1.238:www /tmp
backup@192.168.1.238's password:
Permission denied, please try again.
backup@192.168.1.238's password:
rsync error: received SIGINT, SIGTERM, or SIGHUP (code 20) at rsync.c(244) [receiver=2.6.9]
是雙引號(hào)“::”backup@192.168.1.238::www 爾不是單引號(hào)“:”backup@192.168.1.238:www
5、
[root@ht-store /]# /usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas backup@192.168.1.238::www /tmp
@ERROR: Unknown module 'www'
rsync error: error starting client-server protocol (code 5) at main.c(1383) [receiver=2.6.9]
這是因?yàn)榉?wù)器端hosts allow 沒有允許該主機(jī)訪問
6、
# chmod 600 rsyncd.conf rsyncd.secrets
-rw------- 1 root root 795 Aug 23 06:21 rsyncd.conf
-rw------- 1 root root 37 Aug 23 06:23 rsyncd.secrets
注意:這個(gè)安全配置很重要,假如不這樣做客戶機(jī)連接服務(wù)器時(shí)會(huì)提示:
@ERROR: auth failed on module smb_recover_files
rsync: connection unexpectedly closed (102 bytes read so far)
rsync error: error in rsync protocol data stream (code 12) at io.c(165)
服務(wù)器端日志將出現(xiàn)錯(cuò)誤提示:
換一個(gè)備份目錄就可以了。
在Windows下采取從文件讀取密碼方式出現(xiàn)的錯(cuò)誤信息
必需條件密碼文件存放的位置一定要是ntfs分區(qū),另一定要注意是下面的書寫格式,--password-file=F:pw一定要在后面指定
D:LinuxBakbbsweb>rsync -vzrtopgu --progress --delete rsync://rsync_user@192.168.6.143/bbsweb ./ --password-file=F:pw
當(dāng)執(zhí)行以下命令,出現(xiàn)錯(cuò)誤信息時(shí)
D:LinuxBakmysqldb>rsync -vzrtopgu --progress --delete rsync://rsync_user@192.168.6.143/mysqldb ./ --password-file=F:pw
錯(cuò)誤信息:
rsync: mkstemp "/cygdrive/d/LinuxBak/mysqldb/mysql/.dbvpopmail081 213-14:01.tar.g
z.3favI3" failed: No such file or directory (2)
101974 100% 529.70kB/s 0:00:00 (xfer#11, to-check=1/15)
rsync: mkstemp "/cygdrive/d/LinuxBak/mysqldb/mysql/.dbvpopmail081 213-15:01.tar.g
z.xI3P0F" failed: No such file or directory (2)
101975 100% 529.71kB/s 0:00:00 (xfer#12, to-check=0/15)
這是因?yàn)樵诜?wù)器端的備份文件dbvpopmail081213-15:01.tar.gz中有非法符號(hào),可能造成Windows同步數(shù)據(jù)時(shí)無(wú)法識(shí)別文件名,爾導(dǎo)致問題。將服務(wù)器端文件改名為dbvpopmail0812131501.tar.gz 。這樣在執(zhí)行同樣的命令就OK了! :) :) :)
use chroot = no # 不使用chroot
max connections = 10 # 最大連接數(shù)為10
#motd file = /etc/rsyncd.motd #歡迎信息文件名稱和存放位置(此文件沒有,可以自行添加)
pid file = /var/run/rsyncd.pid #指定rsync的pid文件
lock file = /var/run/rsync.lock #指定支持max connections參數(shù)的鎖文件,默認(rèn)值是/var/run/rsyncd.lock
log file = /var/log/rsyncd.log #指定rsync的日志文件,而不將日志發(fā)送給syslog
#下面就是每個(gè)模塊的配置了
[rsync_module_name1] # 這里是認(rèn)證的模塊名,在client端需要指定
path = /rsync_path/dir1 # 需要做鏡像的目錄
comment = rsync files
ignore errors # 可以忽略一些無(wú)關(guān)的IO錯(cuò)誤
read only = yes # 只讀
list = no # 不允許列文件
auth users = rsync_user # 認(rèn)證的用戶名,如果沒有這行,則表明是匿名,多個(gè)用戶用,分隔
secrets file = /etc/rsyncd.pas # 認(rèn)證文件名
#pid file = /var/run/rsyncd.pid
#log file = /var/log/rsyncd.log
#lock file = /var/run/rsync.lock
其中,個(gè)人認(rèn)為,沒項(xiàng)配置都可以既在全局配置,也可以在模塊內(nèi)部配置,其中如果模塊內(nèi)部如果有與全局相同的配置,
則模塊內(nèi)部的配置覆蓋全局的配置。
ok,現(xiàn)在啟動(dòng)下試試看吧。
如果要在啟動(dòng)時(shí)把服務(wù)起來(lái),有幾種不同的方法,比如:
加入inetd.conf
編輯/etc/services,加入rsync 873/tcp,指定rsync的服務(wù)端口是873
編輯/etc/inetd.conf,加入rsync stream tcp nowait root /bin/rsync rsync –daemon
加入rc.local
在各種操作系統(tǒng)中,rc文件存放位置不盡相同,可以修改使系統(tǒng)啟動(dòng)時(shí)rsync –daemon加載進(jìn)去。
記得配置防火墻,允許你rsync端口的tcp和udp協(xié)議。
873:tcp 873:udp
下面這個(gè)命令行中-vzrtopg里的v是verbose,
z是壓縮傳輸,
r是recursive,
topg都是保持文件原有屬性如屬主、時(shí)間的參數(shù)。
u是只同步已經(jīng)更新的文件,避免沒有更新的文件被重復(fù)更新一次,不過要注意兩者機(jī)器的時(shí)鐘的同步。
–progress是指顯示出詳細(xì)的進(jìn)度情況,
–delete是指如果服務(wù)器端刪除了這一文件,那么客戶端也相應(yīng)把文件刪除,保持真正的一致。后面的rsync_user@192.168.0.2::rsync_module_name1中,之后的rsync_module_name1是模塊名,也就是在/etc/rsyncd.conf中自定義的名稱,rsync_user是指定模塊中指定的可以同步的用戶名。最后的/tmp是備份到本地的目錄名。在這里面,還可以用-e ssh的參數(shù)建立起加密的連接。
可以用–password-file=/password/path/file來(lái)指定密碼文件,這樣就可以在腳本中使用而無(wú)需交互式地輸入驗(yàn)證密碼了,這里需要注意的是這份密碼文件權(quán)限屬性要設(shè)得只有屬主可讀。
#/usr/local/rsync/bin/rsync -vzrtopg –progress –delete rsync_user@192.168.0.2::rsync_module_name1 /tmp/
Password:
或者你也可以制定password文件
由于需要系統(tǒng)crontab執(zhí)行,所以這里采用讀入密碼文件的方式,
這個(gè)時(shí)候就成功了。
#vi /etc/rsyncd.pas
加入
注意,客戶端的密碼文件只需要密碼,而不需要用戶名!
hosts allow = 192.168.1.38,192.168.1.3,192.168.1.138
#hosts deny = 0.0.0.0/32
use chroot = no
max connections = 4
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[www]
path = /www
ignore errors
read only = yes
list = no
auth users = backup
secrets file = /etc/backserver.pas
[snmp]
path = /usr/local/net-snmp
ignore errors
read only = yes
list = no
auth users = backup
secrets file = /etc/backserver.pas
建立backserver.pas
#echo “backup:backserver” > /etc/backserver.pas
服務(wù)器啟動(dòng)服務(wù)
/usr/local/rsync/bin/rsync --daemon --config=/etc/rsyncd.conf
客戶端運(yùn)行的命令
/usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas backup@192.168.1.238::snmp /tmp
/usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas backup@192.168.1.238::www /tmp
問題排除:
1、
[root@bo bin]# /usr/local/rsync/bin/rsync -vazu -progress --delete backup@192.168.1.238::www /tmp --password-file=/etc/backserver.pas
rsync: Failed to exec ss: No such file or directory (2)
rsync error: error in IPC code (code 14) at pipe.c(86) [receiver=2.6.9]
rsync: writefd_unbuffered failed to write 12 bytes [receiver]: Broken pipe (32)
rsync error: error in rsync protocol data stream (code 12) at io.c(1122) [receiver=2.6.9]
[root@ht-store bin]#
以上錯(cuò)誤可能是上面使用的參數(shù)前面的符號(hào)不正確。換成下面的就沒有上面的錯(cuò)誤了
[root@bo /]# usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas backup@192.168.1.238:www /tmp
2、
[root@ht-store /]# usr/local/rsync/bin/rsync -vzrtopgu --progress --delete backup@192.168.1.238:www /tmp/ --password-file=/etc/backserver.pas backup@192.168.1.238's password:
Permission denied, please try again.
backup@192.168.1.238's password:
Permission denied, please try again.
backup@192.168.1.238's password:
Permission denied (publickey,gssapi-with-mic,password).
rsync: connection unexpectedly closed (0 bytes received so far) [receiver]
rsync error: unexplained error (code 255) at io.c(453) [receiver=2.6.9]
[root@ht-store /]#
更改成
[root@ht-store /]# usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas
backup@192.168.1.238::www /tmp
@ERROR: auth failed on module www
rsync error: error starting client-server protocol (code 5) at main.c(1383) [receiver=2.6.9]
[root@ht-store /]#
3、
[root@ht-store /]# /usr/local/rsync/bin/rsync -vazu --progress --delete --password-file=/etc/backserver.pas
backserver@192.168.1.238::www /tmp
@ERROR: auth failed on module www
rsync error: error starting client-server protocol (code 5) at main.c(1383) [receiver=2.6.9]
檢查一下用戶名是否錯(cuò)誤backserver 應(yīng)該是backup
4、
[root@ht-store /]# /usr/local/rsync/bin/rsync -vzar --progress --delete --password-file=/etc/backserver.pas backup@192.168.1.238:www /tmp
backup@192.168.1.238's password:
Permission denied, please try again.
backup@192.168.1.238's password:
rsync error: received SIGINT, SIGTERM, or SIGHUP (code 20) at rsync.c(244) [receiver=2.6.9]
是雙引號(hào)“::”backup@192.168.1.238::www 爾不是單引號(hào)“:”backup@192.168.1.238:www
5、
[root@ht-store /]# /usr/local/rsync/bin/rsync -vzrtopgu --progress --delete --password-file=/etc/backserver.pas backup@192.168.1.238::www /tmp
@ERROR: Unknown module 'www'
rsync error: error starting client-server protocol (code 5) at main.c(1383) [receiver=2.6.9]
這是因?yàn)榉?wù)器端hosts allow 沒有允許該主機(jī)訪問
6、
# chmod 600 rsyncd.conf rsyncd.secrets
-rw------- 1 root root 795 Aug 23 06:21 rsyncd.conf
-rw------- 1 root root 37 Aug 23 06:23 rsyncd.secrets
注意:這個(gè)安全配置很重要,假如不這樣做客戶機(jī)連接服務(wù)器時(shí)會(huì)提示:
@ERROR: auth failed on module smb_recover_files
rsync: connection unexpectedly closed (102 bytes read so far)
rsync error: error in rsync protocol data stream (code 12) at io.c(165)
服務(wù)器端日志將出現(xiàn)錯(cuò)誤提示:
換一個(gè)備份目錄就可以了。
在Windows下采取從文件讀取密碼方式出現(xiàn)的錯(cuò)誤信息
必需條件密碼文件存放的位置一定要是ntfs分區(qū),另一定要注意是下面的書寫格式,--password-file=F:pw一定要在后面指定
D:LinuxBakbbsweb>rsync -vzrtopgu --progress --delete rsync://rsync_user@192.168.6.143/bbsweb ./ --password-file=F:pw
當(dāng)執(zhí)行以下命令,出現(xiàn)錯(cuò)誤信息時(shí)
D:LinuxBakmysqldb>rsync -vzrtopgu --progress --delete rsync://rsync_user@192.168.6.143/mysqldb ./ --password-file=F:pw
錯(cuò)誤信息:
rsync: mkstemp "/cygdrive/d/LinuxBak/mysqldb/mysql/.dbvpopmail081 213-14:01.tar.g
z.3favI3" failed: No such file or directory (2)
101974 100% 529.70kB/s 0:00:00 (xfer#11, to-check=1/15)
rsync: mkstemp "/cygdrive/d/LinuxBak/mysqldb/mysql/.dbvpopmail081 213-15:01.tar.g
z.xI3P0F" failed: No such file or directory (2)
101975 100% 529.71kB/s 0:00:00 (xfer#12, to-check=0/15)
這是因?yàn)樵诜?wù)器端的備份文件dbvpopmail081213-15:01.tar.gz中有非法符號(hào),可能造成Windows同步數(shù)據(jù)時(shí)無(wú)法識(shí)別文件名,爾導(dǎo)致問題。將服務(wù)器端文件改名為dbvpopmail0812131501.tar.gz 。這樣在執(zhí)行同樣的命令就OK了! :) :) :)
總結(jié)
以上是生活随笔為你收集整理的使用rsync实现文件同步的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Horizon client PcoIP
- 下一篇: 完全认识计算机网络之TCP/IP