3atv精品不卡视频,97人人超碰国产精品最新,中文字幕av一区二区三区人妻少妇,久久久精品波多野结衣,日韩一区二区三区精品

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

第3章 NFS基本应用

發布時間:2025/5/22 编程问答 48 豆豆
生活随笔 收集整理的這篇文章主要介紹了 第3章 NFS基本应用 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1.1 概述

類似ext家族、xfs格式的本地文件系統,它們都是通過單個文件名稱空間(name space)來包含很多文件,并提供基本的文件管理和空間分配功能。而文件是存放在文件系統中(上述名稱空間內)的單個命名對象,每個文件都包含了文件實際數據和屬性數據。但是,這些類型的文件系統和其內文件都是存放在本地主機上的。

實際上,還有網絡文件系統。顧名思義,就是跨網絡的文件系統,將遠程主機上的文件系統(或目錄)存放在本地主機上,就像它本身就是本地文件系統一樣。在Windows環境下有cifs協議實現的網絡文件系統,在Unix環境下,最出名是由NFS協議實現的NFS文件系統。

NFS即network file system的縮寫,nfs是屬于用起來非常簡單,研究起來非常難的東西。相信,使用過它或學過它的人都不會認為它的使用有任何難點,只需將遠程主機上要共享給客戶端的目錄導出(export),然后在客戶端上掛載即可像本地文件系統一樣。到目前為止,nfs已經有5個版本,NFSv1是未公布出來的版本,v2和v3版本目前來說基本已經淘汰,v4版本是目前使用最多的版本,nfsv4.1是目前最新的版本。

1.2 RPC不可不知的原理

要介紹NFS,必然要先介紹RPC。RPC是remote procedure call的簡寫,人們都將其譯為"遠程過程調用",它是一種框架,這種框架在大型公司應用非常多。而NFS正是其中一種,此外NIS、hadoop也是使用rpc框架實現的。

1.2.1 RPC原理

所謂的remote procedure call,就是在本地調用遠程主機上的procedure。以本地執行"cat -n ~/abc.txt"命令為例,在本地執行cat命令時,會發起某些系統調用(如open()、read()、close()等),并將cat的選項和參數傳遞給這些函數,于是最終實現了文件的查看功能。在RPC層面上理解,上面發起的系統調用就是procedure,每個procedure對應一個或多個功能。而rpc的全名remote procedure call所表示的就是實現遠程procedure調用,讓遠程主機去調用對應的procedure。

上面的cat命令只是本地執行的命令,如何實現遠程cat,甚至其他遠程命令?通常有兩種可能實現的方式:

(1).使用ssh類的工具,將要執行的命令傳遞到遠程主機上并執行。但ssh無法直接調用遠程主機上cat所發起的那些系統調用(如open()、read()、close()等)。

(2).使用網絡socket的方式,告訴遠程服務進程要調用的函數。但這樣的主機間進程通信方式一般都是daemon類服務,daemon類的客戶端(即服務的消費方)每調用一個服務的功能,都需要編寫一堆實現網絡通信相關的代碼。不僅容易出錯,還比較復雜。

而rpc是最好的解決方式。rpc是一種框架,在此框架中已經集成了網絡通信代碼和封包、解包方式(編碼、解碼)。以下是rpc整個過程,以cat NFS文件系統中的a.sh文件為例。

?? ?

nfs客戶端執行cat a.sh,由于a.sh是NFS文件系統內的文件,所以cat會發起一些procedure調用(如open/read/close),這些procedure對應的ID號碼和對應的參數會發送給rpc client(可能是單個procedure ID,也可能是多個procedure組合在一起一次性發送給rpc client,在NFSv4上是后者),rpc client會將這些數據進行編碼封裝(封裝和解封裝功能由stub代碼實現),封裝后的消息稱為"call message",然后將call message通過網絡發送給rpc server,rpc server會對封裝的數據進行解封提取,于是就得到了要調用的procedures ID和對應的參數,然后將它們交給NFS服務進程,最終調用procedure ID對應的procedure來執行,并返回結果。NFS服務發起procedure調用后,會得到數據(可能是數據本身,可能是狀態消息等),于是將返回結果交給rpc server,rpc server會將這些數據封裝,這部分數據稱為"reply message",然后將reply message通過網絡發送給rpc client,rpc client解封提取,于是得到最終的返回結果。

從上面的過程可以知道,rpc的作用是數據封裝,rpc client封裝待調用的procedure ID及其參數(其實還有一個program ID,關于program,見下文),rpc server封裝返回的數據。

舉個更簡單的例子,使用google搜索時,實現搜索功能的program ID以及涉及到的procedure ID和要搜索的內容就是rpc client封裝的對象,也是rpc server要解封的對象,搜索的結果則是rpc server封裝的對象,也是rpc client要解封的對象。解封后的最終結果即為google搜索的結果。

1.2.2 RPC工具介紹

在CentOS 6/7上,rpc server由rpcbind程序實現,該程序由rpcbind包提供。

[root@xuexi ~]# yum -y install rpcbind[root@xuexi ~]# rpm -ql rpcbind | grep bin/ /usr/sbin/rpcbind /usr/sbin/rpcinfo

其中rpcbind是rpc主程序,在rpc服務端該程序必須處于已運行狀態,其默認監聽在111端口。rpcinfo是rpc相關信息查詢工具。

對于rpc而言,其所直接管理的是programs,programs由一個或多個procedure組成。這些program稱為RPC program或RPC service。

如下圖,其中NFS、NIS、hadoop等稱為網絡服務,它們由多個進程或程序(program)組成。例如NFS包括rpc.nfsd、rpc.mountd、rpc.statd和rpc.idmapd等programs,其中每個program都包含了一個或多個procedure,例如rpc.nfsd這個程序包含了如OPEN、CLOSE、READ、COMPOUND、GETATTR等procedure,rpc.mountd也主要有MNT和UMNT兩個procedure。

對于RPC而言,它是不知道NFS/NIS/hadoop這一層的,它直接管理programs。每個program啟動時都需要找111端口的rpc服務登記注冊,然后RPC服務會為該program映射一個program number以及分配一個端口號。其中每個program都有一個唯一與之對應的program number,它們的映射關系定義在/etc/rpc文件中。以后rpc server將使用program number來判斷要調用的是哪個program中的哪個procedure(因為這些都是rpc client封裝在"call message"中的),并將解包后的數據傳遞給該program和procedure。

例如只啟動rpcbind時。

[root@xuexi ~]# systemctl start rpcbind.service[root@xuexi ~]# rpcinfo -p localhostprogram vers proto port service100000 4 tcp 111 portmapper100000 3 tcp 111 portmapper100000 2 tcp 111 portmapper100000 4 udp 111 portmapper100000 3 udp 111 portmapper100000 2 udp 111 portmapper

其中第一列就是program number,第二列vers表示對應program的版本號,最后一列為RPC管理的RPC service名,其實就是各program對應的稱呼。

當客戶端獲取到rpc所管理的service的端口后,就可以與該端口進行通信了。但注意,即使客戶端已經獲取了端口號,客戶端仍會借助rpc做為中間人進行通信。也就是說,無論何時,客戶端和rpc所管理的服務的通信都必須通過rpc來完成。之所以如此,是因為只有rpc才能封裝和解封裝數據。

既然客戶端不能直接拿著端口號和rpc service通信,那還提供端口號干嘛?這個端口號是為rpc server提供的,rpc server解包數據后,會將數據通過此端口交給對應的rpc service。

1.3 啟動NFS

NFS本身是很復雜的,它由很多進程組成。這些進程的啟動程序由nfs-utils包提供。由于nfs是使用RPC框架實現的,所以需要先安裝好rpcbind。不過安裝nfs-utils時會自動安裝rpcbind。

[root@xuexi ~]# yum -y install nfs-utils[root@xuexi ~]# rpm -ql nfs-utils | grep /usr/sbin /usr/sbin/blkmapd /usr/sbin/exportfs /usr/sbin/mountstats /usr/sbin/nfsdcltrack /usr/sbin/nfsidmap /usr/sbin/nfsiostat /usr/sbin/nfsstat /usr/sbin/rpc.gssd /usr/sbin/rpc.idmapd /usr/sbin/rpc.mountd /usr/sbin/rpc.nfsd /usr/sbin/rpc.svcgssd /usr/sbin/rpcdebug /usr/sbin/showmount /usr/sbin/sm-notify /usr/sbin/start-statd

其中以"rpc."開頭的程序都是rpc service,分別實現不同的功能,啟動它們時每個都需要向rpcbind進行登記注冊。

[root@xuexi ~]# systemctl start nfs.service[root@xuexi ~]# rpcinfo -p localhostprogram vers proto port service100000 4 tcp 111 portmapper100000 3 tcp 111 portmapper100000 2 tcp 111 portmapper100000 4 udp 111 portmapper100000 3 udp 111 portmapper100000 2 udp 111 portmapper100024 1 udp 56229 status100024 1 tcp 57226 status100005 1 udp 20048 mountd100005 1 tcp 20048 mountd100005 2 udp 20048 mountd100005 2 tcp 20048 mountd100005 3 udp 20048 mountd100005 3 tcp 20048 mountd100003 3 tcp 2049 nfs100003 4 tcp 2049 nfs100227 3 tcp 2049 nfs_acl100003 3 udp 2049 nfs100003 4 udp 2049 nfs100227 3 udp 2049 nfs_acl100021 1 udp 48609 nlockmgr100021 3 udp 48609 nlockmgr100021 4 udp 48609 nlockmgr100021 1 tcp 50915 nlockmgr100021 3 tcp 50915 nlockmgr100021 4 tcp 50915 nlockmgr

可以看到,每個program都啟動了不同版本的功能。其中nfs program為rpc.nfsd對應的program,為nfs服務的主進程,端口號為2049。mountd對應的program為rpc.mountd,它為客戶端的mount和umount命令提供服務,即掛載和卸載NFS文件系統時會聯系mountd服務,由mountd維護相關掛載信息。nlockmgr對應的program為rpc.statd,用于維護文件鎖和文件委托相關功能,在NFSv4以前,稱之為NSM(network status manager)。nfs_acl和status,很顯然,它們是訪問控制列表和狀態信息維護的program。

再看看啟動的相關進程信息。

[root@xuexi ~]# ps aux | grep -E "[n]fs|[r]pc" root 748 0.0 0.0 0 0 ? S< Jul26 0:00 [rpciod] rpc 6127 0.0 0.0 64908 1448 ? Ss Jul26 0:00 /sbin/rpcbind -w rpcuser 6128 0.0 0.0 46608 1836 ? Ss Jul26 0:00 /usr/sbin/rpc.statd --no-notify root 6242 0.0 0.0 0 0 ? S< Jul26 0:00 [nfsiod] root 6248 0.0 0.0 0 0 ? S Jul26 0:00 [nfsv4.0-svc] root 17128 0.0 0.0 44860 976 ? Ss 02:49 0:00 /usr/sbin/rpc.mountd root 17129 0.0 0.0 21372 420 ? Ss 02:49 0:00 /usr/sbin/rpc.idmapd root 17134 0.0 0.0 0 0 ? S< 02:49 0:00 [nfsd4] root 17135 0.0 0.0 0 0 ? S< 02:49 0:00 [nfsd4_callbacks] root 17141 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17142 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17143 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17144 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17145 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17146 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17147 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17148 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd]

其中有一項/usr/sbin/rpc.idmapd進程,該進程是提供服務端的uid/gid <==> username/groupname的映射翻譯服務。客戶端的uid/gid <==> username/groupname的映射翻譯服務則由"nfsidmap"工具實現,詳細說明見下文。

1.4 配置導出目錄和掛載使用

1.4.1 配置nfs導出目錄

在將服務端的目錄共享(share)或者說導出(export)給客戶端之前,需要先配置好要導出的目錄。比如何人可訪問該目錄,該目錄是否可寫,以何人身份訪問導出目錄等。

配置導出目錄的配置文件為/etc/exports或/etc/exports.d/*.exports文件,在nfs服務啟動時,會自動加載這些配置文件中的所有導出項。以下是導出示例:

/www??? 172.16.0.0/16(rw,async,no_root_squash)

其中/www是導出目錄,即共享給客戶端的目錄;172.16.0.0/16是訪問控制列表ACL,只有該網段的客戶端主機才能訪問該導出目錄,即掛載該導出目錄;緊跟在主機列表后的括號及括號中的內容定義的是該導出目錄對該主機的導出選項,例如(rw,async,no_root_squash)表示客戶端掛載/www后,該目錄可讀寫、異步、可保留root用戶的權限,具體的導出選項稍后列出。

以下是可接收的幾種導出方式:

/www1 (rw,async,no_root_squash) # 導出給所有主機,此時稱為導出給world /www2 172.16.1.1(rw,async) # 僅導出給單臺主機172.16.1.1 /www3 172.16.0.0/16(rw,async) 192.168.10.3(rw,no_root_squash) # 導出給網段172.16.0.0/16,還導出給單臺# 主機192.168.10.3,且它們的導出選項不同 /www4 www.a.com(rw,async) # 導出給單臺主機www.a.com主機,但要求能解析該主機名 /www *.b.com(rw,async) # 導出給b.com下的所有主機,要求能解析對應主機名

以下是常用的一些導出選項說明,更多的導出選項見man exports:常見的默認項是:ro,sync,root_squash,no_all_squash,wdelay。

導出選項

(加粗標紅為默認)

選項說明

rw、ro

導出目錄可讀寫還是只讀(read-only)。

sync、async

同步共享還是異步共享。異步時,客戶端提交要寫入的數據到服務端,服務端接收數據后直接響應客戶端,但此時數據并不一定已經寫入磁盤中,而同步則是必須等待服務端已將數據寫入磁盤后才響應客戶端。也就是說,給定異步導出選項時,雖然能提升一些性能,但在服務端突然故障或重啟時有丟失一部分數據的風險。

當然,對于只讀(ro)的導出目錄,設置sync或async是沒有任何差別的。

anonuid

anongid

此為匿名用戶(anonymous)的uid和gid值,默認都為65534,在/etc/passwd和/etc/shadow中它們對應的用戶名為nfsnobody。該選項指定的值用于身份映射被壓縮時。

root_squash

no_root_squash

是否將發起請求(即客戶端進行訪問時)的uid/gid=0的root用戶映射為anonymous用戶。即是否壓縮root用戶的權限。

all_squash

no_all_squash

是否將發起請求(即客戶端進行訪問時)的所有用戶都映射為anonymous用戶,即是否壓縮所有用戶的權限。

對于root用戶,將取(no_)root_squash和(no_)all_squash的交集。例如,no_root_squash和all_squash同時設置時,root仍被壓縮,root_squash和no_all_squash同時設置時,root也被壓縮。

有些導出選項需要配合其他設置。例如,導出選項設置為rw,但如果目錄本身沒有w權限,或者mount時指定了ro掛載選項,則同樣不允許寫操作。

至于別的導出選項,基本無需去關注。

在配置文件寫好要導出的目錄后,直接重啟nfs服務即可,它會讀取這些配置文件。隨后就可以在客戶端執行mount命令進行掛載。

例如,exports文件內容如下:

/vol/vol0 *(rw,no_root_squash) /vol/vol2 *(rw,no_root_squash) /backup/archive *(rw,no_root_squash)

1.4.2 掛載nfs文件系統

然后去客戶端上掛載它們。

[root@xuexi ~]# mount -t nfs 172.16.10.5:/vol/vol0 /mp1 [root@xuexi ~]# mount 172.16.10.5:/vol/vol2 /mp2 [root@xuexi ~]# mount 172.16.10.5:/backup/archive /mp3

掛載時"-t nfs"可以省略,因為對于mount而言,只有掛載nfs文件系統才會寫成host:/path格式。當然,除了mount命令,nfs-utils包還提供了獨立的mount.nfs命令,它其實和"mount -t nfs"命令是一樣的。

mount掛載時可以指定掛載選項,其中包括mount通用掛載選項,如rw/ro,atime/noatime,async/sync,auto/noauto等,也包括針對nfs文件系統的掛載選項。以下列出幾個常見的,更多的內容查看man nfs和man mount。

選項

參數意義

默認值

suid

nosuid

如果掛載的文件系統上有設置了suid的二進制程序,

使用nosuid可以取消它的suid

suid

rw

ro

盡管服務端提供了rw權限,但是掛載時設定ro,則還是ro權限

權限取交集

rw

exec/noexec

是否可執行掛載的文件系統里的二進制文件

exec

user

nouser

是否運行普通用戶進行檔案的掛載和卸載

nouser

auto

noauto

auto等價于mount -a,意思是將/etc/fstab里設定的全部重掛一遍

auto

sync

nosync

同步掛載還是異步掛載

async

atime

noatime

是否修改atime,對于nfs而言,該選項是無效的,理由見下文

?

diratime

nodiratime

是否修改目錄atime,對于nfs而言,該掛載選項是無效的,理由見下文

?

remount

重新掛載

?

以下是針對nfs文件系統的掛載選項。其中沒有給出關于緩存選項(ac/noac、cto/nocto、lookupcache)的說明,它們可以直接采用默認值,如果想要了解緩存相關內容,可以查看man nfs。

選項

功能

默認值

fg/bg

掛載失敗后mount命令的行為。默認為fg,表示掛載失敗時將直接報錯退出,如果是bg,

掛載失敗后會創建一個子進程不斷在后臺掛載,而父進程mount自身則立即退出并返回0狀態碼。

fg

timeo

NFS客戶端等待下一次重發NFS請求的時間間隔,單位為十分之一秒。

基于TCP的NFS的默認timeo的值為600(60秒)。

?

hard/soft

決定NFS客戶端當NFS請求超時時的恢復行為方式。如果是hard,將無限重新發送NFS請求。

例如在客戶端使用df -h查看文件系統時就會不斷等待。

設置soft,當retrans次數耗盡時,NFS客戶端將認為NFS請求失敗,從而使得NFS客戶端

返回一個錯誤給調用它的程序。

hard

retrans

NFS客戶端最多發送的請求次數,次數耗盡后將報錯表示連接失敗。如果hard掛載選項生效,

則會進一步嘗試恢復連接。

3

rsize

wsize

一次讀出(rsize)和寫入(wsize)的區塊大小。如果網絡帶寬大,這兩個值設置大一點能提升傳

輸能力。最好設置到帶寬的臨界值。

單位為字節,大小只能為1024的倍數,且最大只能設置為1M。

?

注意三點:

(1).所謂的soft在特定的環境下超時后會導致靜態數據中斷。因此,僅當客戶端響應速度比數據完整性更重要時才使用soft選項使用基于TCP的NFS(除非顯示指定使用UDP,否則現在總是默認使用TCP)或增加retrans重試次數可以降低使用soft選項帶來的風險。

如果真的出現NFS服務端下線,導致NFS客戶端無限等待的情況,可以強制將NFS文件系統卸載,卸載方法:

umount -f -l MOUNT_POINT

其中"-f"是強制卸載,"-l"是lazy umount,表示將該文件系統從當前目錄樹中剝離,讓所有對該文件系統內的文件引用都強制失效。對于丟失了NFS服務端的文件系統,卸載時"-l"選項是必須的。

(2).由于nfs的客戶端掛載后會緩存文件的屬性信息,其中包括各種文件時間戳,所以mount指定時間相關的掛載選項是沒有意義的,它們不會有任何效果,包括atime/noatime,diratime/nodiratime,relatime/norelatime以及strictatime/nostrictatime等。具體可見man nfs中"DATA AND METADATA COHERENCE"段的"File timestamp maintainence"說明,或者見本文末尾的翻譯。

(3).如果是要開機掛載NFS文件系統,方式自然是寫入到/etc/fstab文件或將mount命令放入rc.local文件中。如果是將/etc/fstab中,那么在系統環境初始化(exec /etc/rc.d/rc.sysinit)的時候會加載fstab中的內容,如果掛載fstab中的文件系統出錯,則會導致系統環境初始化失敗,結果是系統開機失敗。所以,要開機掛載nfs文件系統,則需要在/etc/fstab中加入一個掛載選項"_rnetdev"或"_netdev"(centos 7中已經沒有"_rnetdev"),防止無法聯系nfs服務端時導致開機啟動失敗。例如:

172.16.10.5:/www??? /mnt ???nfs??? defaults,_rnetdev??? 0??? 0

當導出目錄后,將在/var/lib/nfs/etab文件中寫入一條對應的導出記錄,這是nfs維護的導出表,該表的內容會交給rpc.mountd進程,并在必要的時候(mountd接受到客戶端的mount請求時),將此導出表中的內容加載到內核中,內核也單獨維護一張導出表。

1.4.3 nfs偽文件系統

服務端導出/vol/vol0、/vol/vol2和/backup/archive后,其中vol0和vol1是連在一個目錄下的,但它們和archive目錄沒有連在一起,nfs采用偽文件系統的方式來橋接這些不連接的導出目錄。橋接的方式是創建那些未導出的連接目錄,如偽vol目錄,偽backup目錄以及頂級的偽根,如下圖所示。

當客戶端掛載后,每次訪問導出目錄時,其實都是通過找到偽文件系統(文件系統都有id,在nfs上偽文件系統的id稱為fsid)并定位到導出目錄的。

1.5 showmount命令

使用showmount命令可以查看某一臺主機的導出目錄情況。因為涉及到rpc請求,所以如果rpc出問題,showmount一樣會傻傻地等待。

主要有3個選項。

showmount [ -ade] host -a:以host:dir格式列出客戶端名稱/IP以及所掛載的目錄。但注意該選項是讀取NFS服務端/var/lib/nfs/rmtab文件,:而該文件很多時候并不準確,所以showmount -a的輸出信息很可能并非準確無誤的 -e:顯示NFS服務端所有導出列表。 -d:僅列出已被客戶端掛載的導出目錄。

另外showmount的結果是排序過的,所以和實際的導出目錄順序可能并不一致。

例如:

[root@xuexi ~]# showmount -e 172.16.10.5 Export list for 172.16.10.5: /backup/archive * /vol/vol2 * /vol/vol0 * /www 172.16.10.4 [root@xuexi ~]# showmount -d 172.16.10.5 Directories on 172.16.10.5: /backup/archive /vol/vol0 /vol/vol2

1.6 nfs身份映射

NFS的目的是導出目錄給各客戶端,因此導出目錄中的文件在服務端和客戶端上必然有兩套屬性、權限集。

例如,服務端導出目錄中某a文件的所有者和所屬組都為A,但在客戶端上不存在A,那么在客戶端上如何顯示a文件的所有者等屬性。再例如,在客戶端上,以用戶B在導出目錄中創建了一個文件b,如果服務端上沒有用戶B,在服務端上該如何決定文件b的所有者等屬性。

所以,NFS采用uid/gid <==> username/groupname映射的方式解決客戶端和服務端兩套屬性問題。由于服務端只能控制它自己一端的身份映射,所以客戶端也同樣需要身份映射組件。也就是說,服務端和客戶端兩端都需要對導出的所有文件的所有者和所屬組進行映射。

但要注意,服務端的身份映射組件為rpc.idmapd,它以守護進程方式工作。而客戶端使用nfsidmap工具進行身份映射。

服務端映射時以uid/gid為基準,意味著客戶端以身份B(假設對應uid=Xb,gid=Yb)創建的文件或修改了文件的所有者屬性時,在服務端將從/etc/passwd(此處不考慮其他用戶驗證方式)文件中搜索uid=Xb,gid=Yb的用戶,如果能搜索到,則設置該文件的所有者和所屬組為此uid/gid對應的username/groupname,如果搜索不到,則文件所有者和所屬組直接顯示為uid/gid的值。

客戶端映射時以username/groupname為基準,意味著服務端上文件所有者為A時,則在客戶端上搜索A用戶名,如果搜索到,則文件所有者顯示為A,否則都將顯示為nobody。注意,客戶端不涉及任何uid/gid轉換翻譯過程,即使客戶端上A用戶的uid和服務端上A用戶的uid不同,也仍顯示為用戶A。也就是說,客戶端上文件所有者只有兩種結果,要么和服務端用戶同名,要么顯示為nobody。

因此考慮一種特殊情況,客戶端上以用戶B(其uid=B1)創建文件,假如服務端上沒有uid=B1的用戶,那么創建文件時提交給服務端后,在服務端上該文件所有者將顯示為B1(注意它是一個數值)。再返回到客戶端上看,客戶端映射時只簡單映射username,不涉及uid的轉換,因此它認為該文件的所有者為B1(不是uid,而是username),但客戶端上必然沒有用戶名為B1的用戶(盡管有uid=B1對應的用戶B),因此在客戶端,此文件所有者將詭異地將顯示為nobody,其詭異之處在于,客戶端上以身份B創建的文件,結果在客戶端上卻顯示為nobody。

綜上考慮,強烈建議客戶端和服務端的用戶身份要統一,且盡量讓各uid、gid能對應上。

1.7 使用exportfs命令導出目錄

除了啟動nfs服務加載配置文件/etc/exports來導出目錄,使用exportfs命令也可以直接導出目錄,它無需加載配置文件/etc/exports,當然exportfs也可以加載/etc/exports文件來導出目錄。實際上,nfs服務啟動腳本中就是使用exportfs命令來導出/etc/exports中內容的。

例如,CentOS 6上/etc/init.d/nfs文件中,導出和卸載導出目錄的命令為:

[root@xuexi ~]# grep exportfs /etc/init.d/nfs [ -x /usr/sbin/exportfs ] || exit 5action $"Starting NFS services: " /usr/sbin/exportfs -rcnt=`/usr/sbin/exportfs -v | /usr/bin/wc -l` action $"Shutting down NFS services: " /usr/sbin/exportfs -au/usr/sbin/exportfs -r

在CentOS 7上則如下:

[root@xuexi ~]# grep exportfs /usr/lib/systemd/system/nfs.service ExecStartPre=-/usr/sbin/exportfs -r ExecStopPost=/usr/sbin/exportfs -au ExecStopPost=/usr/sbin/exportfs -f ExecReload=-/usr/sbin/exportfs -r

當然,無論如何,nfsd等守護進程是必須已經運行好的。

以下是CentOS 7上exportfs命令的用法。注意, CentOS 7比CentOS 6多一些選項。

-a 導出或卸載所有目錄。 -o options,...指定一系列導出選項(如rw,async,root_squash),這些導出選項在exports(5)的man文檔中有記錄。 -i 忽略/etc/exports和/etc/exports.d目錄下文件。此時只有命令行中給定選項和默認選項會生效。 -r 重新導出所有目錄,并同步修改/var/lib/nfs/etab文件中關于/etc/exports和/etc/exports.d/*.exports的信息(即還會重新導出/etc/exports和/etc/exports.d/*等導出配置文件中的項)。該選項會移除/var/lib/nfs/etab中已經被刪除和無效的導出項。 -u 卸載(即不再導出)一個或多個導出目錄。 -f 如果/prof/fs/nfsd或/proc/fs/nfs已被掛載,即工作在新模式下,該選項將清空內核中導出表中的所有導出項。客戶端下一次請求掛載導出項時會通過rpc.mountd將其添加到內核的導出表中。 -v 輸出詳細信息。 -s 顯示適用于/etc/exports的當前導出目錄列表。

例如:

(1).導出/www目錄給客戶端172.16.10.6。

exportfs 172.16.10.6:/www

(2).導出/www目錄給所有人,并指定導出選項。

exportfs :/www -o rw,no_root_squash

(3).導出exports文件中的內容。

exportfs -a

(4).重新導出所有已導出的目錄。包括exports文件中和exportfs單獨導出的目錄。

exportfs -ar

(5).卸載所有已導出的目錄,包括exports文件中的內容和exportfs單獨導出的內容。即其本質為清空內核維護的導出表。

exportfs -au

(6).只卸載某一個導出目錄。

exportfs -u 172.16.10.6:/www

1.8 RPC的調試工具rpcdebug

在很多時候NFS客戶端或者服務端出現異常,例如連接不上、鎖狀態丟失、連接非常慢等等問題,都可以對NFS進行調試來發現問題出在哪個環節。NFS有不少進程都可以直接支持調試選項,但最直接的調試方式是調試rpc,因為NFS的每個請求和響應都會經過RPC去封裝。但顯然,調試RPC比直接調試NFS時更難分析出問題所在。以下只介紹如何調試RPC。

rpc單獨提供一個調試工具rpcdebug。

[root@xuexi ~]# rpcdebug -vh usage: rpcdebug [-v] [-h] [-m module] [-s flags...|-c flags...]set or cancel debug flags.Module Valid flags rpc xprt call debug nfs auth bind sched trans svcsock svcdsp misc cache all nfs vfs dircache lookupcache pagecache proc xdr file root callback client mount fscache pnfs pnfs_ld state all nfsd sock fh export svc proc fileop auth repcache xdr lockd all nlm svc client clntlock svclock monitor clntsubs svcsubs hostcache xdr all

其中:

-v:顯示更詳細信息 -h:顯示幫助信息 -m:指定調試模塊,有rpc/nfs/nfsd/nlm共4個模塊可調試。:顧名思義,調試rpc模塊就是直接調試rpc的問題,將記錄rpc相關的日志信息;:調試nfs是調試nfs客戶端的問題,將記錄nfs客戶端隨之產生的日志信息;:nfsd是調試nfs服務端問題,將記錄nfsd隨之產生的日志信息;:nlm是調試nfs鎖管理器相關問題,將只記錄鎖相關信息 -s:指定調試的修飾符,每個模塊都有不同的修飾符,見上面的usage中"Valid flags"列的信息 -c:清除或清空已設置的調試flage

例如設置調試nfs客戶端的信息。

rpcdebug -m nfs -s all

當有信息出現時,將記錄到syslog中。例如以下是客戶端掛載nfs導出目錄產生的信息,存放在/var/log/messages中,非常多,所以排解問題時需要有耐心。

Jul 29 11:24:04 xuexi kernel: NFS: nfs mount opts='vers=4,addr=172.16.10.9,clientaddr=172.16.10.3' Jul 29 11:24:04 xuexi kernel: NFS: parsing nfs mount option 'vers=4' Jul 29 11:24:04 xuexi kernel: NFS: parsing nfs mount option 'addr=172.16.10.9' Jul 29 11:24:04 xuexi kernel: NFS: parsing nfs mount option 'clientaddr=172.16.10.3' Jul 29 11:24:04 xuexi kernel: NFS: MNTPATH: '/tmp/testdir' Jul 29 11:24:04 xuexi kernel: --> nfs4_try_mount() Jul 29 11:24:04 xuexi kernel: --> nfs4_create_server() Jul 29 11:24:04 xuexi kernel: --> nfs4_init_server() Jul 29 11:24:04 xuexi kernel: --> nfs4_set_client() Jul 29 11:24:04 xuexi kernel: --> nfs_get_client(172.16.10.9,v4) Jul 29 11:24:04 xuexi kernel: NFS: get client cookie (0xffff88004c561800/0xffff8800364cd2c0) Jul 29 11:24:04 xuexi kernel: nfs_create_rpc_client: cannot create RPC client. Error = -22 Jul 29 11:24:04 xuexi kernel: --> nfs4_realloc_slot_table: max_reqs=1024, tbl->max_slots 0 Jul 29 11:24:04 xuexi kernel: nfs4_realloc_slot_table: tbl=ffff88004b715c00 slots=ffff880063f32280 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_realloc_slot_table: return 0 Jul 29 11:24:04 xuexi kernel: NFS: nfs4_discover_server_trunking: testing '172.16.10.9' Jul 29 11:24:04 xuexi kernel: NFS call setclientid auth=UNIX, 'Linux NFSv4.0 172.16.10.3/172.16.10.9 tcp' Jul 29 11:24:04 xuexi kernel: NFS reply setclientid: 0 Jul 29 11:24:04 xuexi kernel: NFS call setclientid_confirm auth=UNIX, (client ID 578d865901000000) Jul 29 11:24:04 xuexi kernel: NFS reply setclientid_confirm: 0 Jul 29 11:24:04 xuexi kernel: NFS: <-- nfs40_walk_client_list using nfs_client = ffff88004c561800 ({2}) Jul 29 11:24:04 xuexi kernel: NFS: <-- nfs40_walk_client_list status = 0 Jul 29 11:24:04 xuexi kernel: nfs4_schedule_state_renewal: requeueing work. Lease period = 5 Jul 29 11:24:04 xuexi kernel: NFS: nfs4_discover_server_trunking: status = 0 Jul 29 11:24:04 xuexi kernel: --> nfs_put_client({2}) Jul 29 11:24:04 xuexi kernel: <-- nfs4_set_client() = 0 [new ffff88004c561800] Jul 29 11:24:04 xuexi kernel: <-- nfs4_init_server() = 0 Jul 29 11:24:04 xuexi kernel: --> nfs4_get_rootfh() Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=040000 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=4651240235397459983 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0x0/0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=2 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=0555 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=23 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=1501990255 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501989952 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501989952 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=1 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_supported: bitmask=fdffbfff:00f9be3e:00000000 Jul 29 11:24:04 xuexi kernel: decode_attr_fh_expire_type: expire type=0x0 Jul 29 11:24:04 xuexi kernel: decode_attr_link_support: link support=true Jul 29 11:24:04 xuexi kernel: decode_attr_symlink_support: symlink support=true Jul 29 11:24:04 xuexi kernel: decode_attr_aclsupport: ACLs supported=3 Jul 29 11:24:04 xuexi kernel: decode_server_caps: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_lease_time: file size=90 Jul 29 11:24:04 xuexi kernel: decode_attr_maxfilesize: maxfilesize=18446744073709551615 Jul 29 11:24:04 xuexi kernel: decode_attr_maxread: maxread=131072 Jul 29 11:24:04 xuexi kernel: decode_attr_maxwrite: maxwrite=131072 Jul 29 11:24:04 xuexi kernel: decode_attr_time_delta: time_delta=1 0 Jul 29 11:24:04 xuexi kernel: decode_attr_pnfstype: bitmap is 0 Jul 29 11:24:04 xuexi kernel: decode_attr_layout_blksize: bitmap is 0 Jul 29 11:24:04 xuexi kernel: decode_fsinfo: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: <-- nfs4_get_rootfh() = 0 Jul 29 11:24:04 xuexi kernel: Server FSID: 0:0 Jul 29 11:24:04 xuexi kernel: Pseudo-fs root FH at ffff880064c4ad80 is 8 bytes, crc: 0x62d40c52: Jul 29 11:24:04 xuexi kernel: 01000100 00000000 Jul 29 11:24:04 xuexi kernel: --> nfs_probe_fsinfo() Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_supported: bitmask=fdffbfff:00f9be3e:00000000 Jul 29 11:24:04 xuexi kernel: decode_attr_fh_expire_type: expire type=0x0 Jul 29 11:24:04 xuexi kernel: decode_attr_link_support: link support=true Jul 29 11:24:04 xuexi kernel: decode_attr_symlink_support: symlink support=true Jul 29 11:24:04 xuexi kernel: decode_attr_aclsupport: ACLs supported=3 Jul 29 11:24:04 xuexi kernel: decode_server_caps: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_lease_time: file size=90 Jul 29 11:24:04 xuexi kernel: decode_attr_maxfilesize: maxfilesize=18446744073709551615 Jul 29 11:24:04 xuexi kernel: decode_attr_maxread: maxread=131072 Jul 29 11:24:04 xuexi kernel: decode_attr_maxwrite: maxwrite=131072 Jul 29 11:24:04 xuexi kernel: decode_attr_time_delta: time_delta=1 0 Jul 29 11:24:04 xuexi kernel: decode_attr_pnfstype: bitmap is 0 Jul 29 11:24:04 xuexi kernel: decode_attr_layout_blksize: bitmap is 0 Jul 29 11:24:04 xuexi kernel: decode_fsinfo: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: set_pnfs_layoutdriver: Using NFSv4 I/O Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_maxlink: maxlink=255 Jul 29 11:24:04 xuexi kernel: decode_attr_maxname: maxname=255 Jul 29 11:24:04 xuexi kernel: decode_pathconf: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: <-- nfs_probe_fsinfo() = 0 Jul 29 11:24:04 xuexi kernel: <-- nfs4_create_server() = ffff88007746a800 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_supported: bitmask=fdffbfff:00f9be3e:00000000 Jul 29 11:24:04 xuexi kernel: decode_attr_fh_expire_type: expire type=0x0 Jul 29 11:24:04 xuexi kernel: decode_attr_link_support: link support=true Jul 29 11:24:04 xuexi kernel: decode_attr_symlink_support: symlink support=true Jul 29 11:24:04 xuexi kernel: decode_attr_aclsupport: ACLs supported=3 Jul 29 11:24:04 xuexi kernel: decode_server_caps: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=040000 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=4651240235397459983 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0x0/0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=2 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=0555 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=23 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=1501990255 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501989952 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501989952 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=1 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS: nfs_fhget(0:38/2 fh_crc=0x62d40c52 ct=1) Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=00 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=4651240235397459983 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0x0/0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=00 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=1 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=-2 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=-2 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=0 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=0 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501989952 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501989952 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS: nfs_update_inode(0:38/2 fh_crc=0x62d40c52 ct=2 info=0x26040) Jul 29 11:24:04 xuexi kernel: NFS: permission(0:38/2), mask=0x1, res=0 Jul 29 11:24:04 xuexi kernel: NFS: permission(0:38/2), mask=0x81, res=0 Jul 29 11:24:04 xuexi kernel: NFS: lookup(/tmp) Jul 29 11:24:04 xuexi kernel: NFS call lookup tmp Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=040000 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=16540743250786234113 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0xf199fcb4fb064bf5/0xa1b7a15af0f7cb47) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=391681 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=01777 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=5 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=1501990260 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=391681 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS reply lookup: 0 Jul 29 11:24:04 xuexi kernel: NFS: nfs_fhget(0:38/391681 fh_crc=0xb4775a3f ct=1) Jul 29 11:24:04 xuexi kernel: --> nfs_d_automount() Jul 29 11:24:04 xuexi kernel: nfs_d_automount: enter Jul 29 11:24:04 xuexi kernel: NFS call lookup tmp Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=040000 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=16540743250786234113 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0xf199fcb4fb064bf5/0xa1b7a15af0f7cb47) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=391681 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=01777 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=5 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=1501990260 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=391681 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS reply lookup: 0 Jul 29 11:24:04 xuexi kernel: --> nfs_do_submount() Jul 29 11:24:04 xuexi kernel: nfs_do_submount: submounting on /tmp Jul 29 11:24:04 xuexi kernel: --> nfs_xdev_mount() Jul 29 11:24:04 xuexi kernel: --> nfs_clone_server(,f199fcb4fb064bf5:a1b7a15af0f7cb47,) Jul 29 11:24:04 xuexi kernel: --> nfs_probe_fsinfo() Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_supported: bitmask=fdffbfff:00f9be3e:00000000 Jul 29 11:24:04 xuexi kernel: decode_attr_fh_expire_type: expire type=0x0 Jul 29 11:24:04 xuexi kernel: decode_attr_link_support: link support=true Jul 29 11:24:04 xuexi kernel: decode_attr_symlink_support: symlink support=true Jul 29 11:24:04 xuexi kernel: decode_attr_aclsupport: ACLs supported=3 Jul 29 11:24:04 xuexi kernel: decode_server_caps: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_lease_time: file size=90 Jul 29 11:24:04 xuexi kernel: decode_attr_maxfilesize: maxfilesize=18446744073709551615 Jul 29 11:24:04 xuexi kernel: decode_attr_maxread: maxread=131072 Jul 29 11:24:04 xuexi kernel: decode_attr_maxwrite: maxwrite=131072 Jul 29 11:24:04 xuexi kernel: decode_attr_time_delta: time_delta=1 0 Jul 29 11:24:04 xuexi kernel: decode_attr_pnfstype: bitmap is 0 Jul 29 11:24:04 xuexi kernel: decode_attr_layout_blksize: bitmap is 0 Jul 29 11:24:04 xuexi kernel: decode_fsinfo: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: set_pnfs_layoutdriver: Using NFSv4 I/O Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_maxlink: maxlink=255 Jul 29 11:24:04 xuexi kernel: decode_attr_maxname: maxname=255 Jul 29 11:24:04 xuexi kernel: decode_pathconf: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: <-- nfs_probe_fsinfo() = 0 Jul 29 11:24:04 xuexi kernel: Cloned FSID: f199fcb4fb064bf5:a1b7a15af0f7cb47 Jul 29 11:24:04 xuexi kernel: <-- nfs_clone_server() = ffff88006f407000 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_supported: bitmask=fdffbfff:00f9be3e:00000000 Jul 29 11:24:04 xuexi kernel: decode_attr_fh_expire_type: expire type=0x0 Jul 29 11:24:04 xuexi kernel: decode_attr_link_support: link support=true Jul 29 11:24:04 xuexi kernel: decode_attr_symlink_support: symlink support=true Jul 29 11:24:04 xuexi kernel: decode_attr_aclsupport: ACLs supported=3 Jul 29 11:24:04 xuexi kernel: decode_server_caps: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=040000 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=16540743250786234113 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0xf199fcb4fb064bf5/0xa1b7a15af0f7cb47) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=391681 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=01777 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=5 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=1501990260 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=391681 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS: nfs_fhget(0:40/391681 fh_crc=0xb4775a3f ct=1) Jul 29 11:24:04 xuexi kernel: <-- nfs_xdev_mount() = 0 Jul 29 11:24:04 xuexi kernel: nfs_do_submount: done Jul 29 11:24:04 xuexi kernel: <-- nfs_do_submount() = ffff880064fdfb20 Jul 29 11:24:04 xuexi kernel: nfs_d_automount: done, success Jul 29 11:24:04 xuexi kernel: <-- nfs_d_automount() = ffff880064fdfb20 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=00 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=16540743250786234113 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0x0/0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=00 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=1 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=-2 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=-2 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=0 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=0 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS: nfs_update_inode(0:40/391681 fh_crc=0xb4775a3f ct=2 info=0x26040) Jul 29 11:24:04 xuexi kernel: NFS: permission(0:40/391681), mask=0x1, res=0 Jul 29 11:24:04 xuexi kernel: NFS: lookup(/testdir) Jul 29 11:24:04 xuexi kernel: NFS call lookup testdir Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=040000 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=7393570666420598027 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0xf199fcb4fb064bf5/0xa1b7a15af0f7cb47) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=391682 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=0754 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=3 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=1501990266 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1497209702 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1496802409 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=391682 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS reply lookup: 0 Jul 29 11:24:04 xuexi kernel: NFS: nfs_fhget(0:40/391682 fh_crc=0xec69f317 ct=1) Jul 29 11:24:04 xuexi kernel: NFS: dentry_delete(/tmp, 202008c) Jul 29 11:24:04 xuexi kernel: NFS: clear cookie (0xffff88005eaf4620/0x (null)) Jul 29 11:24:04 xuexi kernel: NFS: clear cookie (0xffff88005eaf4a40/0x (null)) Jul 29 11:24:04 xuexi kernel: NFS: releasing superblock cookie (0xffff88007746a800/0x (null)) Jul 29 11:24:04 xuexi kernel: --> nfs_free_server() Jul 29 11:24:04 xuexi kernel: --> nfs_put_client({2}) Jul 29 11:24:04 xuexi kernel: <-- nfs_free_server() Jul 29 11:24:04 xuexi kernel: <-- nfs4_try_mount() = 0

1.9 深入NFS的方向

本文僅簡單介紹了一些NFS的基本使用方法,但NFS自身其實是很復雜的,想深入也不是一件簡單的事。例如,以下列出了幾個NFS在實現上應該要解決的問題。

(1).多臺客戶端掛載同一個導出的目錄后,要同時編輯其中同一個文件時,應該如何處理?這是共享文件更新問題,通用的解決方法是使用文件鎖。

(2).客戶端上對文件內容做出修改后是否要立即同步到服務端上?這是共享文件的數據緩存問題,體現的方式是文件數據是否要在各客戶端上保證一致性。和第一個問題結合起來,就是分布式(集群)文件數據一致性問題。

(3).客戶端或服務端進行了重啟,或者它們出現了故障,亦或者它們之間的網絡出現故障后,它們的對端如何知道它已經出現了故障?這是故障通知或重啟通知問題。

(4).出現故障后,正常重啟成功了,那么如何恢復到故障前狀態?這是故障恢復問題。

(5).如果服務端故障后一直無法恢復,客戶端是否能自動故障轉移到另一臺正常工作的NFS服務節點?這是高可用問題。(NFS版本4(后文將簡寫為NFSv4)可以從自身實現故障轉移,當然使用高可用工具如heartbeat也一樣能實現)

總結起來就幾個關鍵詞:鎖、緩存、數據和緩存一致性、通知和故障恢復。從這些關鍵字中,很自然地會聯想到了集群和分布式文件系統,其實NFS也是一種簡易的分布式文件系統,但沒有像集群或分布式文件系統那樣實現幾乎完美的鎖、緩存一致性等功能。而且NFSv4為了體現其特點和性能,在一些通用問題上采用了與集群、分布式文件系統不同的方式,如使用了文件委托(服務端將文件委托給客戶端,由此實現類似鎖的功能)、鎖或委托的租約等(就像DHCP的IP租約一樣,在租約期內,鎖和委托以及緩存是有效的,租約過期后這些內容都無效)。

由此知,深入NFS其實就是在深入分布式文件系統,由于網上對NFS深入介紹的文章幾乎沒有,所以想深入它并非一件簡單的事。如果有深入學習的想法,可以閱讀NFSv4的RFC3530文檔的前9章以及RCP的RFC文檔。以下是本人的一些man文檔翻譯。

?

翻譯:man rpcbind(rpcbind中文手冊) 翻譯:man nfsd(rpc.nfsd中文手冊) 翻譯:man mountd(rpc.mountd中文手冊) 翻譯:man statd(rpc.statd中文手冊) 翻譯:man sm-notify(sm-notify命令中文手冊) 翻譯:man exportfs(exportfs命令中文手冊)

以下是man nfs中關于傳輸方法和緩存相關內容的翻譯。

TRANSPORT METHODSNFS客戶端是通過RPC向NFS服務端發送請求的。RPC客戶端會自動發現遠程服務端點,處理每請求(per-request)的身份驗證,調整當客戶端和服務端之間出現不同字節字節序(byte endianness)時的請求參數,并且當請求在網絡上丟失或被服務端丟棄時重傳請求。rpc請求和響應數據包是通過網絡傳輸的。在大多數情形下,mount(8)命令、NFS客戶端和NFS服務端可以為掛載點自動協商合適的傳輸方式以及數據傳輸時的大小。但在某些情況下,需要使用mount選項顯式指定這些設置。對于的傳統NFS,NFS客戶端只使用UDP傳輸請求給服務端。盡管實現方式很簡單,但基于UDP的NFS有許多限制,在一些通用部署環境下,這些限制項會限制平滑運行的能力,還會限制性能。即使是UDP丟包率極小的情況,也將導致整個NFS請求丟失;因此,重傳的超時時間一般都是亞秒級的,這樣可以讓客戶端從請求丟失中快速恢復,但即使如此,這可能會導致無關的網絡阻塞以及服務端負載加重。但是在專門設置了網絡MTU值是相對于NFS的輸出傳輸大小時(例如在網絡環境下啟用了巨型以太網幀)(注:相對的意思,例如它們成比例關系),UDP是非常高效的。在這種環境下,建議修剪rsize和wsize,以便讓每個NFS的讀或寫請求都能容納在幾個網絡幀(甚至單個幀)中。這會降低由于單個MTU大小的網絡幀丟失而導致整個讀或寫請求丟失的概率。(譯者注:UDP是NFSv2和NFSv3所支持的,NFSv4使用TCP,所以以上兩段不用考慮)現代NFS都默認采用TCP傳輸協議。在幾乎所有可想到的網絡環境下,TCP都表現良好,且提供了非常好的保證,防止因為網絡不可靠而引起數據損壞。但使用TCP傳輸協議,基本上都會考慮設置相關防火墻。在正常環境下,網絡丟包的頻率比NFS服務丟包的頻率要高的多。因此,沒有必要為基于TCP的NFS設置極短的重傳超時時間。一般基于TCP的NFS的超時時間設置在1分鐘和10分鐘之間。當客戶端耗盡了重傳次數(選項retrans的值),它將假定發生了網絡分裂,并嘗試以新的套接字重新連接服務端。由于TCP自身使得網絡傳輸的數據是可靠的,所以,可以安全地使用處在默認值和客戶端服務端同時支持的最大值之間的rszie和wsize,而不再依賴于網絡MTU大小。DATA AND METADATA COHERENCE現在有些集群文件系統為客戶端之間提供了非常完美的緩存一致性功能,但對于NFS客戶端來說,實現完美的緩存一致性是非常昂貴的,特別是大型局域網絡環境。因此,NFS提供了稍微薄弱一點的緩存一致性功能,以滿足大多數文件共享需求。Close-to-open cache consistency一般情況下,文件共享是完全序列化的。首先客戶端A打開一個文件,寫入一些數據,然后關閉文件然后客戶端B打開同一個文件,并讀取到這些修改后的數據。當應用程序打開一個存儲在NFSv3服務端上的文件時,NFS客戶端檢查文件在服務端上是否存在,并通過是否發送GETATTR或ACCESS請求判斷文件是否允許被打開。NFS客戶端發送這些請求時,不會考慮已緩存文件屬性是否是新鮮有效的。當應用程序關閉文件,NFS客戶端立即將已做的修改寫入到文件中,以便下一個打開者可以看到所做的改變。這也給了NFS客戶端一個機會,使得它可以通過文件關閉時的返回狀態碼向應用程序報告錯誤。在打開文件時以及關閉文件刷入數據時的檢查行為被稱為close-to-open緩存一致性,或簡稱為CTO。可以通過使用nocto選項來禁用整個掛載點的CTO。(譯者注:NFS關閉文件時,客戶端會將所做的修改刷入到文件中,然后發送GETATTR請求以確保該文件的屬性緩存已被更新。之后其他的打開者打開文件時會發送GETATTR請求,根據文件的屬性緩存可以判斷文件是否被打開并做了修改。這可以避免緩存無效)Weak cache consistency客戶端的數據緩存仍有幾乎包含過期數據。NFSv3協議引入了"weak cache consistency"(WCC),它提供了一種在單個文件被請求之前和之后有效地檢查文件屬性的方式。這有助于客戶端識別出由其他客戶端對此文件做出的改變。當某客戶端使用了并發操作,使得同一文件在同一時間做出了多次更新(例如,后臺異步寫入),它仍將難以判斷是該客戶端的更新操作修改了此文件還是其他客戶端的更新操作修改了文件。Attribute caching使用noac掛載選項可以讓多客戶端之間實現屬性緩存一致性。幾乎每個文件系統的操作都會檢查文件的屬性信息。客戶端自身會保留屬性緩存一段時間以減少網絡和服務端的負載。當noac生效時,客戶端的文件屬性緩存就會被禁用,因此每個會檢查文件屬性的操作都被強制返回到服務端上來操作文件,這表示客戶端以犧牲網絡資源為代價來快速查看文件發生的變化。不要混淆noac選項和"no data caching"。noac掛載選項阻止客戶端緩存文件的元數據,但仍然可能會緩存非元數據的其他數據。NFS協議設計的目的不是為了支持真正完美的集群文件系統緩存一致性。如果要達到客戶端之間緩存數據的絕對一致,那么應該使用文件鎖的方式。File timestamp maintainenceNFS服務端負責管理文件和目錄的時間戳(atime,ctime,mtime)。當服務端文件被訪問或被更新,文件的時間戳也會像本地文件系統那樣改變。NFS客戶端緩存的文件屬性中包括了時間戳屬性。當NFS客戶端檢索NFS服務端文件屬性時,客戶端文件的時間戳會更新。因此,在NFS服務端的時間戳更新后顯示在NFS客戶端之前可能會有一些延遲。為了遵守POSIX文件系統標準,Linux NFS客戶端需要依賴于NFS服務端來保持文件的mtime和ctime時間戳最新狀態。實現方式是先讓客戶端將改變的數據刷入到服務端,然后再輸出文件的mtime。然而,Linux客戶端可以很輕松地處理atime的更新。NFS客戶端可以通過緩存數據來保持良好的性能,但這意味著客戶端應用程序讀取文件(會更新atime)時,不會反映到服務端,但實際上服務端的atime已經修改了。由于文件屬性緩存行為,Linux NFS客戶端mount時不支持一般的atime相關的掛載選項。特別是mount時指定了atime/noatime,diratime/nodiratime,relatime/norelatime以及strictatime/nostrictatime掛載選項,實際上它們沒有任何效果。Directory entry cachingLinux NFS客戶端緩存所有NFS LOOKUP請求的結果。如果所請求目錄項在服務端上存在,則查詢的結果稱為正查詢結果。如果請求的目錄在服務端上不存在(服務端將返回ENOENT),則查詢的結果稱為負查詢結果。為了探測目錄項是否添加到NFS服務端或從其上移除了,Linux NFS客戶端會監控目錄的mtime。如果客戶端監測到目錄的mtime發生了改變,客戶端將丟棄該目錄相關的所有LOOKUP緩存結果。由于目錄的mtime是一種緩存屬性,因此服務端目錄mtime發生改變后,客戶端可能需要等一段時間才能監測到它的改變。緩存目錄提高了不與其他客戶端上的應用程序共享文件的應用程序的性能。但使用目錄緩存可能會干擾在多個客戶端上同時運行的應用程序,并且需要快速檢測文件的創建或刪除。lookupcache掛載選項允許對目錄緩存行為進行一些調整。如果客戶端禁用目錄緩存,則每次LOOKUP操作都需要與服務端進行驗證,那么該客戶端可以立即探測到其他客戶端創建或刪除的目錄。可以使用lookupcache=none來禁用目錄緩存。如果禁用了目錄緩存,由于需要額外的NFS請求,這會損失一些性能,但禁用目錄緩存比使用noac損失的性能要少,且對NFS客戶端緩存文件屬性沒有任何影響。The sync mount optionNFS客戶端對待sync掛載選項的方式和掛載其他文件系統不同。如果即不指定sync也不指定async,則默認為async。async表示異步寫入,除了發生下面幾種特殊情況,NFS客戶端會延遲發送寫操作到服務端:● 內存壓力迫使回收系統內存資源。● 客戶端應用程序顯式使用了sync類的系統調用,如sync(2),msync(2)或fsync(3)。● 關閉文件時。● 文件被鎖/解鎖。換句話說,在正常環境下,應用程序寫的數據不會立即保存到服務端。(當然,關閉文件時是立即同步的)如果在掛載點上指定sync選項,任何將數據寫入掛載點上文件的系統調用都會先把數據刷到服務端上,然后系統調用才把控制權返回給用戶空間。這提供了客戶端之間更好的數據緩存一致性,但消耗了大量性能。在未使用sync掛載選項時,應用程序可以使用O_SYNC修飾符強制立即把單個文件的數據刷入到服務端。Using file locks with NFS網絡鎖管理器(Network Lock Manager,NLM)協議是一個獨立的協議,用于管理NFSv2和NFSv3的文件鎖。為了讓客戶端或服務端在重啟后能恢復鎖,需要使用另一個網絡狀態管理器(Network Status Manager,NSM)協議。在NFSv4中,NFS直協議自身接支持文件鎖相關功能,所以NLM和NSM就不再使用了。在大多數情況下,NLM和NSM服務是自動啟動的,并且不需要額外的任何配置。但需要配置NFS客戶端使用的是fqdn名稱,以保證NFS服務端可以找到客戶端并通知它們服務端的重啟動作。NLS僅支持advisory文件鎖。要鎖定NFS文件,可以使用待F_GETLK和F_SETLK的fcntl(2)命令。NFS客戶端會轉換通過flock(2)獲取到的鎖為advisory文件鎖。當服務端不支持NLM協議,或者當NFS服務端是通過防火墻但阻塞了NLM服務端口時,則需要指定nolock掛載選項。當客戶端掛載導出的/var目錄時,必須使用nolock禁用NLM鎖,因為/var目錄中包含了NLM鎖相關的信息。(注,因為NLM僅在nfsv2和nfsv3中支持,所以NFSv4不支持nolock選項)當僅有一個客戶端時,使用nolock選項可以提高一定的性能。NFS version 4 caching featuresNFSv4上的數據和元數據緩存行為和之前的版本相似。但是NFSv4添加了兩種特性來提升緩存行為:change attributes以及delegation。(注:nfsv4中取消了weak cache consistency)change attribute是一種新的被跟蹤的文件/目錄元數據信息。它替代了使用文件mtime和ctime作為客戶端驗證緩存內容的方式。但注意,change attributes和客戶端/服務端文件的時間戳的改變無關。文件委托(file delegation)是NFSv4的客戶端和NFSv4服務端之前的一種合約,它允許客戶端臨時處理文件,就像沒有其他客戶端正在訪問該文件一樣。當有其他客戶端嘗試訪問被委托文件時,服務端一定會通知服務端(通過callback請求)。一旦文件被委托給某客戶端,客戶端可以盡可能大地緩存該文件的數據和元數據,而不需要聯系服務端。文件委托有兩種方式:read和write。讀委托意味著當其他客戶端嘗試向委托文件寫入數據時,服務端通知客戶端。而寫委托意味著其他客戶端無論是嘗試讀還是寫,服務端都會通知客戶端。NFSv4上當文件被打開的時候,服務端會授權文件委托,并且當其他客戶端想要訪問該文件但和已授權的委托沖突時,服務端可以在任意時間點重調(recall)委托關系。不支持對目錄的委托。(譯者注:只有讀委托和讀委托不會沖突)為了支持委托回調(delegation callback),在客戶端初始聯系服務端時,服務端會檢查網絡并返回路徑給客戶端。如果和客戶端的聯系無法建立,服務端將不會授權任何委托給客戶端。

總結

以上是生活随笔為你收集整理的第3章 NFS基本应用的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

亚洲 高清 成人 动漫 | 2019午夜福利不卡片在线 | 成人动漫在线观看 | 永久免费观看美女裸体的网站 | 国产超级va在线观看视频 | 午夜精品久久久内射近拍高清 | 55夜色66夜色国产精品视频 | 日韩成人一区二区三区在线观看 | 乱人伦人妻中文字幕无码 | 色狠狠av一区二区三区 | 亚洲精品成a人在线观看 | 久久亚洲日韩精品一区二区三区 | 亚洲一区二区三区在线观看网站 | 国产午夜无码视频在线观看 | 国产网红无码精品视频 | 亚洲国产精品久久人人爱 | 亚洲乱码国产乱码精品精 | 日本丰满护士爆乳xxxx | 久久天天躁狠狠躁夜夜免费观看 | 国产小呦泬泬99精品 | 99久久亚洲精品无码毛片 | 中文字幕无线码免费人妻 | 国产精品18久久久久久麻辣 | 国产亚av手机在线观看 | 在线а√天堂中文官网 | 夜夜夜高潮夜夜爽夜夜爰爰 | 日本大香伊一区二区三区 | 一二三四社区在线中文视频 | 熟妇人妻无乱码中文字幕 | 狠狠色丁香久久婷婷综合五月 | 国产成人精品一区二区在线小狼 | 国产一区二区不卡老阿姨 | v一区无码内射国产 | 99视频精品全部免费免费观看 | 狂野欧美性猛交免费视频 | 国产亚洲精品久久久久久大师 | 波多野结衣乳巨码无在线观看 | 无码毛片视频一区二区本码 | 小鲜肉自慰网站xnxx | 亚洲人成网站色7799 | 欧美丰满少妇xxxx性 | 蜜桃视频韩日免费播放 | 国产综合久久久久鬼色 | 国产av无码专区亚洲awww | 欧美性生交xxxxx久久久 | 欧美真人作爱免费视频 | 少妇性l交大片欧洲热妇乱xxx | 久久精品无码一区二区三区 | 国产精品毛多多水多 | 丰满妇女强制高潮18xxxx | 久久综合九色综合97网 | 中文字幕人妻无码一区二区三区 | 欧美人妻一区二区三区 | 波多野结衣av在线观看 | 中文字幕无码av激情不卡 | 亚洲精品综合五月久久小说 | 丁香花在线影院观看在线播放 | 亚洲精品一区二区三区大桥未久 | 欧洲欧美人成视频在线 | 国产精品怡红院永久免费 | 无码毛片视频一区二区本码 | 精品无人区无码乱码毛片国产 | 国产成人精品久久亚洲高清不卡 | 欧美性猛交内射兽交老熟妇 | 亚洲国产精品久久久久久 | 欧美丰满熟妇xxxx | 麻豆av传媒蜜桃天美传媒 | 暴力强奷在线播放无码 | 国产色xx群视频射精 | 少妇被粗大的猛进出69影院 | 国产精品理论片在线观看 | 国产美女极度色诱视频www | 欧美亚洲日韩国产人成在线播放 | 久久国产精品偷任你爽任你 | 亚洲乱码国产乱码精品精 | 亚洲色欲久久久综合网东京热 | 久久人人爽人人爽人人片ⅴ | 欧美日韩一区二区综合 | 日本在线高清不卡免费播放 | 无码国模国产在线观看 | 一本色道久久综合亚洲精品不卡 | 99精品久久毛片a片 | 亚洲色大成网站www国产 | 国产av无码专区亚洲a∨毛片 | 无码播放一区二区三区 | 欧美激情一区二区三区成人 | 久久精品人人做人人综合 | 97无码免费人妻超级碰碰夜夜 | 夜夜躁日日躁狠狠久久av | 人人爽人人澡人人人妻 | 国产suv精品一区二区五 | 国产亚洲视频中文字幕97精品 | 婷婷丁香五月天综合东京热 | 日本精品少妇一区二区三区 | 国产真实乱对白精彩久久 | 午夜精品久久久久久久久 | 久久精品中文闷骚内射 | 久久久久久九九精品久 | 亚洲aⅴ无码成人网站国产app | ass日本丰满熟妇pics | 久久精品国产一区二区三区肥胖 | 国产内射爽爽大片视频社区在线 | 久久国内精品自在自线 | 无人区乱码一区二区三区 | 日日鲁鲁鲁夜夜爽爽狠狠 | 欧美丰满熟妇xxxx | 久久精品国产日本波多野结衣 | 老太婆性杂交欧美肥老太 | 国产乱码精品一品二品 | 人妻插b视频一区二区三区 | 午夜精品久久久内射近拍高清 | 99精品国产综合久久久久五月天 | 少妇高潮喷潮久久久影院 | 黑人巨大精品欧美一区二区 | 又大又黄又粗又爽的免费视频 | 久久久久人妻一区精品色欧美 | 国产精品无码永久免费888 | 欧美乱妇无乱码大黄a片 | 三上悠亚人妻中文字幕在线 | 在线欧美精品一区二区三区 | 欧美性黑人极品hd | 亚洲狠狠婷婷综合久久 | 天天拍夜夜添久久精品大 | 天天摸天天碰天天添 | 欧美第一黄网免费网站 | 久久无码中文字幕免费影院蜜桃 | 在线精品国产一区二区三区 | 美女扒开屁股让男人桶 | 中文字幕无线码免费人妻 | 97无码免费人妻超级碰碰夜夜 | 欧美日韩亚洲国产精品 | 精品国产一区av天美传媒 | 黑人巨大精品欧美一区二区 | 国产人成高清在线视频99最全资源 | 人人妻人人澡人人爽人人精品 | 欧美黑人巨大xxxxx | 国产欧美精品一区二区三区 | 精品国产一区二区三区四区在线看 | 亚洲精品久久久久中文第一幕 | 亚洲成在人网站无码天堂 | 国产手机在线αⅴ片无码观看 | 漂亮人妻洗澡被公强 日日躁 | 亚洲成av人综合在线观看 | 国产口爆吞精在线视频 | 欧美熟妇另类久久久久久不卡 | 国产精品久久久 | 久久久精品欧美一区二区免费 | 国产亚洲精品久久久久久大师 | 日日摸天天摸爽爽狠狠97 | 天天拍夜夜添久久精品 | 亚洲一区二区三区四区 | 男人的天堂av网站 | 东京无码熟妇人妻av在线网址 | 亚洲熟妇自偷自拍另类 | 国产又粗又硬又大爽黄老大爷视 | 大乳丰满人妻中文字幕日本 | 亚洲最大成人网站 | 未满小14洗澡无码视频网站 | 久久久久久九九精品久 | 日韩精品成人一区二区三区 | 精品偷自拍另类在线观看 | 国产福利视频一区二区 | 亚洲日韩一区二区 | 欧美 丝袜 自拍 制服 另类 | 天堂久久天堂av色综合 | 久久久精品欧美一区二区免费 | 性啪啪chinese东北女人 | 国产suv精品一区二区五 | √8天堂资源地址中文在线 | 日韩欧美中文字幕在线三区 | 亚洲 欧美 激情 小说 另类 | 成人欧美一区二区三区黑人 | 夜先锋av资源网站 | 中文字幕乱妇无码av在线 | 欧美激情一区二区三区成人 | 在线播放无码字幕亚洲 | 蜜桃视频插满18在线观看 | 色婷婷香蕉在线一区二区 | 国产熟女一区二区三区四区五区 | 激情综合激情五月俺也去 | 在线播放亚洲第一字幕 | 狠狠噜狠狠狠狠丁香五月 | 性欧美大战久久久久久久 | 丁香花在线影院观看在线播放 | 婷婷丁香六月激情综合啪 | 无码人妻出轨黑人中文字幕 | 东京一本一道一二三区 | 亚洲国产日韩a在线播放 | 2020久久超碰国产精品最新 | 综合激情五月综合激情五月激情1 | 丁香啪啪综合成人亚洲 | 欧美精品免费观看二区 | 荫蒂添的好舒服视频囗交 | 亚洲乱码国产乱码精品精 | 无码av最新清无码专区吞精 | 亚洲人亚洲人成电影网站色 | 国产av无码专区亚洲a∨毛片 | 无码人妻出轨黑人中文字幕 | 欧美老熟妇乱xxxxx | 欧美日韩视频无码一区二区三 | 国产精品99久久精品爆乳 | 久久久久久av无码免费看大片 | 国产精品第一区揄拍无码 | 国产精品久久久久久无码 | 一区二区三区高清视频一 | 成熟女人特级毛片www免费 | 亚洲阿v天堂在线 | aⅴ亚洲 日韩 色 图网站 播放 | 精品夜夜澡人妻无码av蜜桃 | 成人无码精品一区二区三区 | 国产亚av手机在线观看 | 成人免费视频一区二区 | 亚洲精品美女久久久久久久 | 99精品视频在线观看免费 | 国产乱人伦偷精品视频 | 亚洲中文无码av永久不收费 | 亚洲中文字幕在线观看 | 精品厕所偷拍各类美女tp嘘嘘 | 性色欲情网站iwww九文堂 | 亚洲精品美女久久久久久久 | 狠狠色欧美亚洲狠狠色www | 最近的中文字幕在线看视频 | 欧美日韩一区二区免费视频 | 久久精品中文闷骚内射 | 色综合久久久无码网中文 | 狠狠亚洲超碰狼人久久 | 国产舌乚八伦偷品w中 | 久久天天躁夜夜躁狠狠 | 精品国产一区二区三区av 性色 | aa片在线观看视频在线播放 | 最新版天堂资源中文官网 | 宝宝好涨水快流出来免费视频 | 国产真人无遮挡作爱免费视频 | 精品少妇爆乳无码av无码专区 | 国产精品久久久一区二区三区 | 久久精品国产日本波多野结衣 | 日韩少妇内射免费播放 | 伊人久久大香线蕉午夜 | 噜噜噜亚洲色成人网站 | 中文字幕精品av一区二区五区 | 一本大道久久东京热无码av | 欧美丰满熟妇xxxx性ppx人交 | 小sao货水好多真紧h无码视频 | 又紧又大又爽精品一区二区 | 精品无码国产一区二区三区av | 一本久久伊人热热精品中文字幕 | 男人和女人高潮免费网站 | 中文字幕无码免费久久9一区9 | 精品厕所偷拍各类美女tp嘘嘘 | 中文字幕精品av一区二区五区 | 久久婷婷五月综合色国产香蕉 | 鲁鲁鲁爽爽爽在线视频观看 | 日韩人妻系列无码专区 | 国产极品美女高潮无套在线观看 | 又大又黄又粗又爽的免费视频 | 丁香花在线影院观看在线播放 | 性色av无码免费一区二区三区 | 综合人妻久久一区二区精品 | 久久久成人毛片无码 | 波多野结衣高清一区二区三区 | 天海翼激烈高潮到腰振不止 | 色一情一乱一伦 | 4hu四虎永久在线观看 | 亚洲精品一区二区三区婷婷月 | 亚洲一区二区观看播放 | 色情久久久av熟女人妻网站 | 乌克兰少妇xxxx做受 | 一个人免费观看的www视频 | 欧美日韩视频无码一区二区三 | 成人免费无码大片a毛片 | 97无码免费人妻超级碰碰夜夜 | 漂亮人妻洗澡被公强 日日躁 | 98国产精品综合一区二区三区 | 俺去俺来也www色官网 | 网友自拍区视频精品 | 欧美35页视频在线观看 | 午夜福利一区二区三区在线观看 | 狠狠躁日日躁夜夜躁2020 | 国产热a欧美热a在线视频 | 久久久久成人片免费观看蜜芽 | 欧美成人午夜精品久久久 | 99精品无人区乱码1区2区3区 | 色老头在线一区二区三区 | 伊人久久大香线蕉亚洲 | 99久久久无码国产aaa精品 | 久久亚洲中文字幕无码 | 日韩欧美中文字幕在线三区 | 午夜男女很黄的视频 | 国产明星裸体无码xxxx视频 | 偷窥村妇洗澡毛毛多 | 亚洲日本va午夜在线电影 | 日韩在线不卡免费视频一区 | 成人精品视频一区二区三区尤物 | 精品久久久久久亚洲精品 | 国产美女极度色诱视频www | 欧美日本免费一区二区三区 | 无码免费一区二区三区 | 澳门永久av免费网站 | 国产性猛交╳xxx乱大交 国产精品久久久久久无码 欧洲欧美人成视频在线 | 伦伦影院午夜理论片 | 久久亚洲精品中文字幕无男同 | 精品国产青草久久久久福利 | a在线观看免费网站大全 | 人妻少妇精品无码专区二区 | 国产另类ts人妖一区二区 | 国产人妻大战黑人第1集 | 在教室伦流澡到高潮hnp视频 | 夜夜高潮次次欢爽av女 | 久久久久成人精品免费播放动漫 | 中文字幕乱码人妻二区三区 | 99久久婷婷国产综合精品青草免费 | 国产人妻精品一区二区三区 | 国内揄拍国内精品少妇国语 | 欧美日韩综合一区二区三区 | a国产一区二区免费入口 | 日韩欧美中文字幕公布 | 四十如虎的丰满熟妇啪啪 | 亚洲成a人片在线观看日本 | 国产激情综合五月久久 | 久久99精品久久久久久 | 88国产精品欧美一区二区三区 | 欧美xxxxx精品 | 亚洲成av人在线观看网址 | 亚洲精品欧美二区三区中文字幕 | 国产精品久久久午夜夜伦鲁鲁 | 狂野欧美性猛xxxx乱大交 | 国产午夜福利100集发布 | 欧美丰满老熟妇xxxxx性 | 性欧美大战久久久久久久 | 日本爽爽爽爽爽爽在线观看免 | 精品无人国产偷自产在线 | 无码一区二区三区在线观看 | 18黄暴禁片在线观看 | 成人无码影片精品久久久 | 亚洲欧洲无卡二区视頻 | 女人被男人爽到呻吟的视频 | 奇米影视7777久久精品 | 中文无码伦av中文字幕 | 久久久久久av无码免费看大片 | 国产精品久久久一区二区三区 | 特级做a爰片毛片免费69 | 国产色在线 | 国产 | 日产精品高潮呻吟av久久 | 免费观看的无遮挡av | 中文字幕+乱码+中文字幕一区 | 丰满少妇高潮惨叫视频 | 性欧美熟妇videofreesex | 免费观看的无遮挡av | 亚洲国产精品久久久久久 | 国产精品免费大片 | 亚洲一区二区三区含羞草 | 亚洲色偷偷偷综合网 | 一本色道婷婷久久欧美 | 国产无遮挡又黄又爽又色 | 国产午夜福利亚洲第一 | 亚洲国产一区二区三区在线观看 | 久久国产36精品色熟妇 | 76少妇精品导航 | 亚洲精品一区二区三区在线观看 | 亚洲精品无码国产 | 日本饥渴人妻欲求不满 | 日本精品人妻无码77777 天堂一区人妻无码 | 中文字幕人妻无码一夲道 | 少妇性俱乐部纵欲狂欢电影 | 亚洲综合另类小说色区 | 欧美性猛交内射兽交老熟妇 | 澳门永久av免费网站 | 乱人伦人妻中文字幕无码 | 亚洲乱码日产精品bd | 日日碰狠狠躁久久躁蜜桃 | 精品厕所偷拍各类美女tp嘘嘘 | 亚洲精品www久久久 | 亚洲中文字幕在线观看 | 亲嘴扒胸摸屁股激烈网站 | 少妇一晚三次一区二区三区 | 波多野结衣一区二区三区av免费 | 国产成人av免费观看 | 初尝人妻少妇中文字幕 | 国产精品爱久久久久久久 | аⅴ资源天堂资源库在线 | 国产精品香蕉在线观看 | 国产精品va在线播放 | 亚洲 欧美 激情 小说 另类 | 天天综合网天天综合色 | 精品无人国产偷自产在线 | 国产精品美女久久久久av爽李琼 | 亚洲色偷偷偷综合网 | 最新版天堂资源中文官网 | 亚洲国产午夜精品理论片 | 久久99精品国产麻豆 | 国产网红无码精品视频 | 国产农村乱对白刺激视频 | 中文字幕 亚洲精品 第1页 | 一区二区传媒有限公司 | 精品成人av一区二区三区 | 欧美日韩人成综合在线播放 | 久久精品国产99久久6动漫 | 国产在线一区二区三区四区五区 | 最近的中文字幕在线看视频 | 国产农村乱对白刺激视频 | 国产乱码精品一品二品 | 久久精品国产亚洲精品 | 亚洲精品无码人妻无码 | 久久久久成人精品免费播放动漫 | 97久久超碰中文字幕 | 牛和人交xxxx欧美 | 久久久久久久女国产乱让韩 | 成人综合网亚洲伊人 | 国产精品嫩草久久久久 | 最新版天堂资源中文官网 | 日韩av无码一区二区三区不卡 | 亚洲欧美中文字幕5发布 | 久久久久亚洲精品男人的天堂 | 国产口爆吞精在线视频 | 亚洲欧美日韩成人高清在线一区 | 精品国产一区二区三区av 性色 | 麻豆国产97在线 | 欧洲 | 永久免费观看美女裸体的网站 | 亚洲成av人在线观看网址 | 国产色在线 | 国产 | 无码免费一区二区三区 | 色一情一乱一伦一区二区三欧美 | 日本一区二区三区免费播放 | 国产福利视频一区二区 | 国产福利视频一区二区 | 88国产精品欧美一区二区三区 | 成人免费视频一区二区 | 国产精品久久国产三级国 | 久久国产自偷自偷免费一区调 | 国产精品美女久久久 | 亚洲经典千人经典日产 | 国产两女互慰高潮视频在线观看 | 久久婷婷五月综合色国产香蕉 | 欧美亚洲日韩国产人成在线播放 | 99久久精品国产一区二区蜜芽 | 女人被男人躁得好爽免费视频 | 欧美精品国产综合久久 | 亚洲精品中文字幕久久久久 | 久久天天躁狠狠躁夜夜免费观看 | 精品亚洲韩国一区二区三区 | 国产乱人伦偷精品视频 | 欧美成人午夜精品久久久 | 日韩欧美群交p片內射中文 | 国产成人无码av在线影院 | 在线精品国产一区二区三区 | 熟妇人妻中文av无码 | 激情爆乳一区二区三区 | 国产亚洲精品久久久久久国模美 | 男女作爱免费网站 | 76少妇精品导航 | 亚洲国产精品无码久久久久高潮 | 蜜臀aⅴ国产精品久久久国产老师 | 亚洲高清偷拍一区二区三区 | 国产农村乱对白刺激视频 | 国产精品美女久久久久av爽李琼 | 精品人人妻人人澡人人爽人人 | 国产精品怡红院永久免费 | 免费观看又污又黄的网站 | 国内揄拍国内精品人妻 | 98国产精品综合一区二区三区 | 国产午夜福利100集发布 | 国内少妇偷人精品视频 | 中文字幕精品av一区二区五区 | 成人无码视频在线观看网站 | 色一情一乱一伦一视频免费看 | 亚洲精品www久久久 | 国产在热线精品视频 | 日本精品久久久久中文字幕 | 国产日产欧产精品精品app | 欧美 丝袜 自拍 制服 另类 | 天天躁夜夜躁狠狠是什么心态 | 亚洲国产精品一区二区第一页 | 人妻无码久久精品人妻 | 国产精品久久久久久无码 | 一本久久a久久精品亚洲 | 久久亚洲日韩精品一区二区三区 | 1000部夫妻午夜免费 | 澳门永久av免费网站 | 亚洲爆乳无码专区 | 中国大陆精品视频xxxx | 中文字幕精品av一区二区五区 | 久在线观看福利视频 | 西西人体www44rt大胆高清 | 国产午夜无码视频在线观看 | 亚洲一区二区三区 | 青青青手机频在线观看 | 玩弄人妻少妇500系列视频 | 亚洲精品国偷拍自产在线观看蜜桃 | 国产成人无码av一区二区 | 亚洲爆乳精品无码一区二区三区 | 欧美人与牲动交xxxx | 5858s亚洲色大成网站www | 国产欧美精品一区二区三区 | 婷婷丁香六月激情综合啪 | 国产精品18久久久久久麻辣 | 天天躁日日躁狠狠躁免费麻豆 | 无码精品国产va在线观看dvd | 美女极度色诱视频国产 | 欧美xxxx黑人又粗又长 | 少妇无码av无码专区在线观看 | 西西人体www44rt大胆高清 | 88国产精品欧美一区二区三区 | 综合激情五月综合激情五月激情1 | 99精品国产综合久久久久五月天 | 97久久精品无码一区二区 | 亚洲午夜福利在线观看 | 正在播放老肥熟妇露脸 | 麻豆国产人妻欲求不满 | 久久人人97超碰a片精品 | 亚洲人成影院在线无码按摩店 | 一本久久伊人热热精品中文字幕 | 波多野结衣一区二区三区av免费 | 久久久久久a亚洲欧洲av冫 | 婷婷综合久久中文字幕蜜桃三电影 | 妺妺窝人体色www婷婷 | 色窝窝无码一区二区三区色欲 | 天天综合网天天综合色 | 精品午夜福利在线观看 | 国产成人无码av片在线观看不卡 | 波多野结衣av一区二区全免费观看 | 日本爽爽爽爽爽爽在线观看免 | 亚洲欧美日韩成人高清在线一区 | 国产电影无码午夜在线播放 | 精品久久久无码中文字幕 | 粗大的内捧猛烈进出视频 | 双乳奶水饱满少妇呻吟 | 精品久久8x国产免费观看 | 特黄特色大片免费播放器图片 | 黑人粗大猛烈进出高潮视频 | 亚洲の无码国产の无码步美 | 中文字幕无码av激情不卡 | 无码乱肉视频免费大全合集 | 亚洲va中文字幕无码久久不卡 | 久久久久亚洲精品男人的天堂 | 国产舌乚八伦偷品w中 | 欧美日韩久久久精品a片 | 无码吃奶揉捏奶头高潮视频 | 成人无码影片精品久久久 | 成人精品视频一区二区三区尤物 | 久久无码中文字幕免费影院蜜桃 | 欧美 丝袜 自拍 制服 另类 | 国产婷婷色一区二区三区在线 | 亚洲精品综合一区二区三区在线 | 少妇无码吹潮 | 美女毛片一区二区三区四区 | 国产精品亚洲专区无码不卡 | 亚洲国产午夜精品理论片 | 1000部夫妻午夜免费 | 国语自产偷拍精品视频偷 | 最新国产乱人伦偷精品免费网站 | 乌克兰少妇xxxx做受 | 精品无码成人片一区二区98 | 久久久久久久久蜜桃 | 国产9 9在线 | 中文 | 人妻天天爽夜夜爽一区二区 | 一本久道久久综合狠狠爱 | 人妻少妇精品久久 | 国产精品内射视频免费 | 国产午夜亚洲精品不卡下载 | 国产麻豆精品一区二区三区v视界 | 国产精品久久久午夜夜伦鲁鲁 | 天堂久久天堂av色综合 | 欧美人与善在线com | 无遮无挡爽爽免费视频 | 内射巨臀欧美在线视频 | 日本高清一区免费中文视频 | 久久久久99精品国产片 | 午夜理论片yy44880影院 | 77777熟女视频在线观看 а天堂中文在线官网 | 亚洲最大成人网站 | 欧美乱妇无乱码大黄a片 | 超碰97人人射妻 | 中文精品无码中文字幕无码专区 | a片免费视频在线观看 | 女人和拘做爰正片视频 | 亚洲国产综合无码一区 | 成人精品天堂一区二区三区 | 国产美女精品一区二区三区 | 精品国产aⅴ无码一区二区 | 永久免费观看国产裸体美女 | 无码人妻精品一区二区三区不卡 | 国产激情艳情在线看视频 | 久久五月精品中文字幕 | 亚洲日韩av片在线观看 | 久久久国产精品无码免费专区 | 国产肉丝袜在线观看 | 无码国内精品人妻少妇 | 久久伊人色av天堂九九小黄鸭 | 3d动漫精品啪啪一区二区中 | 国产精品人妻一区二区三区四 | 国产片av国语在线观看 | 亚洲色在线无码国产精品不卡 | 成在人线av无码免观看麻豆 | 人妻夜夜爽天天爽三区 | 综合人妻久久一区二区精品 | a国产一区二区免费入口 | 久久久精品欧美一区二区免费 | 激情五月综合色婷婷一区二区 | 亚洲欧洲中文日韩av乱码 | 4hu四虎永久在线观看 | 久在线观看福利视频 | 亚洲国产成人a精品不卡在线 | 成人影院yy111111在线观看 | 久久亚洲中文字幕精品一区 | 亚洲午夜福利在线观看 | 亚洲熟女一区二区三区 | 成人免费视频视频在线观看 免费 | 亚洲综合久久一区二区 | 奇米影视888欧美在线观看 | 丰满少妇熟乱xxxxx视频 | 国产精品美女久久久久av爽李琼 | 国产午夜手机精彩视频 | 在线成人www免费观看视频 | 久久97精品久久久久久久不卡 | 亚洲成a人一区二区三区 | 国产农村妇女高潮大叫 | 激情内射日本一区二区三区 | 国产97在线 | 亚洲 | 国产激情综合五月久久 | yw尤物av无码国产在线观看 | 中文毛片无遮挡高清免费 | 动漫av一区二区在线观看 | 久久久无码中文字幕久... | 特大黑人娇小亚洲女 | 国产亚洲日韩欧美另类第八页 | 久久久久久国产精品无码下载 | 大肉大捧一进一出视频出来呀 | 午夜无码区在线观看 | 国产精品理论片在线观看 | 日本精品少妇一区二区三区 | 精品少妇爆乳无码av无码专区 | 中文字幕乱码人妻二区三区 | 自拍偷自拍亚洲精品被多人伦好爽 | 精品无码国产一区二区三区av | 亚洲色欲色欲欲www在线 | 国产三级久久久精品麻豆三级 | 荡女精品导航 | aⅴ在线视频男人的天堂 | 在线成人www免费观看视频 | 亚洲色成人中文字幕网站 | 99精品国产综合久久久久五月天 | 国产成人av免费观看 | av人摸人人人澡人人超碰下载 | 国产在线aaa片一区二区99 | 国产真实乱对白精彩久久 | 奇米综合四色77777久久 东京无码熟妇人妻av在线网址 | 午夜丰满少妇性开放视频 | 中文字幕av伊人av无码av | 网友自拍区视频精品 | 一本大道伊人av久久综合 | 欧洲vodafone精品性 | 无码人妻丰满熟妇区毛片18 | 一本精品99久久精品77 | 免费网站看v片在线18禁无码 | 老头边吃奶边弄进去呻吟 | 少妇被粗大的猛进出69影院 | 日韩av无码一区二区三区不卡 | 欧美日韩久久久精品a片 | 亚洲第一网站男人都懂 | 偷窥日本少妇撒尿chinese | 久久综合给合久久狠狠狠97色 | 激情内射亚州一区二区三区爱妻 | 2020久久超碰国产精品最新 | 久久久国产精品无码免费专区 | 女人和拘做爰正片视频 | 日日碰狠狠躁久久躁蜜桃 | 国产国产精品人在线视 | 最新国产麻豆aⅴ精品无码 | 久久zyz资源站无码中文动漫 | 无码吃奶揉捏奶头高潮视频 | 欧美xxxx黑人又粗又长 | 丰满少妇人妻久久久久久 | 中文字幕亚洲情99在线 | 18黄暴禁片在线观看 | 中国女人内谢69xxxx | 精品久久久中文字幕人妻 | 中文字幕乱码亚洲无线三区 | 无码中文字幕色专区 | 人人爽人人爽人人片av亚洲 | 日本饥渴人妻欲求不满 | 欧美人与动性行为视频 | 激情综合激情五月俺也去 | 人人妻人人澡人人爽人人精品浪潮 | 亚洲天堂2017无码 | 无码国产乱人伦偷精品视频 | 亚洲七七久久桃花影院 | 人妻天天爽夜夜爽一区二区 | 欧美第一黄网免费网站 | 人人超人人超碰超国产 | 久热国产vs视频在线观看 | 男女超爽视频免费播放 | 撕开奶罩揉吮奶头视频 | 久久99精品久久久久婷婷 | 国产激情一区二区三区 | 国产国产精品人在线视 | 亚洲熟妇自偷自拍另类 | 国产精品久久久久久亚洲毛片 | 国产尤物精品视频 | 久久综合久久自在自线精品自 | 波多野结衣高清一区二区三区 | 久久97精品久久久久久久不卡 | 在线欧美精品一区二区三区 | 一个人看的视频www在线 | 兔费看少妇性l交大片免费 | 成人欧美一区二区三区黑人 | 高清无码午夜福利视频 | 国产人成高清在线视频99最全资源 | a在线观看免费网站大全 | 国产精品亚洲五月天高清 | 76少妇精品导航 | 欧美精品在线观看 | 欧美日韩一区二区免费视频 | 青青久在线视频免费观看 | 高中生自慰www网站 | 精品亚洲成av人在线观看 | 亚洲va中文字幕无码久久不卡 | 国产suv精品一区二区五 | 久久国产精品萌白酱免费 | 免费人成在线视频无码 | 国产猛烈高潮尖叫视频免费 | 国产精品怡红院永久免费 | 欧美亚洲日韩国产人成在线播放 | 东京热一精品无码av | 东京热一精品无码av | 5858s亚洲色大成网站www | 久久精品中文字幕大胸 | 国产精品理论片在线观看 | 国产肉丝袜在线观看 | 无码帝国www无码专区色综合 | 亚洲自偷自拍另类第1页 | 特黄特色大片免费播放器图片 | 亚洲欧美精品aaaaaa片 | 亚洲欧美国产精品久久 | 欧美肥老太牲交大战 | 欧美xxxx黑人又粗又长 | 亚洲一区二区观看播放 | 99精品视频在线观看免费 | 国产女主播喷水视频在线观看 | 久久久久国色av免费观看性色 | 色妞www精品免费视频 | 欧美一区二区三区视频在线观看 | 一本久道高清无码视频 | 18精品久久久无码午夜福利 | ass日本丰满熟妇pics | 暴力强奷在线播放无码 | 熟妇女人妻丰满少妇中文字幕 | 亚洲乱码国产乱码精品精 | a在线亚洲男人的天堂 | 波多野结衣一区二区三区av免费 | 国产午夜手机精彩视频 | 亚洲男女内射在线播放 | 亚洲成色在线综合网站 | 日本又色又爽又黄的a片18禁 | 亚洲国产精品久久久久久 | 国产精品亚洲lv粉色 | 亚洲а∨天堂久久精品2021 | 国产亚洲美女精品久久久2020 | 国产午夜亚洲精品不卡 | 国产精品久久久av久久久 | 欧美成人免费全部网站 | 天天躁日日躁狠狠躁免费麻豆 | 亚洲国精产品一二二线 | 中文字幕人妻无码一夲道 | 伊人久久大香线蕉av一区二区 | 国产精品久久精品三级 | 97无码免费人妻超级碰碰夜夜 | 无码成人精品区在线观看 | 波多野42部无码喷潮在线 | 久久精品视频在线看15 | 国产猛烈高潮尖叫视频免费 | 精品亚洲韩国一区二区三区 | 久久精品国产亚洲精品 | 亚洲欧美日韩国产精品一区二区 | 在线亚洲高清揄拍自拍一品区 | 精品无码国产自产拍在线观看蜜 | 四虎国产精品一区二区 | 国产办公室秘书无码精品99 | 国语自产偷拍精品视频偷 | 野外少妇愉情中文字幕 | 丰满诱人的人妻3 | 日韩人妻少妇一区二区三区 | 国产亲子乱弄免费视频 | 秋霞特色aa大片 | 欧美老熟妇乱xxxxx | 性啪啪chinese东北女人 | 久久久久成人片免费观看蜜芽 | 丰满岳乱妇在线观看中字无码 | 国产超级va在线观看视频 | 亚洲色在线无码国产精品不卡 | 亚洲一区二区三区含羞草 | 久久无码中文字幕免费影院蜜桃 | 一区二区三区乱码在线 | 欧洲 | 3d动漫精品啪啪一区二区中 | 久久午夜夜伦鲁鲁片无码免费 | 日韩人妻少妇一区二区三区 | 国产av无码专区亚洲awww | 久久99精品国产麻豆蜜芽 | 国语自产偷拍精品视频偷 | 天天躁日日躁狠狠躁免费麻豆 | 精品国产一区二区三区四区在线看 | av香港经典三级级 在线 | 人妻人人添人妻人人爱 | 无码av最新清无码专区吞精 | 日韩av无码一区二区三区不卡 | 免费无码一区二区三区蜜桃大 | 男人的天堂av网站 | 国产福利视频一区二区 | 亚洲成av人片天堂网无码】 | 少妇久久久久久人妻无码 | 国产精品国产自线拍免费软件 | 成人免费视频视频在线观看 免费 | 性开放的女人aaa片 | 亚洲国产精品久久久天堂 | 亚洲精品国偷拍自产在线观看蜜桃 | 国产精品久久福利网站 | 日本一区二区三区免费播放 | 欧美日韩人成综合在线播放 | 精品无人区无码乱码毛片国产 | 久久精品一区二区三区四区 | 任你躁在线精品免费 | 一本色道婷婷久久欧美 | 国产内射老熟女aaaa | 午夜时刻免费入口 | 国产极品视觉盛宴 | 久久精品中文闷骚内射 | 欧美阿v高清资源不卡在线播放 | 波多野结衣高清一区二区三区 | 国产成人一区二区三区在线观看 | 久久伊人色av天堂九九小黄鸭 | 国产亚洲tv在线观看 | 18禁黄网站男男禁片免费观看 | 日日摸日日碰夜夜爽av | 国产熟妇高潮叫床视频播放 | 久在线观看福利视频 | 在线亚洲高清揄拍自拍一品区 | 99久久精品日本一区二区免费 | 国产精品va在线播放 | 97色伦图片97综合影院 | ass日本丰满熟妇pics | 爽爽影院免费观看 | 麻豆md0077饥渴少妇 | аⅴ资源天堂资源库在线 | 国产69精品久久久久app下载 | 中文字幕乱码人妻无码久久 | 九九久久精品国产免费看小说 | 国产熟妇另类久久久久 | 无码国产乱人伦偷精品视频 | 亚洲日韩av一区二区三区四区 | 国产熟妇另类久久久久 | 久久久久亚洲精品男人的天堂 | 国产在线aaa片一区二区99 | 97久久超碰中文字幕 | 又大又硬又爽免费视频 | 性欧美牲交xxxxx视频 | 老太婆性杂交欧美肥老太 | 麻豆md0077饥渴少妇 | 又大又紧又粉嫩18p少妇 | 伊人久久大香线焦av综合影院 | 中文字幕人妻无码一夲道 | 一二三四社区在线中文视频 | 荡女精品导航 | 曰本女人与公拘交酡免费视频 | 久久精品国产日本波多野结衣 | 精品久久综合1区2区3区激情 | 国产艳妇av在线观看果冻传媒 | 亚洲娇小与黑人巨大交 | 特大黑人娇小亚洲女 | 国产亚洲视频中文字幕97精品 | 久久国产精品_国产精品 | 久久久国产一区二区三区 | 老熟女重囗味hdxx69 | 久久午夜无码鲁丝片午夜精品 | 国产精品第一区揄拍无码 | 欧美怡红院免费全部视频 | 一本久久a久久精品vr综合 | 麻豆国产人妻欲求不满谁演的 | 国产乡下妇女做爰 | 欧美 日韩 人妻 高清 中文 | 无码午夜成人1000部免费视频 | 久久久久亚洲精品男人的天堂 | 成人精品一区二区三区中文字幕 | 久久久中文字幕日本无吗 | 亚无码乱人伦一区二区 | 国产色在线 | 国产 | 亚洲人交乣女bbw | 亚洲中文字幕无码中字 | 国产精品高潮呻吟av久久4虎 | 成人无码精品1区2区3区免费看 | 久久国语露脸国产精品电影 | 亚洲午夜福利在线观看 | 九月婷婷人人澡人人添人人爽 | 日本一区二区三区免费播放 | 捆绑白丝粉色jk震动捧喷白浆 | 激情五月综合色婷婷一区二区 | 欧美第一黄网免费网站 | 夜夜影院未满十八勿进 | 99re在线播放 | 欧美激情综合亚洲一二区 | 在线精品亚洲一区二区 | 日本护士xxxxhd少妇 | 中文字幕乱妇无码av在线 | 夜夜躁日日躁狠狠久久av | 天天摸天天透天天添 | 波多野42部无码喷潮在线 | 人人妻人人澡人人爽精品欧美 | 色综合久久久无码网中文 | 久久久久人妻一区精品色欧美 | 久久久www成人免费毛片 | 午夜无码人妻av大片色欲 | 无码一区二区三区在线观看 | 少妇无码一区二区二三区 | 又色又爽又黄的美女裸体网站 | 少妇无套内谢久久久久 | av人摸人人人澡人人超碰下载 | 一本大道久久东京热无码av | 久久综合给合久久狠狠狠97色 | 无码人妻久久一区二区三区不卡 | 77777熟女视频在线观看 а天堂中文在线官网 | 中文字幕无码日韩欧毛 | 亚洲成a人片在线观看无码 | 欧美一区二区三区视频在线观看 | 天干天干啦夜天干天2017 | 18无码粉嫩小泬无套在线观看 | 亚洲国产av精品一区二区蜜芽 | 亚洲综合另类小说色区 | 熟妇女人妻丰满少妇中文字幕 | 精品无码一区二区三区爱欲 | 成人免费无码大片a毛片 | 丰满妇女强制高潮18xxxx | 成熟妇人a片免费看网站 | 精品偷拍一区二区三区在线看 | 久久熟妇人妻午夜寂寞影院 | 精品一二三区久久aaa片 | 精品久久久无码人妻字幂 | 99久久人妻精品免费一区 | 一本色道久久综合亚洲精品不卡 | 欧美性生交xxxxx久久久 | 一本加勒比波多野结衣 | 成人无码精品1区2区3区免费看 | 国产日产欧产精品精品app | 亚洲午夜无码久久 | 亚洲国产欧美在线成人 | 丝袜足控一区二区三区 | 国产成人无码专区 | 日韩av无码一区二区三区 | 色欲av亚洲一区无码少妇 | 性色欲情网站iwww九文堂 | 久久久久99精品成人片 | 成人亚洲精品久久久久软件 | √天堂资源地址中文在线 | 亚洲精品久久久久中文第一幕 | 久久久久99精品成人片 | 无码一区二区三区在线观看 | 久久久久久久人妻无码中文字幕爆 | 欧美性生交活xxxxxdddd | 国产亚av手机在线观看 | 久久精品成人欧美大片 | 成人三级无码视频在线观看 | 免费国产成人高清在线观看网站 | 国产成人无码av片在线观看不卡 | 日日鲁鲁鲁夜夜爽爽狠狠 | 日韩欧美中文字幕在线三区 | 亚洲综合另类小说色区 | 国产精品内射视频免费 | 一本加勒比波多野结衣 | 亚洲男女内射在线播放 | 一本久久a久久精品vr综合 | 亚洲精品一区二区三区在线观看 | 国产成人综合在线女婷五月99播放 | 色婷婷香蕉在线一区二区 | 欧美国产日韩久久mv | 性欧美videos高清精品 | 午夜性刺激在线视频免费 | 无套内射视频囯产 | 香蕉久久久久久av成人 | 久久久久久久女国产乱让韩 | 亚洲色欲色欲天天天www | 亚洲中文字幕在线无码一区二区 | 荫蒂添的好舒服视频囗交 | 两性色午夜视频免费播放 | 久久久久亚洲精品男人的天堂 | 亚洲人成人无码网www国产 | 狠狠色噜噜狠狠狠7777奇米 | 欧美丰满熟妇xxxx | 真人与拘做受免费视频 | 天堂久久天堂av色综合 | 亚洲欧美日韩综合久久久 | 人人超人人超碰超国产 | 亚洲成av人综合在线观看 | 曰本女人与公拘交酡免费视频 | 丰满诱人的人妻3 | 国产精品多人p群无码 | 奇米影视7777久久精品 | 国产亚洲美女精品久久久2020 | 帮老师解开蕾丝奶罩吸乳网站 | 亚洲の无码国产の无码步美 | a在线观看免费网站大全 | 久久99热只有频精品8 | 精品国产一区av天美传媒 | 欧美兽交xxxx×视频 | 激情内射亚州一区二区三区爱妻 | 精品久久久中文字幕人妻 | 亚洲日韩乱码中文无码蜜桃臀网站 | 久久久久久a亚洲欧洲av冫 | 性欧美疯狂xxxxbbbb | 漂亮人妻洗澡被公强 日日躁 | 日本xxxx色视频在线观看免费 | 精品人人妻人人澡人人爽人人 | 国内精品九九久久久精品 | av无码不卡在线观看免费 | 欧美精品国产综合久久 | 极品尤物被啪到呻吟喷水 | 亚洲色大成网站www | 色偷偷人人澡人人爽人人模 | 少妇无套内谢久久久久 | 精品国产一区av天美传媒 | 中文字幕无码日韩专区 | 免费男性肉肉影院 | 亚洲精品成a人在线观看 | 亚洲码国产精品高潮在线 | 老太婆性杂交欧美肥老太 | 四十如虎的丰满熟妇啪啪 | 午夜性刺激在线视频免费 | 国产精品igao视频网 | 国产精华av午夜在线观看 | 夜精品a片一区二区三区无码白浆 | 18禁止看的免费污网站 | 欧美阿v高清资源不卡在线播放 | 国产亚洲tv在线观看 | 国产精品怡红院永久免费 | 狂野欧美激情性xxxx | 久在线观看福利视频 | 大肉大捧一进一出好爽视频 | 婷婷丁香六月激情综合啪 | 任你躁在线精品免费 | 亚洲精品一区三区三区在线观看 | 国产一区二区三区精品视频 | 日韩精品无码免费一区二区三区 | 免费人成网站视频在线观看 | 久久午夜无码鲁丝片午夜精品 | 久久久www成人免费毛片 | 欧美成人家庭影院 | 老熟女重囗味hdxx69 | 亚洲日韩精品欧美一区二区 | 亚洲自偷自拍另类第1页 | 亚洲熟妇色xxxxx欧美老妇y | 人人澡人人妻人人爽人人蜜桃 | 高潮毛片无遮挡高清免费视频 | 中文无码成人免费视频在线观看 | 国产卡一卡二卡三 | 国产精品多人p群无码 | 在线播放无码字幕亚洲 | 老熟妇乱子伦牲交视频 | 欧美国产日韩久久mv | 免费网站看v片在线18禁无码 | 网友自拍区视频精品 | 国产亲子乱弄免费视频 | 国产 浪潮av性色四虎 | 久久亚洲国产成人精品性色 | а√天堂www在线天堂小说 | av人摸人人人澡人人超碰下载 | 人妻少妇精品久久 | 亚洲国产精品久久久久久 | 小鲜肉自慰网站xnxx | 亚洲男人av天堂午夜在 | 极品嫩模高潮叫床 | 国产熟妇另类久久久久 | 亚洲va中文字幕无码久久不卡 | 久久亚洲精品中文字幕无男同 | 欧美成人免费全部网站 | 国产97人人超碰caoprom | 99re在线播放 | 国产性生大片免费观看性 | 强伦人妻一区二区三区视频18 | 日日鲁鲁鲁夜夜爽爽狠狠 | 欧美真人作爱免费视频 | 亚洲日韩av一区二区三区四区 | 九九综合va免费看 | 人妻有码中文字幕在线 | 色欲人妻aaaaaaa无码 | 久久99精品久久久久久动态图 | 日本免费一区二区三区最新 | 国产亚洲精品久久久久久久久动漫 | 午夜精品一区二区三区在线观看 | 亚洲の无码国产の无码步美 | 99久久精品日本一区二区免费 | 99久久婷婷国产综合精品青草免费 | 人人爽人人澡人人高潮 | 亚洲精品一区国产 | 无码人妻久久一区二区三区不卡 | 国产美女极度色诱视频www | 国产真实伦对白全集 | 国产无遮挡又黄又爽又色 | 国产精品无码一区二区三区不卡 | 人人爽人人澡人人高潮 | 亚洲成色在线综合网站 | 人人澡人人妻人人爽人人蜜桃 | 波多野结衣av在线观看 | 亚洲国产精品无码一区二区三区 | 思思久久99热只有频精品66 | 国产精品无码一区二区桃花视频 | а√资源新版在线天堂 | 综合网日日天干夜夜久久 | 亚洲精品国产精品乱码不卡 | 免费无码一区二区三区蜜桃大 | 人人妻人人澡人人爽欧美精品 | 奇米影视888欧美在线观看 | 久久天天躁狠狠躁夜夜免费观看 | 性欧美熟妇videofreesex | 青春草在线视频免费观看 | 国产午夜精品一区二区三区嫩草 | 国产精品久久久午夜夜伦鲁鲁 | 日产精品高潮呻吟av久久 | 久久天天躁狠狠躁夜夜免费观看 | 久久久婷婷五月亚洲97号色 | 国产无av码在线观看 | 清纯唯美经典一区二区 | 九月婷婷人人澡人人添人人爽 | 国产麻豆精品精东影业av网站 | 亚洲最大成人网站 | 久久国产劲爆∧v内射 | 未满小14洗澡无码视频网站 | 人妻少妇精品无码专区动漫 | 波多野结衣高清一区二区三区 | 亚洲国产午夜精品理论片 | 好男人www社区 | 精品无码av一区二区三区 | 色 综合 欧美 亚洲 国产 | 国产激情综合五月久久 | 理论片87福利理论电影 | 久久国产劲爆∧v内射 | 国内精品一区二区三区不卡 | 久久亚洲a片com人成 | 成在人线av无码免观看麻豆 | 国产情侣作爱视频免费观看 | 97资源共享在线视频 | 国产精品永久免费视频 | 国产成人综合在线女婷五月99播放 | 图片区 小说区 区 亚洲五月 | 熟女少妇在线视频播放 | 狠狠色色综合网站 | 亚洲成av人片在线观看无码不卡 | 日本成熟视频免费视频 | 在线观看国产一区二区三区 | 妺妺窝人体色www婷婷 | 国产免费无码一区二区视频 | 性史性农村dvd毛片 | 欧美性猛交xxxx富婆 | 色婷婷欧美在线播放内射 | 色偷偷av老熟女 久久精品人妻少妇一区二区三区 | 人人妻人人澡人人爽欧美精品 | 鲁一鲁av2019在线 | 国产人妻人伦精品1国产丝袜 | 亚洲自偷自拍另类第1页 | 无码人妻丰满熟妇区五十路百度 | 蜜桃视频插满18在线观看 | 色情久久久av熟女人妻网站 | 精品人妻人人做人人爽 | 久久精品中文闷骚内射 | 久久精品国产一区二区三区肥胖 | 日韩av无码一区二区三区不卡 | 18精品久久久无码午夜福利 | 激情国产av做激情国产爱 | 久久精品中文字幕大胸 | 一本一道久久综合久久 | √8天堂资源地址中文在线 | 久久精品成人欧美大片 | 老熟妇乱子伦牲交视频 | 国产成人午夜福利在线播放 | 88国产精品欧美一区二区三区 | 97精品人妻一区二区三区香蕉 | 丰满人妻翻云覆雨呻吟视频 | 97夜夜澡人人爽人人喊中国片 | 国产一区二区三区四区五区加勒比 | 国产精品人人爽人人做我的可爱 | 中文字幕av日韩精品一区二区 | 久久精品中文字幕一区 | 日韩精品一区二区av在线 | 国产人成高清在线视频99最全资源 | 性色欲情网站iwww九文堂 | 亚洲精品久久久久中文第一幕 | 国产成人精品视频ⅴa片软件竹菊 | 99久久人妻精品免费一区 | 又大又紧又粉嫩18p少妇 | 亚洲呦女专区 | 国产精品自产拍在线观看 | 55夜色66夜色国产精品视频 | 国产熟妇高潮叫床视频播放 | 激情五月综合色婷婷一区二区 | 国精产品一区二区三区 | 日韩人妻少妇一区二区三区 | 国产超碰人人爽人人做人人添 | 国产av一区二区精品久久凹凸 | 夜先锋av资源网站 | 国内精品九九久久久精品 | 久久99精品久久久久久 | 狠狠综合久久久久综合网 | 国产成人精品无码播放 | 99国产欧美久久久精品 | 99精品视频在线观看免费 | 中文精品无码中文字幕无码专区 | 国产成人无码av片在线观看不卡 | 色婷婷久久一区二区三区麻豆 | 日本丰满护士爆乳xxxx | 少妇太爽了在线观看 | 无码播放一区二区三区 | 成人精品一区二区三区中文字幕 | 高潮喷水的毛片 | 成人无码影片精品久久久 | 少妇高潮一区二区三区99 | 婷婷六月久久综合丁香 | 无码av岛国片在线播放 | 国产明星裸体无码xxxx视频 | 欧美一区二区三区视频在线观看 | 噜噜噜亚洲色成人网站 | 国语自产偷拍精品视频偷 | 国产成人亚洲综合无码 | 国产精品久久久午夜夜伦鲁鲁 | www国产亚洲精品久久久日本 | 国产偷抇久久精品a片69 | 精品无码国产一区二区三区av | 日韩精品乱码av一区二区 | 亚洲精品一区二区三区在线 | 波多野结衣一区二区三区av免费 | 国产激情一区二区三区 | 亚洲国产日韩a在线播放 | 精品 日韩 国产 欧美 视频 | 亚洲成av人片在线观看无码不卡 | 真人与拘做受免费视频一 | 久久国内精品自在自线 | 少妇厨房愉情理9仑片视频 | 中文字幕无码日韩专区 | 曰本女人与公拘交酡免费视频 | 国产在线一区二区三区四区五区 | 精品午夜福利在线观看 | 国产精品福利视频导航 | 国产精品无码成人午夜电影 | 熟妇人妻中文av无码 | 久久99精品国产麻豆蜜芽 | 日韩人妻少妇一区二区三区 | 色婷婷欧美在线播放内射 | 99久久久无码国产aaa精品 | 一个人免费观看的www视频 | 乱人伦人妻中文字幕无码久久网 | 国产精品久久久久久亚洲影视内衣 | 亚洲国产欧美在线成人 | 在线 国产 欧美 亚洲 天堂 | 久久综合狠狠综合久久综合88 | 欧美野外疯狂做受xxxx高潮 | 色综合久久久无码中文字幕 | 国产特级毛片aaaaaaa高清 | 亚洲毛片av日韩av无码 | 好男人社区资源 | 少妇性荡欲午夜性开放视频剧场 | 国内少妇偷人精品视频免费 | 日日摸夜夜摸狠狠摸婷婷 | 精品人妻中文字幕有码在线 | 欧美35页视频在线观看 | 亚洲一区二区三区国产精华液 | 欧洲精品码一区二区三区免费看 | 成年美女黄网站色大免费视频 | 3d动漫精品啪啪一区二区中 | 99久久人妻精品免费二区 | 中文无码伦av中文字幕 | 久久人妻内射无码一区三区 | 5858s亚洲色大成网站www | 亚洲a无码综合a国产av中文 | 欧美变态另类xxxx | 欧美性猛交xxxx富婆 | 亚洲日韩av一区二区三区四区 | 成 人 网 站国产免费观看 | 狂野欧美性猛xxxx乱大交 | 亚洲人成影院在线观看 | 日本乱偷人妻中文字幕 | 少妇无套内谢久久久久 | 老太婆性杂交欧美肥老太 | 粗大的内捧猛烈进出视频 | 国产办公室秘书无码精品99 | 免费视频欧美无人区码 | 中文字幕+乱码+中文字幕一区 | 国产香蕉尹人综合在线观看 | 日本精品久久久久中文字幕 | 亚洲熟熟妇xxxx | 精品无码一区二区三区的天堂 | 日本护士毛茸茸高潮 | 日本大乳高潮视频在线观看 | 无码吃奶揉捏奶头高潮视频 | 波多野结衣乳巨码无在线观看 | 一本久久伊人热热精品中文字幕 | 又黄又爽又色的视频 | 免费国产黄网站在线观看 | 男女爱爱好爽视频免费看 | 蜜臀av无码人妻精品 | 国产成人精品必看 | 日日躁夜夜躁狠狠躁 | 欧美三级a做爰在线观看 | 久久综合色之久久综合 | 国产成人综合在线女婷五月99播放 | 亚洲精品久久久久avwww潮水 | 在线а√天堂中文官网 | 呦交小u女精品视频 | 日本熟妇大屁股人妻 | 激情内射亚州一区二区三区爱妻 | 精品aⅴ一区二区三区 | 亚洲精品中文字幕 | 在教室伦流澡到高潮hnp视频 | 最近免费中文字幕中文高清百度 | 亚洲国产精品一区二区美利坚 | 国产美女精品一区二区三区 | 兔费看少妇性l交大片免费 | 亚洲色大成网站www国产 | 中国女人内谢69xxxx | 激情国产av做激情国产爱 | 无码国产乱人伦偷精品视频 | 午夜精品久久久久久久 | 日韩亚洲欧美精品综合 | 欧美日韩一区二区三区自拍 | 思思久久99热只有频精品66 | 国产成人无码一二三区视频 | 99久久精品午夜一区二区 | 波多野42部无码喷潮在线 | 麻豆国产人妻欲求不满 | 伊人久久大香线蕉av一区二区 | 99精品国产综合久久久久五月天 | 人妻少妇精品视频专区 | 狠狠cao日日穞夜夜穞av | 久久99久久99精品中文字幕 | 欧美xxxx黑人又粗又长 | 国内丰满熟女出轨videos | 亚洲一区二区三区国产精华液 | 久久精品国产亚洲精品 | 精品国产一区二区三区四区在线看 | 性生交大片免费看女人按摩摩 | 黑人巨大精品欧美一区二区 | 国产亚洲精品久久久闺蜜 | 国内精品人妻无码久久久影院蜜桃 | 亚洲日韩av一区二区三区中文 | 色诱久久久久综合网ywww | 夜夜高潮次次欢爽av女 | 1000部啪啪未满十八勿入下载 | 欧美精品一区二区精品久久 | 日韩av无码中文无码电影 | 久久午夜夜伦鲁鲁片无码免费 | 波多野结衣 黑人 | 免费国产成人高清在线观看网站 | 欧美亚洲日韩国产人成在线播放 | 国色天香社区在线视频 | 成人欧美一区二区三区黑人 | 国产福利视频一区二区 | 国产午夜手机精彩视频 | 日韩在线不卡免费视频一区 | 青草青草久热国产精品 | 久久国产精品精品国产色婷婷 | 99久久久无码国产精品免费 | 亚洲国产精品一区二区第一页 | 97夜夜澡人人双人人人喊 | 福利一区二区三区视频在线观看 | av香港经典三级级 在线 | 熟女体下毛毛黑森林 | 熟妇女人妻丰满少妇中文字幕 | 成人欧美一区二区三区 | 麻花豆传媒剧国产免费mv在线 | 免费乱码人妻系列无码专区 | аⅴ资源天堂资源库在线 | 亚洲精品久久久久久久久久久 | 日本熟妇乱子伦xxxx | 免费无码午夜福利片69 | 国产午夜精品一区二区三区嫩草 | 国产婷婷色一区二区三区在线 | 亚洲男人av天堂午夜在 | 麻豆国产丝袜白领秘书在线观看 | 又湿又紧又大又爽a视频国产 | 久久五月精品中文字幕 | 无码成人精品区在线观看 | 4hu四虎永久在线观看 | 久久人人爽人人爽人人片ⅴ | 成人欧美一区二区三区黑人 | 国产成人亚洲综合无码 | 在线观看国产午夜福利片 | 成人一在线视频日韩国产 | 少妇性l交大片欧洲热妇乱xxx | 日本va欧美va欧美va精品 | 中文字幕无码视频专区 | 无套内谢老熟女 | 蜜桃臀无码内射一区二区三区 | 精品人妻中文字幕有码在线 | 人妻天天爽夜夜爽一区二区 | 精品一区二区不卡无码av | 国产国产精品人在线视 | 丰满少妇人妻久久久久久 | 国产精品久久久久久亚洲影视内衣 | 天堂а√在线中文在线 | 国产精品理论片在线观看 | 日日躁夜夜躁狠狠躁 | 欧美日本精品一区二区三区 | 国产偷自视频区视频 | 午夜肉伦伦影院 | 国产精品久久久久久久影院 | 极品尤物被啪到呻吟喷水 | 国产人妻人伦精品1国产丝袜 | 欧美熟妇另类久久久久久多毛 | 国产亚洲人成a在线v网站 | 啦啦啦www在线观看免费视频 | 一本久道久久综合婷婷五月 | 国产69精品久久久久app下载 | 久久99久久99精品中文字幕 | 国产性生大片免费观看性 | 国产一区二区三区四区五区加勒比 | 人妻少妇精品无码专区动漫 | 中文字幕无码人妻少妇免费 | 色欲人妻aaaaaaa无码 | 人妻插b视频一区二区三区 | 久久国产精品偷任你爽任你 | 亚洲 激情 小说 另类 欧美 | √天堂中文官网8在线 | 特黄特色大片免费播放器图片 | 蜜臀av在线观看 在线欧美精品一区二区三区 | 国产人妻精品一区二区三区不卡 | 九九热爱视频精品 | 动漫av一区二区在线观看 | 亚洲狠狠色丁香婷婷综合 | 蜜臀aⅴ国产精品久久久国产老师 | 动漫av一区二区在线观看 | 一本精品99久久精品77 | 国产精品99久久精品爆乳 | 午夜福利电影 | 亚洲 激情 小说 另类 欧美 | 最近中文2019字幕第二页 | 丁香啪啪综合成人亚洲 | 国产97色在线 | 免 | 国产办公室秘书无码精品99 | 极品尤物被啪到呻吟喷水 | 国产成人无码午夜视频在线观看 | 国产真实乱对白精彩久久 | a片在线免费观看 | 久久久久免费精品国产 | 成人免费视频一区二区 | 精品一区二区三区波多野结衣 | 一区二区三区乱码在线 | 欧洲 | 俺去俺来也在线www色官网 | 国产精品美女久久久久av爽李琼 | 成人性做爰aaa片免费看不忠 | 国产无遮挡吃胸膜奶免费看 | 一本色道婷婷久久欧美 | 丰满肥臀大屁股熟妇激情视频 | 麻豆国产人妻欲求不满 | 99在线 | 亚洲 | 中文精品无码中文字幕无码专区 | 乌克兰少妇xxxx做受 | 四虎国产精品免费久久 | 婷婷五月综合缴情在线视频 | 日日躁夜夜躁狠狠躁 | 小泽玛莉亚一区二区视频在线 | 激情内射日本一区二区三区 | 亚洲中文字幕乱码av波多ji | 欧美老人巨大xxxx做受 | 欧美猛少妇色xxxxx | 国产精品视频免费播放 | 精品国产精品久久一区免费式 | 麻豆蜜桃av蜜臀av色欲av | 成年美女黄网站色大免费全看 | 久久亚洲精品成人无码 | 久久天天躁狠狠躁夜夜免费观看 | 久久国产劲爆∧v内射 | 骚片av蜜桃精品一区 | 亚洲欧美国产精品久久 | 日本大香伊一区二区三区 | 久久久久久国产精品无码下载 | 欧美丰满熟妇xxxx | 色婷婷欧美在线播放内射 | 亚洲精品无码国产 | 亚洲熟悉妇女xxx妇女av | 亚洲精品无码国产 | 欧美三级不卡在线观看 | 亚洲经典千人经典日产 | 亚洲国产欧美国产综合一区 | 欧美日韩亚洲国产精品 | 亚无码乱人伦一区二区 | 亚洲精品国产第一综合99久久 | 国产精品久久久久久无码 | 欧美国产日韩久久mv | 国产性生交xxxxx无码 | 国产av无码专区亚洲a∨毛片 | 香港三级日本三级妇三级 | 黑人巨大精品欧美黑寡妇 | 人人爽人人澡人人人妻 | 丝袜 中出 制服 人妻 美腿 | 老熟妇仑乱视频一区二区 | 精品无码国产一区二区三区av | 无套内射视频囯产 | 日本高清一区免费中文视频 | 亚洲色在线无码国产精品不卡 | 国产成人亚洲综合无码 | 偷窥日本少妇撒尿chinese | 亚洲春色在线视频 | 亚洲欧美日韩成人高清在线一区 | 成熟人妻av无码专区 | 亚洲综合另类小说色区 | 老熟女重囗味hdxx69 | 亚洲中文字幕无码中文字在线 | 亚洲欧美国产精品专区久久 | 亚洲爆乳无码专区 | 国产凸凹视频一区二区 | 综合激情五月综合激情五月激情1 | 性生交大片免费看l | 中文字幕无码乱人伦 | 久久精品国产日本波多野结衣 | 亚洲熟妇色xxxxx亚洲 | 亚洲国产精华液网站w | 麻豆av传媒蜜桃天美传媒 | 秋霞特色aa大片 | 国产精品沙发午睡系列 | 国内精品人妻无码久久久影院蜜桃 | 国产亚洲人成在线播放 | 扒开双腿吃奶呻吟做受视频 | 98国产精品综合一区二区三区 | 午夜理论片yy44880影院 | 麻豆果冻传媒2021精品传媒一区下载 | 日本va欧美va欧美va精品 | 国产亚洲欧美日韩亚洲中文色 | 国产av一区二区精品久久凹凸 | 国产97色在线 | 免 | 人妻体内射精一区二区三四 | 人人澡人人妻人人爽人人蜜桃 | 国产精品第一国产精品 | 精品久久综合1区2区3区激情 | 国产亚洲精品精品国产亚洲综合 | 久久国产36精品色熟妇 | 国产69精品久久久久app下载 | 成人试看120秒体验区 | 亚洲国产欧美在线成人 | 乱人伦人妻中文字幕无码 | 亚洲成av人影院在线观看 | 天下第一社区视频www日本 | v一区无码内射国产 | 亚洲精品鲁一鲁一区二区三区 | 精品乱码久久久久久久 | 久久国产精品萌白酱免费 | yw尤物av无码国产在线观看 | 亚洲欧美日韩综合久久久 | 成人无码精品1区2区3区免费看 | 亚洲国产日韩a在线播放 | 国内综合精品午夜久久资源 | 最新国产麻豆aⅴ精品无码 | 亚洲国产精品美女久久久久 | 亚洲精品国产第一综合99久久 | 精品水蜜桃久久久久久久 | 人人澡人人透人人爽 | 久久综合狠狠综合久久综合88 | 全球成人中文在线 | 在线观看国产午夜福利片 | 精品午夜福利在线观看 | 荡女精品导航 | 美女黄网站人色视频免费国产 | 亚洲自偷精品视频自拍 | 成熟女人特级毛片www免费 | 沈阳熟女露脸对白视频 | 久久天天躁狠狠躁夜夜免费观看 | 亚洲天堂2017无码 | 亚洲中文字幕成人无码 | 99久久久国产精品无码免费 | 内射欧美老妇wbb | 永久免费观看国产裸体美女 | 精品国产av色一区二区深夜久久 | 中文久久乱码一区二区 | 在线播放无码字幕亚洲 | 无码精品人妻一区二区三区av | 欧美丰满少妇xxxx性 | 亚洲欧美精品aaaaaa片 | 夜夜影院未满十八勿进 | 中文字幕乱码亚洲无线三区 | 久久久www成人免费毛片 | 亚洲中文字幕乱码av波多ji | 精品国精品国产自在久国产87 | 狠狠色色综合网站 | 最新版天堂资源中文官网 | 小泽玛莉亚一区二区视频在线 | 精品午夜福利在线观看 | 人妻无码久久精品人妻 | 无码国产乱人伦偷精品视频 | 日本一卡2卡3卡4卡无卡免费网站 国产一区二区三区影院 | 亚洲精品鲁一鲁一区二区三区 | 国产一区二区不卡老阿姨 | aⅴ在线视频男人的天堂 | 欧美亚洲日韩国产人成在线播放 | 无码人妻精品一区二区三区下载 | 日韩 欧美 动漫 国产 制服 | 久久精品国产亚洲精品 | 国产精品久久久午夜夜伦鲁鲁 | 帮老师解开蕾丝奶罩吸乳网站 | 无码毛片视频一区二区本码 | 亚洲综合在线一区二区三区 | 亚洲国产日韩a在线播放 | 国产精品内射视频免费 | 最新版天堂资源中文官网 | 亚洲国产日韩a在线播放 | 任你躁国产自任一区二区三区 | 久久久久久久人妻无码中文字幕爆 | 97资源共享在线视频 | 国产精品无码成人午夜电影 | 成人无码影片精品久久久 | 5858s亚洲色大成网站www | 国产精品亚洲一区二区三区喷水 | 欧美丰满熟妇xxxx | 国产性生交xxxxx无码 | 国产乱人无码伦av在线a | 激情内射亚州一区二区三区爱妻 | 欧美性生交活xxxxxdddd | 一本大道伊人av久久综合 | 正在播放老肥熟妇露脸 | 国产亲子乱弄免费视频 | 网友自拍区视频精品 | 国产麻豆精品一区二区三区v视界 | 性欧美videos高清精品 | 亚洲综合无码一区二区三区 | 国产人妻精品一区二区三区 | 精品一区二区不卡无码av | 欧美黑人性暴力猛交喷水 | 成人精品一区二区三区中文字幕 | 国产无套内射久久久国产 | 樱花草在线播放免费中文 | 免费无码午夜福利片69 | 亚洲中文字幕在线无码一区二区 | 55夜色66夜色国产精品视频 | 久久成人a毛片免费观看网站 | 成人影院yy111111在线观看 | 激情五月综合色婷婷一区二区 | 亚洲色欲色欲欲www在线 | 成人一区二区免费视频 | 成人性做爰aaa片免费看 | 亚洲一区二区三区 | 成 人 网 站国产免费观看 | 色综合久久久久综合一本到桃花网 | 精品一二三区久久aaa片 | 日韩精品无码免费一区二区三区 | 狂野欧美性猛交免费视频 | 亚洲aⅴ无码成人网站国产app | 国产av人人夜夜澡人人爽麻豆 | 麻豆果冻传媒2021精品传媒一区下载 | 国产成人无码av一区二区 | 日本在线高清不卡免费播放 | 色五月五月丁香亚洲综合网 | 九九综合va免费看 | 高清无码午夜福利视频 | 免费人成在线视频无码 | 一本久道久久综合婷婷五月 | 亚洲理论电影在线观看 | 成人一在线视频日韩国产 | 亚洲热妇无码av在线播放 | 国产精品亚洲五月天高清 | 人人妻人人澡人人爽人人精品 | 狂野欧美性猛xxxx乱大交 | 成人一在线视频日韩国产 | 国产精品国产自线拍免费软件 | 久久久精品456亚洲影院 | 亚洲中文字幕久久无码 | 性开放的女人aaa片 | 国产莉萝无码av在线播放 | aa片在线观看视频在线播放 | 亚洲成a人片在线观看无码3d | 成人欧美一区二区三区 | 欧洲欧美人成视频在线 | www国产精品内射老师 | 97久久超碰中文字幕 | 免费观看黄网站 | 亚洲中文字幕无码一久久区 | 色婷婷av一区二区三区之红樱桃 | 妺妺窝人体色www婷婷 | av人摸人人人澡人人超碰下载 | 成人动漫在线观看 | 蜜桃视频插满18在线观看 | 亚洲 欧美 激情 小说 另类 | 性欧美熟妇videofreesex | 99精品无人区乱码1区2区3区 | 欧美老妇交乱视频在线观看 | 十八禁视频网站在线观看 |