#pytho 基礎(chǔ)之socket編程

?

一 客戶(hù)端/服務(wù)器架構(gòu)

1.硬件C/S架構(gòu)(打印機(jī))

2.軟件C/S架構(gòu)

　　互聯(lián)網(wǎng)中處處是C/S架構(gòu)

　　如黃色網(wǎng)站是服務(wù)端，你的瀏覽器是客戶(hù)端（B/S架構(gòu)也是C/S架構(gòu)的一種）

　　騰訊作為服務(wù)端為你提供視頻，你得下個(gè)騰訊視頻客戶(hù)端才能看它的視頻）

C/S架構(gòu)與socket的關(guān)系：

我們學(xué)習(xí)socket就是為了完成C/S架構(gòu)的開(kāi)發(fā)

二 osi七層

引子：

須知一個(gè)完整的計(jì)算機(jī)系統(tǒng)是由硬件、操作系統(tǒng)、應(yīng)用軟件三者組成,具備了這三個(gè)條件，一臺(tái)計(jì)算機(jī)系統(tǒng)就可以自己跟自己玩了（打個(gè)單機(jī)游戲，玩?zhèn)€掃雷啥的）

如果你要跟別人一起玩，那你就需要上網(wǎng)了，什么是互聯(lián)網(wǎng)？

互聯(lián)網(wǎng)的核心就是由一堆協(xié)議組成，協(xié)議就是標(biāo)準(zhǔn)，比如全世界人通信的標(biāo)準(zhǔn)是英語(yǔ)

如果把計(jì)算機(jī)比作人，互聯(lián)網(wǎng)協(xié)議就是計(jì)算機(jī)界的英語(yǔ)。所有的計(jì)算機(jī)都學(xué)會(huì)了互聯(lián)網(wǎng)協(xié)議，那所有的計(jì)算機(jī)都就可以按照統(tǒng)一的標(biāo)準(zhǔn)去收發(fā)信息從而完成通信了。

人們按照分工不同把互聯(lián)網(wǎng)協(xié)議從邏輯上劃分了層級(jí)，

詳見(jiàn)網(wǎng)絡(luò)通信原理：http://www.cnblogs.com/linhaifeng/articles/5937962.html

?

為何學(xué)習(xí)socket一定要先學(xué)習(xí)互聯(lián)網(wǎng)協(xié)議：

1.首先：本節(jié)課程的目標(biāo)就是教會(huì)你如何基于socket編程，來(lái)開(kāi)發(fā)一款自己的C/S架構(gòu)軟件

2.其次：C/S架構(gòu)的軟件（軟件屬于應(yīng)用層）是基于網(wǎng)絡(luò)進(jìn)行通信的

3.然后：網(wǎng)絡(luò)的核心即一堆協(xié)議，協(xié)議即標(biāo)準(zhǔn)，你想開(kāi)發(fā)一款基于網(wǎng)絡(luò)通信的軟件，就必須遵循這些標(biāo)準(zhǔn)。

4.最后：就讓我們從這些標(biāo)準(zhǔn)開(kāi)始研究，開(kāi)啟我們的socket編程之旅

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖1

?

三 socket層

在圖1中，我們沒(méi)有看到Socket的影子，那么它到底在哪里呢？還是用圖來(lái)說(shuō)話(huà)，一目了然。??

　　　　　　　　　　　　　　　　　　　圖2

四 socket是什么

Socket是應(yīng)用層與TCP/IP協(xié)議族通信的中間軟件抽象層，它是一組接口。在設(shè)計(jì)模式中，Socket其實(shí)就是一個(gè)門(mén)面模式，它把復(fù)雜的TCP/IP協(xié)議族隱藏在Socket接口后面，對(duì)用戶(hù)來(lái)說(shuō)，一組簡(jiǎn)單的接口就是全部，讓Socket去組織數(shù)據(jù)，以符合指定的協(xié)議。

所以，我們無(wú)需深入理解tcp/udp協(xié)議，socket已經(jīng)為我們封裝好了，我們只需要遵循socket的規(guī)定去編程，寫(xiě)出的程序自然就是遵循tcp/udp標(biāo)準(zhǔn)的。

也有人將socket說(shuō)成ip+port，ip是用來(lái)標(biāo)識(shí)互聯(lián)網(wǎng)中的一臺(tái)主機(jī)的位置，而port是用來(lái)標(biāo)識(shí)這臺(tái)機(jī)器上的一個(gè)應(yīng)用程序，ip地址是配置到網(wǎng)卡上的，而port是應(yīng)用程序開(kāi)啟的，ip與port的綁定就標(biāo)識(shí)了互聯(lián)網(wǎng)中獨(dú)一無(wú)二的一個(gè)應(yīng)用程序而程序的pid是同一臺(tái)機(jī)器上不同進(jìn)程或者線程的標(biāo)識(shí)

五 套接字發(fā)展史及分類(lèi)

套接字起源于 20 世紀(jì) 70 年代加利福尼亞大學(xué)伯克利分校版本的 Unix,即人們所說(shuō)的 BSD Unix。 因此,有時(shí)人們也把套接字稱(chēng)為“伯克利套接字”或“BSD 套接字”。一開(kāi)始,套接字被設(shè)計(jì)用在同 一臺(tái)主機(jī)上多個(gè)應(yīng)用程序之間的通訊。這也被稱(chēng)進(jìn)程間通訊,或 IPC。套接字有兩種（或者稱(chēng)為有兩個(gè)種族）,分別是基于文件型的和基于網(wǎng)絡(luò)型的。?

基于文件類(lèi)型的套接字家族

套接字家族的名字：AF_UNIX

unix一切皆文件，基于文件的套接字調(diào)用的就是底層的文件系統(tǒng)來(lái)取數(shù)據(jù)，兩個(gè)套接字進(jìn)程運(yùn)行在同一機(jī)器，可以通過(guò)訪問(wèn)同一個(gè)文件系統(tǒng)間接完成通信

基于網(wǎng)絡(luò)類(lèi)型的套接字家族

套接字家族的名字：AF_INET

(還有AF_INET6被用于ipv6，還有一些其他的地址家族，不過(guò)，他們要么是只用于某個(gè)平臺(tái)，要么就是已經(jīng)被廢棄，或者是很少被使用，或者是根本沒(méi)有實(shí)現(xiàn)，所有地址家族中，AF_INET是使用最廣泛的一個(gè)，python支持很多種地址家族，但是由于我們只關(guān)心網(wǎng)絡(luò)編程，所以大部分時(shí)候我么只使用AF_INET)

六 套接字工作流程

?一個(gè)生活中的場(chǎng)景。你要打電話(huà)給一個(gè)朋友，先撥號(hào)，朋友聽(tīng)到電話(huà)鈴聲后提起電話(huà)，這時(shí)你和你的朋友就建立起了連接，就可以講話(huà)了。等交流結(jié)束，掛斷電話(huà)結(jié)束此次交談。?生活中的場(chǎng)景就解釋了這工作原理。

? ? ??

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖3 ? ? ??

先從服務(wù)器端說(shuō)起。服務(wù)器端先初始化Socket，然后與端口綁定(bind)，對(duì)端口進(jìn)行監(jiān)聽(tīng)(listen)，調(diào)用accept阻塞，等待客戶(hù)端連接。在這時(shí)如果有個(gè)客戶(hù)端初始化一個(gè)Socket，然后連接服務(wù)器(connect)，如果連接成功，這時(shí)客戶(hù)端與服務(wù)器端的連接就建立了。客戶(hù)端發(fā)送數(shù)據(jù)請(qǐng)求，服務(wù)器端接收請(qǐng)求并處理請(qǐng)求，然后把回應(yīng)數(shù)據(jù)發(fā)送給客戶(hù)端，客戶(hù)端讀取數(shù)據(jù)，最后關(guān)閉連接，一次交互結(jié)束

socket()模塊函數(shù)用法

1 import socket2 socket.socket(socket_family,socket_type,protocal=0)3 socket_family 可以是 AF_UNIX 或 AF_INET。socket_type 可以是 SOCK_STREAM 或 SOCK_DGRAM。protocol 一般不填,默認(rèn)值為 0。4 5 獲取tcp/ip套接字6 tcpSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)7 8 獲取udp/ip套接字9 udpSock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) 10 11 由于 socket 模塊中有太多的屬性。我們?cè)谶@里破例使用了'from module import *'語(yǔ)句。使用 'from socket import *',我們就把 socket 模塊里的所有屬性都帶到我們的命名空間里了,這樣能 大幅減短我們的代碼。 12 例如tcpSock = socket(AF_INET, SOCK_STREAM) 服務(wù)端套接字函數(shù)
s.bind() 綁定(主機(jī),端口號(hào))到套接字
s.listen() 開(kāi)始TCP監(jiān)聽(tīng)
s.accept() 被動(dòng)接受TCP客戶(hù)的連接,(阻塞式)等待連接的到來(lái)

客戶(hù)端套接字函數(shù)
s.connect() 主動(dòng)初始化TCP服務(wù)器連接
s.connect_ex() connect()函數(shù)的擴(kuò)展版本,出錯(cuò)時(shí)返回出錯(cuò)碼,而不是拋出異常

公共用途的套接字函數(shù)
s.recv() 接收TCP數(shù)據(jù)
s.send() 發(fā)送TCP數(shù)據(jù)(send在待發(fā)送數(shù)據(jù)量大于己端緩存區(qū)剩余空間時(shí),數(shù)據(jù)丟失,不會(huì)發(fā)完)
s.sendall() 發(fā)送完整的TCP數(shù)據(jù)(本質(zhì)就是循環(huán)調(diào)用send,sendall在待發(fā)送數(shù)據(jù)量大于己端緩存區(qū)剩余空間時(shí),數(shù)據(jù)不丟失,循環(huán)調(diào)用send直到發(fā)完)
s.recvfrom() 接收UDP數(shù)據(jù)
s.sendto() 發(fā)送UDP數(shù)據(jù)
s.getpeername() 連接到當(dāng)前套接字的遠(yuǎn)端的地址
s.getsockname() 當(dāng)前套接字的地址
s.getsockopt() 返回指定套接字的參數(shù)
s.setsockopt() 設(shè)置指定套接字的參數(shù)
s.close() 關(guān)閉套接字

面向鎖的套接字方法
s.setblocking() 設(shè)置套接字的阻塞與非阻塞模式
s.settimeout() 設(shè)置阻塞套接字操作的超時(shí)時(shí)間
s.gettimeout() 得到阻塞套接字操作的超時(shí)時(shí)間

面向文件的套接字的函數(shù)
s.fileno() 套接字的文件描述符
s.makefile() 創(chuàng)建一個(gè)與該套接字相關(guān)的文件

讀者勿看：socket實(shí)驗(yàn)推演流程

1：用打電話(huà)的流程快速描述socket通信 2：服務(wù)端和客戶(hù)端加上基于一次鏈接的循環(huán)通信 3：客戶(hù)端發(fā)送空，卡主，證明是從哪個(gè)位置卡的 服務(wù)端： from socket import * phone=socket(AF_INET,SOCK_STREAM) phone.bind(('127.0.0.1',8081)) phone.listen(5) conn,addr=phone.accept() while True: data=conn.recv(1024) print('server===>') print(data) conn.send(data.upper()) conn.close() phone.close() 客戶(hù)端： from socket import * phone=socket(AF_INET,SOCK_STREAM) phone.connect(('127.0.0.1',8081)) while True: msg=input('>>: ').strip() phone.send(msg.encode('utf-8')) print('client====>') data=phone.recv(1024) print(data) 說(shuō)明卡的原因：緩沖區(qū)為空recv就卡住，引出原理圖 4.演示客戶(hù)端斷開(kāi)鏈接，服務(wù)端的情況，提供解決方法 5.演示服務(wù)端不能重復(fù)接受鏈接，而服務(wù)器都是正常運(yùn)行不斷來(lái)接受客戶(hù)鏈接的 6:簡(jiǎn)單演示udp 服務(wù)端 from socket import * phone=socket(AF_INET,SOCK_DGRAM) phone.bind(('127.0.0.1',8082)) while True: msg,addr=phone.recvfrom(1024) phone.sendto(msg.upper(),addr) 客戶(hù)端 from socket import * phone=socket(AF_INET,SOCK_DGRAM) while True: msg=input('>>: ') phone.sendto(msg.encode('utf-8'),('127.0.0.1',8082)) msg,addr=phone.recvfrom(1024) print(msg) udp客戶(hù)端可以并發(fā)演示 udp客戶(hù)端可以輸入為空演示，說(shuō)出recvfrom與recv的區(qū)別，暫且不提t(yī)cp流和udp報(bào)的概念，留到粘包去說(shuō)

七 基于TCP的套接字

tcp是基于鏈接的，必須先啟動(dòng)服務(wù)端，然后再啟動(dòng)客戶(hù)端去鏈接服務(wù)端

tcp服務(wù)端

1 ss = socket() #創(chuàng)建服務(wù)器套接字 2 ss.bind() #把地址綁定到套接字 3 ss.listen() #監(jiān)聽(tīng)鏈接 4 inf_loop: #服務(wù)器無(wú)限循環(huán) 5 cs = ss.accept() #接受客戶(hù)端鏈接 6 comm_loop: #通訊循環(huán) 7 cs.recv()/cs.send() #對(duì)話(huà)(接收與發(fā)送) 8 cs.close() #關(guān)閉客戶(hù)端套接字 9 ss.close() #關(guān)閉服務(wù)器套接字(可選)

tcp客戶(hù)端

1 cs = socket() # 創(chuàng)建客戶(hù)套接字 2 cs.connect() # 嘗試連接服務(wù)器 3 comm_loop: # 通訊循環(huán) 4 cs.send()/cs.recv() # 對(duì)話(huà)(發(fā)送/接收) 5 cs.close() # 關(guān)閉客戶(hù)套接字

socket通信流程與打電話(huà)流程類(lèi)似，我們就以打電話(huà)為例來(lái)實(shí)現(xiàn)一個(gè)low版的套接字通信

服務(wù)端

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' import socket ip_port=('127.0.0.1',9000) #電話(huà)卡 BUFSIZE=1024 #收發(fā)消息的尺寸 s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #買(mǎi)手機(jī) s.bind(ip_port) #手機(jī)插卡 s.listen(5) #手機(jī)待機(jī) conn,addr=s.accept() #手機(jī)接電話(huà) # print(conn) # print(addr) print('接到來(lái)自%s的電話(huà)' %addr[0]) msg=conn.recv(BUFSIZE) #聽(tīng)消息,聽(tīng)話(huà) print(msg,type(msg)) conn.send(msg.upper()) #發(fā)消息,說(shuō)話(huà) conn.close() #掛電話(huà) s.close() #手機(jī)關(guān)機(jī)

客戶(hù)端

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' import socket ip_port=('127.0.0.1',9000) BUFSIZE=1024 s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) s.connect_ex(ip_port) #撥電話(huà) s.send('linhaifeng nb'.encode('utf-8')) #發(fā)消息,說(shuō)話(huà)(只能發(fā)送字節(jié)類(lèi)型) feedback=s.recv(BUFSIZE) #收消息,聽(tīng)話(huà) print(feedback.decode('utf-8')) s.close() #掛電話(huà)

加上鏈接循環(huán)與通信循環(huán)

服務(wù)端改進(jìn)版

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' import socket ip_port=('127.0.0.1',8081)#電話(huà)卡 BUFSIZE=1024 s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #買(mǎi)手機(jī) s.bind(ip_port) #手機(jī)插卡 s.listen(5) #手機(jī)待機(jī) while True: #新增接收鏈接循環(huán),可以不停的接電話(huà) conn,addr=s.accept() #手機(jī)接電話(huà) # print(conn) # print(addr) print('接到來(lái)自%s的電話(huà)' %addr[0]) while True: #新增通信循環(huán),可以不斷的通信,收發(fā)消息 msg=conn.recv(BUFSIZE) #聽(tīng)消息,聽(tīng)話(huà) # if len(msg) == 0:break #如果不加,那么正在鏈接的客戶(hù)端突然斷開(kāi),recv便不再阻塞,死循環(huán)發(fā)生 print(msg,type(msg)) conn.send(msg.upper()) #發(fā)消息,說(shuō)話(huà) conn.close() #掛電話(huà) s.close() #手機(jī)關(guān)機(jī)

客戶(hù)端改進(jìn)版

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' import socket ip_port=('127.0.0.1',8081) BUFSIZE=1024 s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) s.connect_ex(ip_port) #撥電話(huà) while True: #新增通信循環(huán),客戶(hù)端可以不斷發(fā)收消息 msg=input('>>: ').strip() if len(msg) == 0:continue s.send(msg.encode('utf-8')) #發(fā)消息,說(shuō)話(huà)(只能發(fā)送字節(jié)類(lèi)型) feedback=s.recv(BUFSIZE) #收消息,聽(tīng)話(huà) print(feedback.decode('utf-8')) s.close() #掛電話(huà)

問(wèn)題：

有的同學(xué)在重啟服務(wù)端時(shí)可能會(huì)遇到

這個(gè)是由于你的服務(wù)端仍然存在四次揮手的time_wait狀態(tài)在占用地址（如果不懂，請(qǐng)深入研究1.tcp三次握手，四次揮手 2.syn洪水攻擊 3.服務(wù)器高并發(fā)情況下會(huì)有大量的time_wait狀態(tài)的優(yōu)化方法）

解決方法：

方法一

#加入一條socket配置，重用ip和端口phone=socket(AF_INET,SOCK_STREAM) phone.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #就是它，在bind前加 phone.bind(('127.0.0.1',8080))

方法二

發(fā)現(xiàn)系統(tǒng)存在大量TIME_WAIT狀態(tài)的連接，通過(guò)調(diào)整linux內(nèi)核參數(shù)解決， vi /etc/sysctl.conf編輯文件，加入以下內(nèi)容： net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_fin_timeout = 30 然后執(zhí)行 /sbin/sysctl -p 讓參數(shù)生效。 net.ipv4.tcp_syncookies = 1 表示開(kāi)啟SYN Cookies。當(dāng)出現(xiàn)SYN等待隊(duì)列溢出時(shí)，啟用cookies來(lái)處理，可防范少量SYN攻擊，默認(rèn)為0，表示關(guān)閉； net.ipv4.tcp_tw_reuse = 1 表示開(kāi)啟重用。允許將TIME-WAIT sockets重新用于新的TCP連接，默認(rèn)為0，表示關(guān)閉； net.ipv4.tcp_tw_recycle = 1 表示開(kāi)啟TCP連接中TIME-WAIT sockets的快速回收，默認(rèn)為0，表示關(guān)閉。 net.ipv4.tcp_fin_timeout 修改系統(tǒng)默認(rèn)的 TIMEOUT 時(shí)間

八 基于UDP的套接字

udp是無(wú)鏈接的，先啟動(dòng)哪一端都不會(huì)報(bào)錯(cuò)

udp服務(wù)端

1 ss = socket() #創(chuàng)建一個(gè)服務(wù)器的套接字 2 ss.bind() #綁定服務(wù)器套接字 3 inf_loop: #服務(wù)器無(wú)限循環(huán) 4 cs = ss.recvfrom()/ss.sendto() # 對(duì)話(huà)(接收與發(fā)送) 5 ss.close() # 關(guān)閉服務(wù)器套接字

udp客戶(hù)端

cs = socket() # 創(chuàng)建客戶(hù)套接字 comm_loop: # 通訊循環(huán)cs.sendto()/cs.recvfrom() # 對(duì)話(huà)(發(fā)送/接收) cs.close() # 關(guān)閉客戶(hù)套接字

udp套接字簡(jiǎn)單示例

udp服務(wù)端

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' import socket ip_port=('127.0.0.1',8081) udp_server_sock=socket.socket(socket.AF_INET,socket.SOCK_DGRAM) #買(mǎi)手機(jī) udp_server_sock.bind(ip_port) while True: qq_msg,addr=udp_server_sock.recvfrom(1024) print('來(lái)自[%s:%s]的一條消息:\033[1;44m%s\033[0m' %(addr[0],addr[1],qq_msg.decode('utf-8'))) back_msg=input('回復(fù)消息: ').strip() udp_server_sock.sendto(back_msg.encode('utf-8'),addr)

udp客戶(hù)端1

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' import socket BUFSIZE=1024 udp_client_socket=socket.socket(socket.AF_INET,socket.SOCK_DGRAM) qq_name_dic={ '狗哥alex':('127.0.0.1',8081), '瞎驢':('127.0.0.1',8081), '一棵樹(shù)':('127.0.0.1',8081), '武大郎':('127.0.0.1',8081), } while True: qq_name=input('請(qǐng)選擇聊天對(duì)象: ').strip() while True: msg=input('請(qǐng)輸入消息,回車(chē)發(fā)送: ').strip() if msg == 'quit':break if not msg or not qq_name or qq_name not in qq_name_dic:continue udp_client_socket.sendto(msg.encode('utf-8'),qq_name_dic[qq_name]) back_msg,addr=udp_client_socket.recvfrom(BUFSIZE) print('來(lái)自[%s:%s]的一條消息:\033[1;44m%s\033[0m' %(addr[0],addr[1],back_msg.decode('utf-8'))) udp_client_socket.close()

udp客戶(hù)端2

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' import socket BUFSIZE=1024 udp_client_socket=socket.socket(socket.AF_INET,socket.SOCK_DGRAM) qq_name_dic={ '狗哥alex':('127.0.0.1',8081), '瞎驢':('127.0.0.1',8081), '一棵樹(shù)':('127.0.0.1',8081), '武大郎':('127.0.0.1',8081), } while True: qq_name=input('請(qǐng)選擇聊天對(duì)象: ').strip() while True: msg=input('請(qǐng)輸入消息,回車(chē)發(fā)送: ').strip() if msg == 'quit':break if not msg or not qq_name or qq_name not in qq_name_dic:continue udp_client_socket.sendto(msg.encode('utf-8'),qq_name_dic[qq_name]) back_msg,addr=udp_client_socket.recvfrom(BUFSIZE) print('來(lái)自[%s:%s]的一條消息:\033[1;44m%s\033[0m' %(addr[0],addr[1],back_msg.decode('utf-8'))) udp_client_socket.close()

服務(wù)端運(yùn)行結(jié)果

客戶(hù)端1運(yùn)行結(jié)果

客戶(hù)端2運(yùn)行結(jié)果

時(shí)間服務(wù)器

ntp服務(wù)器

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' from socket import * from time import strftime ip_port=('127.0.0.1',9000) bufsize=1024 tcp_server=socket(AF_INET,SOCK_DGRAM) tcp_server.bind(ip_port) while True: msg,addr=tcp_server.recvfrom(bufsize) print('===>',msg) if not msg: time_fmt='%Y-%m-%d %X' else: time_fmt=msg.decode('utf-8') back_msg=strftime(time_fmt) tcp_server.sendto(back_msg.encode('utf-8'),addr) tcp_server.close()

ntp客戶(hù)端

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' from socket import * ip_port=('127.0.0.1',9000) bufsize=1024 tcp_client=socket(AF_INET,SOCK_DGRAM) while True: msg=input('請(qǐng)輸入時(shí)間格式(例%Y %m %d)>>: ').strip() tcp_client.sendto(msg.encode('utf-8'),ip_port) data=tcp_client.recv(bufsize) print(data.decode('utf-8')) tcp_client.close()

九 粘包現(xiàn)象

讓我們基于tcp先制作一個(gè)遠(yuǎn)程執(zhí)行命令的程序（1：執(zhí)行錯(cuò)誤命令 2：執(zhí)行l(wèi)s 3：執(zhí)行ifconfig）

注意注意注意：

res=subprocess.Popen(cmd.decode('utf-8'),
shell=True,
stderr=subprocess.PIPE,
stdout=subprocess.PIPE)

的結(jié)果的編碼是以當(dāng)前所在的系統(tǒng)為準(zhǔn)的，如果是windows，那么res.stdout.read()讀出的就是GBK編碼的，在接收端需要用GBK解碼

且只能從管道里讀一次結(jié)果

注意：命令ls -l ; lllllll ; pwd 的結(jié)果是既有正確stdout結(jié)果，又有錯(cuò)誤stderr結(jié)果

服務(wù)端

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' from socket import * import subprocess ip_port=('127.0.0.1',8080) BUFSIZE=1024 tcp_socket_server=socket(AF_INET,SOCK_STREAM) tcp_socket_server.bind(ip_port) tcp_socket_server.listen(5) while True: conn,addr=tcp_socket_server.accept() print('客戶(hù)端',addr) while True: cmd=conn.recv(BUFSIZE) if len(cmd) == 0:break res=subprocess.Popen(cmd.decode('utf-8'),shell=True, stdout=subprocess.PIPE, stdin=subprocess.PIPE, stderr=subprocess.PIPE) stderr=act_res.stderr.read() stdout=act_res.stdout.read() conn.send(stderr) conn.send(stdout)

客戶(hù)端

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' import socket BUFSIZE=1024 ip_port=('127.0.0.1',8080) s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) res=s.connect_ex(ip_port) while True: msg=input('>>: ').strip() if len(msg) == 0:continue if msg == 'quit':break s.send(msg.encode('utf-8')) act_res=s.recv(BUFSIZE) print(act_res.decode('utf-8'),end='')

上述程序是基于tcp的socket，在運(yùn)行時(shí)會(huì)發(fā)生粘包

?

讓我們?cè)倩趗dp制作一個(gè)遠(yuǎn)程執(zhí)行命令的程序

服務(wù)端

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' #_*_coding:utf-8_*_ __author__ = 'Linhaifeng' from socket import * import subprocess ip_port=('127.0.0.1',9003) bufsize=1024 udp_server=socket(AF_INET,SOCK_DGRAM) udp_server.bind(ip_port) while True: #收消息 cmd,addr=udp_server.recvfrom(bufsize) print('用戶(hù)命令----->',cmd) #邏輯處理 res=subprocess.Popen(cmd.decode('utf-8'),shell=True,stderr=subprocess.PIPE,stdin=subprocess.PIPE,stdout=subprocess.PIPE) stderr=res.stderr.read() stdout=res.stdout.read() #發(fā)消息 udp_server.sendto(stderr,addr) udp_server.sendto(stdout,addr) udp_server.close()

客戶(hù)端

from socket import * ip_port=('127.0.0.1',9003) bufsize=1024 udp_client=socket(AF_INET,SOCK_DGRAM) while True: msg=input('>>: ').strip() udp_client.sendto(msg.encode('utf-8'),ip_port) data,addr=udp_client.recvfrom(bufsize) print(data.decode('utf-8'),end='')

上述程序是基于udp的socket，在運(yùn)行時(shí)永遠(yuǎn)不會(huì)發(fā)生粘包

十 什么是粘包

須知：只有TCP有粘包現(xiàn)象，UDP永遠(yuǎn)不會(huì)粘包，為何，且聽(tīng)我娓娓道來(lái)

首先需要掌握一個(gè)socket收發(fā)消息的原理

?

發(fā)送端可以是一K一K地發(fā)送數(shù)據(jù)，而接收端的應(yīng)用程序可以?xún)蒏兩K地提走數(shù)據(jù)，當(dāng)然也有可能一次提走3K或6K數(shù)據(jù)，或者一次只提走幾個(gè)字節(jié)的數(shù)據(jù)，也就是說(shuō)，應(yīng)用程序所看到的數(shù)據(jù)是一個(gè)整體，或說(shuō)是一個(gè)流（stream），一條消息有多少字節(jié)對(duì)應(yīng)用程序是不可見(jiàn)的，因此TCP協(xié)議是面向流的協(xié)議，這也是容易出現(xiàn)粘包問(wèn)題的原因。而UDP是面向消息的協(xié)議，每個(gè)UDP段都是一條消息，應(yīng)用程序必須以消息為單位提取數(shù)據(jù)，不能一次提取任意字節(jié)的數(shù)據(jù)，這一點(diǎn)和TCP是很不同的。怎樣定義消息呢？可以認(rèn)為對(duì)方一次性write/send的數(shù)據(jù)為一個(gè)消息，需要明白的是當(dāng)對(duì)方send一條信息的時(shí)候，無(wú)論底層怎樣分段分片，TCP協(xié)議層會(huì)把構(gòu)成整條消息的數(shù)據(jù)段排序完成后才呈現(xiàn)在內(nèi)核緩沖區(qū)。

例如基于tcp的套接字客戶(hù)端往服務(wù)端上傳文件，發(fā)送時(shí)文件內(nèi)容是按照一段一段的字節(jié)流發(fā)送的，在接收方看了，根本不知道該文件的字節(jié)流從何處開(kāi)始，在何處結(jié)束

所謂粘包問(wèn)題主要還是因?yàn)榻邮辗讲恢老⒅g的界限，不知道一次性提取多少字節(jié)的數(shù)據(jù)所造成的。

此外，發(fā)送方引起的粘包是由TCP協(xié)議本身造成的，TCP為提高傳輸效率，發(fā)送方往往要收集到足夠多的數(shù)據(jù)后才發(fā)送一個(gè)TCP段。若連續(xù)幾次需要send的數(shù)據(jù)都很少，通常TCP會(huì)根據(jù)優(yōu)化算法把這些數(shù)據(jù)合成一個(gè)TCP段后一次發(fā)送出去，這樣接收方就收到了粘包數(shù)據(jù)。

TCP（transport control protocol，傳輸控制協(xié)議）是面向連接的，面向流的，提供高可靠性服務(wù)。收發(fā)兩端（客戶(hù)端和服務(wù)器端）都要有一一成對(duì)的socket，因此，發(fā)送端為了將多個(gè)發(fā)往接收端的包，更有效的發(fā)到對(duì)方，使用了優(yōu)化方法（Nagle算法），將多次間隔較小且數(shù)據(jù)量小的數(shù)據(jù)，合并成一個(gè)大的數(shù)據(jù)塊，然后進(jìn)行封包。這樣，接收端，就難于分辨出來(lái)了，必須提供科學(xué)的拆包機(jī)制。 即面向流的通信是無(wú)消息保護(hù)邊界的。

UDP（user datagram protocol，用戶(hù)數(shù)據(jù)報(bào)協(xié)議）是無(wú)連接的，面向消息的，提供高效率服務(wù)。不會(huì)使用塊的合并優(yōu)化算法，, 由于UDP支持的是一對(duì)多的模式，所以接收端的skbuff(套接字緩沖區(qū)）采用了鏈?zhǔn)浇Y(jié)構(gòu)來(lái)記錄每一個(gè)到達(dá)的UDP包，在每個(gè)UDP包中就有了消息頭（消息來(lái)源地址，端口等信息），這樣，對(duì)于接收端來(lái)說(shuō)，就容易進(jìn)行區(qū)分處理了。?即面向消息的通信是有消息保護(hù)邊界的。

tcp是基于數(shù)據(jù)流的，于是收發(fā)的消息不能為空，這就需要在客戶(hù)端和服務(wù)端都添加空消息的處理機(jī)制，防止程序卡住，而udp是基于數(shù)據(jù)報(bào)的，即便是你輸入的是空內(nèi)容（直接回車(chē)），那也不是空消息，udp協(xié)議會(huì)幫你封裝上消息頭，實(shí)驗(yàn)略

udp的recvfrom是阻塞的，一個(gè)recvfrom(x)必須對(duì)唯一一個(gè)sendinto(y),收完了x個(gè)字節(jié)的數(shù)據(jù)就算完成,若是y>x數(shù)據(jù)就丟失，這意味著udp根本不會(huì)粘包，但是會(huì)丟數(shù)據(jù)，不可靠

tcp的協(xié)議數(shù)據(jù)不會(huì)丟，沒(méi)有收完包，下次接收，會(huì)繼續(xù)上次繼續(xù)接收，己端總是在收到ack時(shí)才會(huì)清除緩沖區(qū)內(nèi)容。數(shù)據(jù)是可靠的，但是會(huì)粘包。

兩種情況下會(huì)發(fā)生粘包。

發(fā)送端需要等緩沖區(qū)滿(mǎn)才發(fā)送出去，造成粘包（發(fā)送數(shù)據(jù)時(shí)間間隔很短，數(shù)據(jù)了很小，會(huì)合到一起，產(chǎn)生粘包）

服務(wù)端

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' from socket import * ip_port=('127.0.0.1',8080) tcp_socket_server=socket(AF_INET,SOCK_STREAM) tcp_socket_server.bind(ip_port) tcp_socket_server.listen(5) conn,addr=tcp_socket_server.accept() data1=conn.recv(10) data2=conn.recv(10) print('----->',data1.decode('utf-8')) print('----->',data2.decode('utf-8')) conn.close()

客戶(hù)端

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' import socket BUFSIZE=1024 ip_port=('127.0.0.1',8080) s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) res=s.connect_ex(ip_port) s.send('hello'.encode('utf-8')) s.send('feng'.encode('utf-8'))

接收方不及時(shí)接收緩沖區(qū)的包，造成多個(gè)包接收（客戶(hù)端發(fā)送了一段數(shù)據(jù)，服務(wù)端只收了一小部分，服務(wù)端下次再收的時(shí)候還是從緩沖區(qū)拿上次遺留的數(shù)據(jù)，產(chǎn)生粘包）?

服務(wù)端

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' from socket import * ip_port=('127.0.0.1',8080) tcp_socket_server=socket(AF_INET,SOCK_STREAM) tcp_socket_server.bind(ip_port) tcp_socket_server.listen(5) conn,addr=tcp_socket_server.accept() data1=conn.recv(2) #一次沒(méi)有收完整 data2=conn.recv(10)#下次收的時(shí)候,會(huì)先取舊的數(shù)據(jù),然后取新的 print('----->',data1.decode('utf-8')) print('----->',data2.decode('utf-8')) conn.close()

客戶(hù)端

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' import socket BUFSIZE=1024 ip_port=('127.0.0.1',8080) s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) res=s.connect_ex(ip_port) s.send('hello feng'.encode('utf-8'))

拆包的發(fā)生情況

當(dāng)發(fā)送端緩沖區(qū)的長(zhǎng)度大于網(wǎng)卡的MTU時(shí)，tcp會(huì)將這次發(fā)送的數(shù)據(jù)拆成幾個(gè)數(shù)據(jù)包發(fā)送出去。

補(bǔ)充問(wèn)題一：為何tcp是可靠傳輸，udp是不可靠傳輸

基于tcp的數(shù)據(jù)傳輸請(qǐng)參考我的另一篇文章http://www.cnblogs.com/linhaifeng/articles/5937962.html，tcp在數(shù)據(jù)傳輸時(shí)，發(fā)送端先把數(shù)據(jù)發(fā)送到自己的緩存中，然后協(xié)議控制將緩存中的數(shù)據(jù)發(fā)往對(duì)端，對(duì)端返回一個(gè)ack=1，發(fā)送端則清理緩存中的數(shù)據(jù)，對(duì)端返回ack=0，則重新發(fā)送數(shù)據(jù)，所以tcp是可靠的

而udp發(fā)送數(shù)據(jù)，對(duì)端是不會(huì)返回確認(rèn)信息的，因此不可靠

補(bǔ)充問(wèn)題二：send(字節(jié)流)和recv(1024)及sendall

recv里指定的1024意思是從緩存里一次拿出1024個(gè)字節(jié)的數(shù)據(jù)

send的字節(jié)流是先放入己端緩存，然后由協(xié)議控制將緩存內(nèi)容發(fā)往對(duì)端，如果待發(fā)送的字節(jié)流大小大于緩存剩余空間，那么數(shù)據(jù)丟失，用sendall就會(huì)循環(huán)調(diào)用send，數(shù)據(jù)不會(huì)丟失

十一 解決粘包的low比處理方法

問(wèn)題的根源在于，接收端不知道發(fā)送端將要傳送的字節(jié)流的長(zhǎng)度，所以解決粘包的方法就是圍繞，如何讓發(fā)送端在發(fā)送數(shù)據(jù)前，把自己將要發(fā)送的字節(jié)流總大小讓接收端知曉，然后接收端來(lái)一個(gè)死循環(huán)接收完所有數(shù)據(jù)

low版本的解決方法

服務(wù)端

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' import socket,subprocess ip_port=('127.0.0.1',8080) s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) s.bind(ip_port) s.listen(5) while True: conn,addr=s.accept() print('客戶(hù)端',addr) while True: msg=conn.recv(1024) if not msg:break res=subprocess.Popen(msg.decode('utf-8'),shell=True,\ stdin=subprocess.PIPE,\ stderr=subprocess.PIPE,\ stdout=subprocess.PIPE) err=res.stderr.read() if err: ret=err else: ret=res.stdout.read() data_length=len(ret) conn.send(str(data_length).encode('utf-8')) data=conn.recv(1024).decode('utf-8') if data == 'recv_ready': conn.sendall(ret) conn.close() 客戶(hù)端 #_*_coding:utf-8_*_ __author__ = 'Linhaifeng' import socket,time s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) res=s.connect_ex(('127.0.0.1',8080)) while True: msg=input('>>: ').strip() if len(msg) == 0:continue if msg == 'quit':break s.send(msg.encode('utf-8')) length=int(s.recv(1024).decode('utf-8')) s.send('recv_ready'.encode('utf-8')) send_size=0 recv_size=0 data=b'' while recv_size < length: data+=s.recv(1024) recv_size+=len(data) print(data.decode('utf-8'))

為何low：

程序的運(yùn)行速度遠(yuǎn)快于網(wǎng)絡(luò)傳輸速度，所以在發(fā)送一段字節(jié)前，先用send去發(fā)送該字節(jié)流長(zhǎng)度，這種方式會(huì)放大網(wǎng)絡(luò)延遲帶來(lái)的性能損耗

十二 解決粘包的方法

為字節(jié)流加上自定義固定長(zhǎng)度報(bào)頭，報(bào)頭中包含字節(jié)流長(zhǎng)度，然后一次send到對(duì)端，對(duì)端在接收時(shí)，先從緩存中取出定長(zhǎng)的報(bào)頭，然后再取真實(shí)數(shù)據(jù)

struct模塊?

該模塊可以把一個(gè)類(lèi)型，如數(shù)字，轉(zhuǎn)成固定長(zhǎng)度的bytes

>>> struct.pack('i',1111111111111)

。。。。。。。。。

struct.error: 'i' format requires -2147483648 <= number <= 2147483647 #這個(gè)是范圍

import json,struct #假設(shè)通過(guò)客戶(hù)端上傳1T:1073741824000的文件a.txt#為避免粘包,必須自定制報(bào)頭 header={'file_size':1073741824000,'file_name':'/a/b/c/d/e/a.txt','md5':'8f6fbf8347faa4924a76856701edb0f3'} #1T數(shù)據(jù),文件路徑和md5值#為了該報(bào)頭能傳送,需要序列化并且轉(zhuǎn)為bytes head_bytes=bytes(json.dumps(header),encoding='utf-8') #序列化并轉(zhuǎn)成bytes,用于傳輸#為了讓客戶(hù)端知道報(bào)頭的長(zhǎng)度,用struck將報(bào)頭長(zhǎng)度這個(gè)數(shù)字轉(zhuǎn)成固定長(zhǎng)度:4個(gè)字節(jié) head_len_bytes=struct.pack('i',len(head_bytes)) #這4個(gè)字節(jié)里只包含了一個(gè)數(shù)字,該數(shù)字是報(bào)頭的長(zhǎng)度#客戶(hù)端開(kāi)始發(fā)送 conn.send(head_len_bytes) #先發(fā)報(bào)頭的長(zhǎng)度,4個(gè)bytes conn.send(head_bytes) #再發(fā)報(bào)頭的字節(jié)格式 conn.sendall(文件內(nèi)容) #然后發(fā)真實(shí)內(nèi)容的字節(jié)格式#服務(wù)端開(kāi)始接收 head_len_bytes=s.recv(4) #先收?qǐng)?bào)頭4個(gè)bytes,得到報(bào)頭長(zhǎng)度的字節(jié)格式 x=struct.unpack('i',head_len_bytes)[0] #提取報(bào)頭的長(zhǎng)度head_bytes=s.recv(x) #按照?qǐng)?bào)頭長(zhǎng)度x,收取報(bào)頭的bytes格式 header=json.loads(json.dumps(header)) #提取報(bào)頭#最后根據(jù)報(bào)頭的內(nèi)容提取真實(shí)的數(shù)據(jù),比如 real_data_len=s.recv(header['file_size']) s.recv(real_data_len)

關(guān)于struct的詳細(xì)用法

#_*_coding:utf-8_*_ #http://www.cnblogs.com/coser/archive/2011/12/17/2291160.html __author__ = 'Linhaifeng' import struct import binascii import ctypes values1 = (1, 'abc'.encode('utf-8'), 2.7) values2 = ('defg'.encode('utf-8'),101) s1 = struct.Struct('I3sf') s2 = struct.Struct('4sI') print(s1.size,s2.size) prebuffer=ctypes.create_string_buffer(s1.size+s2.size) print('Before : ',binascii.hexlify(prebuffer)) # t=binascii.hexlify('asdfaf'.encode('utf-8')) # print(t) s1.pack_into(prebuffer,0,*values1) s2.pack_into(prebuffer,s1.size,*values2) print('After pack',binascii.hexlify(prebuffer)) print(s1.unpack_from(prebuffer,0)) print(s2.unpack_from(prebuffer,s1.size)) s3=struct.Struct('ii') s3.pack_into(prebuffer,0,123,123) print('After pack',binascii.hexlify(prebuffer)) print(s3.unpack_from(prebuffer,0))

服務(wù)端（自定制報(bào)頭）

import socket,struct,json import subprocess phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) phone.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) #就是它，在bind前加 phone.bind(('127.0.0.1',8080)) phone.listen(5) while True: conn,addr=phone.accept() while True: cmd=conn.recv(1024) if not cmd:break print('cmd: %s' %cmd) res=subprocess.Popen(cmd.decode('utf-8'), shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE) err=res.stderr.read() print(err) if err: back_msg=err else: back_msg=res.stdout.read() conn.send(struct.pack('i',len(back_msg))) #先發(fā)back_msg的長(zhǎng)度 conn.sendall(back_msg) #在發(fā)真實(shí)的內(nèi)容 conn.close()

客戶(hù)端（自定制報(bào)頭）

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' import socket,time,struct s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) res=s.connect_ex(('127.0.0.1',8080)) while True: msg=input('>>: ').strip() if len(msg) == 0:continue if msg == 'quit':break s.send(msg.encode('utf-8')) l=s.recv(4) x=struct.unpack('i',l)[0] print(type(x),x) # print(struct.unpack('I',l)) r_s=0 data=b'' while r_s < x: r_d=s.recv(1024) data+=r_d r_s+=len(r_d) # print(data.decode('utf-8')) print(data.decode('gbk')) #windows默認(rèn)gbk編碼

我們可以把報(bào)頭做成字典，字典里包含將要發(fā)送的真實(shí)數(shù)據(jù)的詳細(xì)信息，然后json序列化，然后用struck將序列化后的數(shù)據(jù)長(zhǎng)度打包成4個(gè)字節(jié)（4個(gè)自己足夠用了）

發(fā)送時(shí)：

先發(fā)報(bào)頭長(zhǎng)度

再編碼報(bào)頭內(nèi)容然后發(fā)送

最后發(fā)真實(shí)內(nèi)容

?

接收時(shí)：

先手報(bào)頭長(zhǎng)度，用struct取出來(lái)

根據(jù)取出的長(zhǎng)度收取報(bào)頭內(nèi)容，然后解碼，反序列化

從反序列化的結(jié)果中取出待取數(shù)據(jù)的詳細(xì)信息，然后去取真實(shí)的數(shù)據(jù)內(nèi)容

服務(wù)端：定制稍微復(fù)雜一點(diǎn)的報(bào)頭

import socket,struct,json import subprocess phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) phone.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) #就是它，在bind前加 phone.bind(('127.0.0.1',8080)) phone.listen(5) while True: conn,addr=phone.accept() while True: cmd=conn.recv(1024) if not cmd:break print('cmd: %s' %cmd) res=subprocess.Popen(cmd.decode('utf-8'), shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE) err=res.stderr.read() print(err) if err: back_msg=err else: back_msg=res.stdout.read() headers={'data_size':len(back_msg)} head_json=json.dumps(headers) head_json_bytes=bytes(head_json,encoding='utf-8') conn.send(struct.pack('i',len(head_json_bytes))) #先發(fā)報(bào)頭的長(zhǎng)度 conn.send(head_json_bytes) #再發(fā)報(bào)頭 conn.sendall(back_msg) #在發(fā)真實(shí)的內(nèi)容 conn.close()

客戶(hù)端

from socket import * import struct,jsonip_port=('127.0.0.1',8080) client=socket(AF_INET,SOCK_STREAM) client.connect(ip_port) while True: cmd=input('>>: ') if not cmd:continue client.send(bytes(cmd,encoding='utf-8')) head=client.recv(4) head_json_len=struct.unpack('i',head)[0] head_json=json.loads(client.recv(head_json_len).decode('utf-8')) data_len=head_json['data_size'] recv_size=0 recv_data=b'' while recv_size < data_len: recv_data+=client.recv(1024) recv_size+=len(recv_data) print(recv_data.decode('utf-8')) #print(recv_data.decode('gbk')) #windows默認(rèn)gbk編碼

FTP作業(yè)：上傳下載文件

服務(wù)端

import socket import struct import json import subprocess import os class MYTCPServer: address_family = socket.AF_INET socket_type = socket.SOCK_STREAM allow_reuse_address = False max_packet_size = 8192 coding='utf-8' request_queue_size = 5 server_dir='file_upload' def __init__(self, server_address, bind_and_activate=True): """Constructor. May be extended, do not override.""" self.server_address=server_address self.socket = socket.socket(self.address_family, self.socket_type) if bind_and_activate: try: self.server_bind() self.server_activate() except: self.server_close() raise def server_bind(self): """Called by constructor to bind the socket. """ if self.allow_reuse_address: self.socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) self.socket.bind(self.server_address) self.server_address = self.socket.getsockname() def server_activate(self): """Called by constructor to activate the server. """ self.socket.listen(self.request_queue_size) def server_close(self): """Called to clean-up the server. """ self.socket.close() def get_request(self): """Get the request and client address from the socket. """ return self.socket.accept() def close_request(self, request): """Called to clean up an individual request.""" request.close() def run(self): while True: self.conn,self.client_addr=self.get_request() print('from client ',self.client_addr) while True: try: head_struct = self.conn.recv(4) if not head_struct:break head_len = struct.unpack('i', head_struct)[0] head_json = self.conn.recv(head_len).decode(self.coding) head_dic = json.loads(head_json) print(head_dic) #head_dic={'cmd':'put','filename':'a.txt','filesize':123123} cmd=head_dic['cmd'] if hasattr(self,cmd): func=getattr(self,cmd) func(head_dic) except Exception: break def put(self,args): file_path=os.path.normpath(os.path.join( self.server_dir, args['filename'] )) filesize=args['filesize'] recv_size=0 print('----->',file_path) with open(file_path,'wb') as f: while recv_size < filesize: recv_data=self.conn.recv(self.max_packet_size) f.write(recv_data) recv_size+=len(recv_data) print('recvsize:%s filesize:%s' %(recv_size,filesize)) tcpserver1=MYTCPServer(('127.0.0.1',8080)) tcpserver1.run() #下列代碼與本題無(wú)關(guān) class MYUDPServer: """UDP server class.""" address_family = socket.AF_INET socket_type = socket.SOCK_DGRAM allow_reuse_address = False max_packet_size = 8192 coding='utf-8' def get_request(self): data, client_addr = self.socket.recvfrom(self.max_packet_size) return (data, self.socket), client_addr def server_activate(self): # No need to call listen() for UDP. pass def shutdown_request(self, request): # No need to shutdown anything. self.close_request(request) def close_request(self, request): # No need to close anything. pass

客戶(hù)端

import socket import struct import json import os class MYTCPClient: address_family = socket.AF_INET socket_type = socket.SOCK_STREAM allow_reuse_address = False max_packet_size = 8192 coding='utf-8' request_queue_size = 5 def __init__(self, server_address, connect=True): self.server_address=server_address self.socket = socket.socket(self.address_family, self.socket_type) if connect: try: self.client_connect() except: self.client_close() raise def client_connect(self): self.socket.connect(self.server_address) def client_close(self): self.socket.close() def run(self): while True: inp=input(">>: ").strip() if not inp:continue l=inp.split() cmd=l[0] if hasattr(self,cmd): func=getattr(self,cmd) func(l) def put(self,args): cmd=args[0] filename=args[1] if not os.path.isfile(filename): print('file:%s is not exists' %filename) return else: filesize=os.path.getsize(filename) head_dic={'cmd':cmd,'filename':os.path.basename(filename),'filesize':filesize} print(head_dic) head_json=json.dumps(head_dic) head_json_bytes=bytes(head_json,encoding=self.coding) head_struct=struct.pack('i',len(head_json_bytes)) self.socket.send(head_struct) self.socket.send(head_json_bytes) send_size=0 with open(filename,'rb') as f: for line in f: self.socket.send(line) send_size+=len(line) print(send_size) else: print('upload successful') client=MYTCPClient(('127.0.0.1',8080)) client.run()

十三 認(rèn)證客戶(hù)端的鏈接合法性

如果你想在分布式系統(tǒng)中實(shí)現(xiàn)一個(gè)簡(jiǎn)單的客戶(hù)端鏈接認(rèn)證功能，又不像SSL那么復(fù)雜，那么利用hmac+加鹽的方式來(lái)實(shí)現(xiàn)

服務(wù)端

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' from socket import * import hmac,os secret_key=b'linhaifeng bang bang bang' def conn_auth(conn): ''' 認(rèn)證客戶(hù)端鏈接 :param conn: :return: ''' print('開(kāi)始驗(yàn)證新鏈接的合法性') msg=os.urandom(32) conn.sendall(msg) h=hmac.new(secret_key,msg) digest=h.digest() respone=conn.recv(len(digest)) return hmac.compare_digest(respone,digest) def data_handler(conn,bufsize=1024): if not conn_auth(conn): print('該鏈接不合法,關(guān)閉') conn.close() return print('鏈接合法,開(kāi)始通信') while True: data=conn.recv(bufsize) if not data:break conn.sendall(data.upper()) def server_handler(ip_port,bufsize,backlog=5): ''' 只處理鏈接 :param ip_port: :return: ''' tcp_socket_server=socket(AF_INET,SOCK_STREAM) tcp_socket_server.bind(ip_port) tcp_socket_server.listen(backlog) while True: conn,addr=tcp_socket_server.accept() print('新連接[%s:%s]' %(addr[0],addr[1])) data_handler(conn,bufsize) if __name__ == '__main__': ip_port=('127.0.0.1',9999) bufsize=1024 server_handler(ip_port,bufsize)

客戶(hù)端（合法）

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' from socket import * import hmac,os secret_key=b'linhaifeng bang bang bang' def conn_auth(conn): ''' 驗(yàn)證客戶(hù)端到服務(wù)器的鏈接 :param conn: :return: ''' msg=conn.recv(32) h=hmac.new(secret_key,msg) digest=h.digest() conn.sendall(digest) def client_handler(ip_port,bufsize=1024): tcp_socket_client=socket(AF_INET,SOCK_STREAM) tcp_socket_client.connect(ip_port) conn_auth(tcp_socket_client) while True: data=input('>>: ').strip() if not data:continue if data == 'quit':break tcp_socket_client.sendall(data.encode('utf-8')) respone=tcp_socket_client.recv(bufsize) print(respone.decode('utf-8')) tcp_socket_client.close() if __name__ == '__main__': ip_port=('127.0.0.1',9999) bufsize=1024 client_handler(ip_port,bufsize)

客戶(hù)端(非法:不知道加密方式)

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' from socket import * def client_handler(ip_port,bufsize=1024): tcp_socket_client=socket(AF_INET,SOCK_STREAM) tcp_socket_client.connect(ip_port) while True: data=input('>>: ').strip() if not data:continue if data == 'quit':break tcp_socket_client.sendall(data.encode('utf-8')) respone=tcp_socket_client.recv(bufsize) print(respone.decode('utf-8')) tcp_socket_client.close() if __name__ == '__main__': ip_port=('127.0.0.1',9999) bufsize=1024 client_handler(ip_port,bufsize)

客戶(hù)端(非法:不知道secret_key)

#_*_coding:utf-8_*_ __author__ = 'Linhaifeng' from socket import * import hmac,os secret_key=b'linhaifeng bang bang bang1111' def conn_auth(conn): ''' 驗(yàn)證客戶(hù)端到服務(wù)器的鏈接 :param conn: :return: ''' msg=conn.recv(32) h=hmac.new(secret_key,msg) digest=h.digest() conn.sendall(digest) def client_handler(ip_port,bufsize=1024): tcp_socket_client=socket(AF_INET,SOCK_STREAM) tcp_socket_client.connect(ip_port) conn_auth(tcp_socket_client) while True: data=input('>>: ').strip() if not data:continue if data == 'quit':break tcp_socket_client.sendall(data.encode('utf-8')) respone=tcp_socket_client.recv(bufsize) print(respone.decode('utf-8')) tcp_socket_client.close() if __name__ == '__main__': ip_port=('127.0.0.1',9999) bufsize=1024 client_handler(ip_port,bufsize)

十四 socketserver實(shí)現(xiàn)并發(fā)

基于tcp的套接字，關(guān)鍵就是兩個(gè)循環(huán)，一個(gè)鏈接循環(huán)，一個(gè)通信循環(huán)

socketserver模塊中分兩大類(lèi)：server類(lèi)（解決鏈接問(wèn)題）和request類(lèi)（解決通信問(wèn)題）

server類(lèi)：

request類(lèi)：

繼承關(guān)系:

?

?

?

以下述代碼為例，分析socketserver源碼：

ftpserver=socketserver.ThreadingTCPServer(('127.0.0.1',8080),FtpServer)
ftpserver.serve_forever()

查找屬性的順序：ThreadingTCPServer->ThreadingMixIn->TCPServer->BaseServer

實(shí)例化得到ftpserver，先找類(lèi)ThreadingTCPServer的__init__,在TCPServer中找到，進(jìn)而執(zhí)行server_bind,server_active

找ftpserver下的serve_forever,在BaseServer中找到，進(jìn)而執(zhí)行self._handle_request_noblock()，該方法同樣是在BaseServer中

執(zhí)行self._handle_request_noblock()進(jìn)而執(zhí)行request, client_address = self.get_request()（就是TCPServer中的self.socket.accept()），然后執(zhí)行self.process_request(request, client_address)

在ThreadingMixIn中找到process_request，開(kāi)啟多線程應(yīng)對(duì)并發(fā)，進(jìn)而執(zhí)行process_request_thread，執(zhí)行self.finish_request(request, client_address)

上述四部分完成了鏈接循環(huán)，本部分開(kāi)始進(jìn)入處理通訊部分，在BaseServer中找到finish_request,觸發(fā)我們自己定義的類(lèi)的實(shí)例化，去找__init__方法，而我們自己定義的類(lèi)沒(méi)有該方法，則去它的父類(lèi)也就是BaseRequestHandler中找....

源碼分析總結(jié)：

基于tcp的socketserver我們自己定義的類(lèi)中的

　　self.server即套接字對(duì)象

　　self.request即一個(gè)鏈接

　　self.client_address即客戶(hù)端地址

基于udp的socketserver我們自己定義的類(lèi)中的

　　self.request是一個(gè)元組（第一個(gè)元素是客戶(hù)端發(fā)來(lái)的數(shù)據(jù)，第二部分是服務(wù)端的udp套接字對(duì)象），如(b'adsf', <socket.socket fd=200, family=AddressFamily.AF_INET, type=SocketKind.SOCK_DGRAM, proto=0, laddr=('127.0.0.1', 8080)>)

　　self.client_address即客戶(hù)端地址

FtpServer

import socketserver import struct import json import os class FtpServer(socketserver.BaseRequestHandler): coding='utf-8' server_dir='file_upload' max_packet_size=1024 BASE_DIR=os.path.dirname(os.path.abspath(__file__)) def handle(self): print(self.request) while True: data=self.request.recv(4) data_len=struct.unpack('i',data)[0] head_json=self.request.recv(data_len).decode(self.coding) head_dic=json.loads(head_json) # print(head_dic) cmd=head_dic['cmd'] if hasattr(self,cmd): func=getattr(self,cmd) func(head_dic) def put(self,args): file_path = os.path.normpath(os.path.join( self.BASE_DIR, self.server_dir, args['filename'] )) filesize = args['filesize'] recv_size = 0 print('----->', file_path) with open(file_path, 'wb') as f: while recv_size < filesize: recv_data = self.request.recv(self.max_packet_size) f.write(recv_data) recv_size += len(recv_data) print('recvsize:%s filesize:%s' % (recv_size, filesize)) ftpserver=socketserver.ThreadingTCPServer(('127.0.0.1',8080),FtpServer) ftpserver.serve_forever()

FtpClient

import socket import struct import json import os class MYTCPClient: address_family = socket.AF_INET socket_type = socket.SOCK_STREAM allow_reuse_address = False max_packet_size = 8192 coding='utf-8' request_queue_size = 5 def __init__(self, server_address, connect=True): self.server_address=server_address self.socket = socket.socket(self.address_family, self.socket_type) if connect: try: self.client_connect() except: self.client_close() raise def client_connect(self): self.socket.connect(self.server_address) def client_close(self): self.socket.close() def run(self): while True: inp=input(">>: ").strip() if not inp:continue l=inp.split() cmd=l[0] if hasattr(self,cmd): func=getattr(self,cmd) func(l) def put(self,args): cmd=args[0] filename=args[1] if not os.path.isfile(filename): print('file:%s is not exists' %filename) return else: filesize=os.path.getsize(filename) head_dic={'cmd':cmd,'filename':os.path.basename(filename),'filesize':filesize} print(head_dic) head_json=json.dumps(head_dic) head_json_bytes=bytes(head_json,encoding=self.coding) head_struct=struct.pack('i',len(head_json_bytes)) self.socket.send(head_struct) self.socket.send(head_json_bytes) send_size=0 with open(filename,'rb') as f: for line in f: self.socket.send(line) send_size+=len(line) print(send_size) else: print('upload successful') client=MYTCPClient(('127.0.0.1',8080)) client.run()

#Python編程之異常處理

詳情請(qǐng)看：http://www.cnblogs.com/linhaifeng/articles/6232220.html

?

轉(zhuǎn)載于:https://www.cnblogs.com/zheng-xi/p/8377849.html

與50位技術(shù)專(zhuān)家面對(duì)面20年技術(shù)見(jiàn)證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的Python学习-基础篇7 网络编程的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。