前言

最近在學(xué)習(xí)深度學(xué)習(xí)，已經(jīng)跑出了幾個(gè)模型，但Pyhton的基礎(chǔ)不夠扎實(shí)，因此，開始補(bǔ)習(xí)Python了，大家都推薦廖雪峰的課程，因此，開始了學(xué)習(xí)，但光學(xué)有沒有用，還要和大家討論一下，因此，寫下這些帖子，廖雪峰的課程連接在這里：廖雪峰
Python的相關(guān)介紹，以及它的歷史故事和運(yùn)行機(jī)制，可以參見這篇：python介紹
Python的安裝可以參見這篇：Python安裝
Python的運(yùn)行模式以及輸入輸出可以參見這篇：Python IO
Python的基礎(chǔ)概念介紹，可以參見這篇：Python 基礎(chǔ)
Python字符串和編碼的介紹，可以參見這篇：Python字符串與編碼
Python基本數(shù)據(jù)結(jié)構(gòu)：list和tuple介紹，可以參見這篇：Python list和tuple
Python控制語句介紹：ifelse，可以參見這篇：Python 條件判斷
Python控制語句介紹：循環(huán)實(shí)現(xiàn)，可以參見這篇：Python循環(huán)語句
Python數(shù)據(jù)結(jié)構(gòu)：dict和set介紹Python數(shù)據(jù)結(jié)構(gòu)dict和set
Python函數(shù)相關(guān)：Python函數(shù)
Python高階特性：Python高級(jí)特性
Python高階函數(shù)：Python高階函數(shù)
Python匿名函數(shù)：Python匿名函數(shù)
Python裝飾器：Python裝飾器
Python偏函數(shù)：Python偏函數(shù)
Python模塊：Python模塊
Python面向?qū)ο缶幊?#xff08;1）：Python面向?qū)ο?
Python面向?qū)ο缶幊?#xff08;2）：Python面向?qū)ο?#xff08;2）
Python面向?qū)ο缶幊?#xff08;3）：Python面向?qū)ο?#xff08;3）
Python面向?qū)ο缶幊?#xff08;4）：Pyhton面向?qū)ο?#xff08;4）
Python面向?qū)ο蟾呒?jí)編程（上）：Python面向?qū)ο蟾呒?jí)編程（上）
Python面向?qū)ο蟾呒?jí)編程（中上）：Python面向?qū)ο蟾呒?jí)編程（中上）
Python面向?qū)ο蟾呒?jí)編程（中下）：Python面向?qū)ο蟾呒?jí)編程（中下）
Python面向?qū)ο蟾呒?jí)編程（完）：Python面向?qū)ο蟾呒?jí)編程（完）
Python錯(cuò)誤調(diào)試（起）：Python調(diào)試：起
Python錯(cuò)誤調(diào)試（承）：Python調(diào)試：承
Python錯(cuò)誤調(diào)試（轉(zhuǎn)）：Python調(diào)試：轉(zhuǎn)
Python錯(cuò)誤調(diào)試（合）：python調(diào)試：合

目錄：

• 前言
• I/O編程
  • 舉栗子
  • 文件流
  • 速度問題
  • 實(shí)現(xiàn)方法
• 文件讀寫
  • 讀文件
  • file-like Object
  • 二進(jìn)制文件
  • 字符編碼
  • 寫文件
  • 小結(jié)

I/O編程

IO在計(jì)算機(jī)中指Input/Output，也就是輸入和輸出。由于程序在運(yùn)行時(shí)數(shù)據(jù)是在內(nèi)存中駐留，由CPU這個(gè)超快的計(jì)算核心來執(zhí)行，涉及到數(shù)據(jù)交換的地方，比如說，播放在硬盤里的視頻時(shí)，需要把數(shù)據(jù)加載到內(nèi)存，通常是磁盤、網(wǎng)絡(luò)等，就需要IO接口。

舉栗子

比如你打開瀏覽器，訪問新浪首頁，瀏覽器這個(gè)程序就需要通過網(wǎng)絡(luò)IO獲取新浪的網(wǎng)頁。瀏覽器首先會(huì)發(fā)送數(shù)據(jù)給新浪服務(wù)器，告訴它我想要首頁的HTML，這個(gè)動(dòng)作是往外發(fā)數(shù)據(jù)，叫Output，隨后新浪服務(wù)器把網(wǎng)頁發(fā)過來，這個(gè)動(dòng)作是從外面接收數(shù)據(jù)，叫Input。所以，通常，程序完成IO操作會(huì)有Input和Output兩個(gè)數(shù)據(jù)流。當(dāng)然也有只用一個(gè)的情況，比如，從磁盤讀取文件到內(nèi)存，就只有Input操作，反過來，把數(shù)據(jù)寫到磁盤文件里，就只是一個(gè)Output操作。

文件流

IO編程中，Stream（流）是一個(gè)很重要的概念，可以把流想象成一個(gè)水管，數(shù)據(jù)就是水管里的水，但是只能單向流動(dòng)。Input Stream就是數(shù)據(jù)從外面（磁盤、網(wǎng)絡(luò)）流進(jìn)內(nèi)存，Output Stream就是數(shù)據(jù)從內(nèi)存流到外面去。對(duì)于瀏覽網(wǎng)頁來說，瀏覽器和新浪服務(wù)器之間至少需要建立兩根水管，才可以既能發(fā)數(shù)據(jù)，又能收數(shù)據(jù)。

速度問題

由于CPU和內(nèi)存的速度遠(yuǎn)遠(yuǎn)高于外設(shè)的速度，所以，在IO編程中，就存在速度嚴(yán)重不匹配的問題。舉個(gè)例子來說，比如要把100M的數(shù)據(jù)寫入磁盤，CPU輸出100M的數(shù)據(jù)只需要0.01秒，可是磁盤要接收這100M數(shù)據(jù)可能需要10秒，怎么辦呢？有兩種辦法：

第一種是CPU等著，也就是程序暫停執(zhí)行后續(xù)代碼，等100M的數(shù)據(jù)在10秒后寫入磁盤，再接著往下執(zhí)行，這種模式稱為同步IO；
另一種方法是CPU不等待，只是告訴磁盤，“您老慢慢寫，不著急，我接著干別的事去了”，于是，后續(xù)代碼可以立刻接著執(zhí)行，這種模式稱為異步IO。

同步和異步的區(qū)別就在于是否等待IO執(zhí)行的結(jié)果。好比你去麥當(dāng)勞點(diǎn)餐，你說“來個(gè)漢堡”，服務(wù)員告訴你，對(duì)不起，漢堡要現(xiàn)做，需要等5分鐘，于是你站在收銀臺(tái)前面等了5分鐘，拿到漢堡再去逛商場(chǎng)，這是同步IO。

你說“來個(gè)漢堡”，服務(wù)員告訴你，漢堡需要等5分鐘，你可以先去位子上坐著，等做好了，我們?cè)偻ㄖ?#xff0c;這樣你可以立刻去干別的事情（坐在位置上玩手機(jī)），這是異步IO。

實(shí)現(xiàn)方法

很明顯，使用異步IO來編寫程序性能會(huì)遠(yuǎn)遠(yuǎn)高于同步IO，但是異步IO的缺點(diǎn)是編程模型復(fù)雜。想想看，你得知道什么時(shí)候通知你“漢堡做好了”，而通知你的方法也各不相同。如果是服務(wù)員跑過來找到你，這是回調(diào)模式，如果服務(wù)員發(fā)短信通知你，你就得不停地檢查手機(jī)，這是輪詢模式。總之，異步IO的復(fù)雜度遠(yuǎn)遠(yuǎn)高于同步IO。
操作IO的能力都是由操作系統(tǒng)提供的，每一種編程語言都會(huì)把操作系統(tǒng)提供的低級(jí)C接口封裝起來方便使用，Python也不例外。我們后面會(huì)詳細(xì)討論P(yáng)ython的IO編程接口。
注意，本章的IO編程都是同步模式，異步IO由于復(fù)雜度太高，后續(xù)涉及到服務(wù)器端程序開發(fā)時(shí)我們?cè)儆懻摗?/p>

文件讀寫

讀寫文件是最常見的IO操作。Python內(nèi)置了讀寫文件的函數(shù)，使用方法和C是兼容的。
讀寫文件前，我們先必須了解一下，在磁盤上讀寫文件的功能都是由操作系統(tǒng)提供的，現(xiàn)代操作系統(tǒng)不允許普通的程序直接操作磁盤，所以，讀寫文件就是請(qǐng)求操作系統(tǒng)打開一個(gè)文件對(duì)象（通常稱為文件描述符），然后，通過操作系統(tǒng)提供的接口從這個(gè)文件對(duì)象中讀取數(shù)據(jù)（讀文件），或者把數(shù)據(jù)寫入這個(gè)文件對(duì)象（寫文件）。

讀文件

要以讀文件的模式打開一個(gè)文件對(duì)象，使用Python內(nèi)置的open()函數(shù)，傳入文件名和標(biāo)示符：

>>> f = open('/Users/michael/test.txt', 'r')

標(biāo)示符’r’表示讀，這樣，我們就成功地打開了一個(gè)文件。

如果文件不存在，open()函數(shù)就會(huì)拋出一個(gè)IOError的錯(cuò)誤，并且給出錯(cuò)誤碼和詳細(xì)的信息告訴你文件不存在：

>>> f=open('/Users/michael/notfound.txt', 'r') Traceback (most recent call last):File "<stdin>", line 1, in <module> FileNotFoundError: [Errno 2] No such file or directory: '/Users/michael/notfound.txt'

如果文件打開成功，接下來，調(diào)用read()方法可以一次讀取文件的全部內(nèi)容，Python把內(nèi)容讀到內(nèi)存，用一個(gè)str對(duì)象表示：

>>> f.read() 'Hello, world!'

最后一步是調(diào)用close()方法關(guān)閉文件。文件使用完畢后必須關(guān)閉，因?yàn)槲募?duì)象會(huì)占用操作系統(tǒng)的資源，并且操作系統(tǒng)同一時(shí)間能打開的文件數(shù)量也是有限的，必須要養(yǎng)成這樣良好的習(xí)慣：

>>> f.close()

由于文件讀寫時(shí)都有可能產(chǎn)生IOError，一旦出錯(cuò)，后面的f.close()就不會(huì)調(diào)用。所以，為了保證無論是否出錯(cuò)都能正確地關(guān)閉文件，我們可以使用try … finally來實(shí)現(xiàn)：

try:f = open('/path/to/file', 'r')print(f.read()) finally:if f:f.close()

但是每次都這么寫實(shí)在太繁瑣，所以，Python引入了with語句來自動(dòng)幫我們調(diào)用close()方法：

with open('/path/to/file', 'r') as f:print(f.read())

這就時(shí)python的高明之處。
這和前面的try … finally是一樣的，但是代碼更佳簡(jiǎn)潔，并且不必調(diào)用f.close()方法。

調(diào)用read()會(huì)一次性讀取文件的全部內(nèi)容，如果文件有10G，內(nèi)存就爆了，所以，要保險(xiǎn)起見，可以反復(fù)調(diào)用read(size)方法，每次最多讀取size個(gè)字節(jié)的內(nèi)容。另外，調(diào)用readline()可以每次讀取一行內(nèi)容，調(diào)用readlines()一次讀取所有內(nèi)容并按行返回list。因此，要根據(jù)需要決定怎么調(diào)用，按需定制。

如果文件很小，read()一次性讀取最方便；如果不能確定文件大小，反復(fù)調(diào)用read(size)比較保險(xiǎn)；如果是配置文件，調(diào)用readlines()最方便：

for line in f.readlines():print(line.strip()) # 把末尾的'\n'刪掉

file-like Object

像open()函數(shù)返回的這種有個(gè)read()方法的對(duì)象，在Python中統(tǒng)稱為file-like Object。除了file外，還可以是內(nèi)存的字節(jié)流，網(wǎng)絡(luò)流，自定義流等等。file-like Object不要求從特定類繼承，只要寫個(gè)read()方法就行。
StringIO就是在內(nèi)存中創(chuàng)建的file-like Object，常用作臨時(shí)緩沖。

二進(jìn)制文件

前面講的默認(rèn)都是讀取文本文件，并且是UTF-8編碼的文本文件。要讀取二進(jìn)制文件，比如圖片、視頻等等，用’rb’模式打開文件即可：

>>> f = open('/Users/michael/test.jpg', 'rb') >>> f.read() b'\xff\xd8\xff\xe1\x00\x18Exif\x00\x00...' # 十六進(jìn)制表示的字節(jié)

字符編碼

要讀取非UTF-8編碼的文本文件，需要給open()函數(shù)傳入encoding參數(shù)，例如，讀取GBK編碼的文件：

>>> f = open('/Users/michael/gbk.txt', 'r', encoding='gbk') >>> f.read() '測(cè)試'

遇到有些編碼不規(guī)范的文件，你可能會(huì)遇到UnicodeDecodeError，因?yàn)樵谖谋疚募锌赡軍A雜了一些非法編碼的字符。遇到這種情況，open()函數(shù)還接收一個(gè)errors參數(shù)，表示如果遇到編碼錯(cuò)誤后如何處理。最簡(jiǎn)單的方式是直接忽略：

>>> f = open('/Users/michael/gbk.txt', 'r', encoding='gbk', errors='ignore')

寫文件

寫文件和讀文件是一樣的，唯一區(qū)別是調(diào)用open()函數(shù)時(shí)，傳入標(biāo)識(shí)符’w’或者’wb’表示寫文本文件或?qū)懚M(jìn)制文件：

>>> f = open('/Users/michael/test.txt', 'w') >>> f.write('Hello, world!') >>> f.close()

你可以反復(fù)調(diào)用write()來寫入文件，但是務(wù)必要調(diào)用f.close()來關(guān)閉文件。當(dāng)我們寫文件時(shí)，操作系統(tǒng)往往不會(huì)立刻把數(shù)據(jù)寫入磁盤，而是放到內(nèi)存緩存起來，空閑的時(shí)候再慢慢寫入。只有調(diào)用close()方法時(shí)，操作系統(tǒng)才保證把沒有寫入的數(shù)據(jù)全部寫入磁盤。忘記調(diào)用close()的后果是數(shù)據(jù)可能只寫了一部分到磁盤，剩下的丟失了。所以，還是用with語句來得保險(xiǎn)：

with open('/Users/michael/test.txt', 'w') as f:f.write('Hello, world!')

要寫入特定編碼的文本文件，請(qǐng)給open()函數(shù)傳入encoding參數(shù)，將字符串自動(dòng)轉(zhuǎn)換成指定編碼。

細(xì)心的童鞋會(huì)發(fā)現(xiàn)，以’w’模式寫入文件時(shí)，如果文件已存在，會(huì)直接覆蓋（相當(dāng)于刪掉后新寫入一個(gè)文件）。如果我們希望追加到文件末尾怎么辦？可以傳入’a’以追加（append）模式寫入。

所有模式的定義及含義可以參考官方文檔

小結(jié)

在Python中，文件讀寫是通過open()函數(shù)打開的文件對(duì)象完成的。使用with語句操作文件IO是個(gè)好習(xí)慣。

總結(jié)

以上是生活随笔為你收集整理的Python学习笔记：I/O编程的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。