導讀：Python有兩種類型可以表示字符序列：一種是bytes，另一種是str。

作者：布雷特·斯拉特金（Brett Slatkin）

來源：大數據DT（ID：hzdashuju）

bytes實例包含的是原始數據，即8位的無符號值（通常按照ASCII編碼標準來顯示）。

a?=?b'h\x65llo' print(list(a)) print(a) >>> [104,?101,?108,?108,?111] b'hello'

str實例包含的是Unicode碼點（code point，也叫作代碼點），這些碼點與人類語言之中的文本字符相對應。

a?=?'a\u0300?propos' print(list(a)) print(a) >>> ['a',?'`',?'?',?'p',?'r',?'o',?'p',?'o',?'s'] à?propos

大家一定要記住：str實例不一定非要用某一種固定的方案編碼成二進制數據，bytes實例也不一定非要按照某一種固定的方案解碼成字符串。

• 要把Unicode數據轉換成二進制數據，必須調用str的encode方法。

• 要把二進制數據轉換成Unicode數據，必須調用bytes的decode方法。

調用這些方法的時候，可以明確指出自己要使用的編碼方案，也可以采用系統默認的方案，通常是指UTF-8（但有時也不一定，下面就會講到這個問題）。

編寫Python程序的時候，一定要把解碼和編碼操作放在界面最外層來做，讓程序的核心部分可以使用Unicode數據來運作，這種辦法通常叫作Unicode三明治（Unicode sandwich）。程序的核心部分，應該用str類型來表示Unicode數據，并且不要鎖定到某種字符編碼上面。

這樣可以讓程序接受許多種文本編碼（例如Latin-1、Shift JIS及Big5），并把它們都轉化成Unicode，也能保證輸出的文本信息都是用同一種標準（最好是UTF-8）編碼的。

兩種不同的字符類型與Python中兩種常見的使用情況相對應：

• 開發者需要操作原始的8位值序列，序列里面的這些8位值合起來表示一個應該按UTF-8或其他標準編碼的字符串。

• 開發者需要操作通用的Unicode字符串，而不是操作某種特定編碼的字符串。

我們通常需要編寫兩個輔助函數（helper function），以便在這兩種情況之間轉換，確保輸入值類型符合開發者的預期形式。

第一個輔助函數接受bytes或str實例，并返回str：

def?to_str(bytes_or_str):if?isinstance(bytes_or_str,?bytes):value?=?bytes_or_str.decode('utf-8')else:value?=?bytes_or_strreturn?value??#?Instance?of?strprint(repr(to_str(b'foo'))) print(repr(to_str('bar'))) >>> 'foo' 'bar'

第二個輔助函數也接受bytes或str實例，但它返回的是bytes：

def?to_bytes(bytes_or_str):if?isinstance(bytes_or_str,?str):value?=?bytes_or_str.encode('utf-8')else:value?=?bytes_or_strreturn?value??#?Instance?of?bytesprint(repr(to_bytes(b'foo'))) print(repr(to_bytes('bar')))

在Python中使用原始的8位值與Unicode字符串時，有兩個問題要注意。

第一個問題是，bytes與str這兩種類型似乎是以相同的方式工作的，但其實例并不相互兼容，所以在傳遞字符序列的時候必須考慮好其類型。

可以用+操作符將bytes添加到bytes，str也可以這樣。

print(b'one'?+?b'two') print('one'?+?'two') >>> b'onetwo' onetwo

但是不能將str實例添加到bytes實例：

b'one'?+?'two' >>> Traceback?... TypeError:?can't?concat?str?to?bytes

也不能將bytes實例添加到str實例：

'one'?+?b'two' >>> Traceback?... TypeError:?can?only?concatenate?str?(not?"bytes")?to?str

bytes與bytes之間可以用二元操作符（binary operator）來比較大小，str與str之間也可以：

assert?b'red'?>?b'blue' assert?'red'?>?'blue'

但是str實例不能與bytes實例比較：

assert?'red'?>?b'blue'

反過來也一樣，也就是說bytes實例不能與str實例比較：

assert?b'blue'?<?'red'

判斷bytes與str實例是否相等，總是會評估為假（False），即便這兩個實例表示的字符完全相同，它們也不相等。例如，在下面這個例子里，它們表示的字符串都相當于ASCII編碼之中的foo。

print(b'foo'?==?'foo') >>> False

兩種類型的實例都可以出現在%操作符的右側，用來替換左側那個格式字符串（format string）里面的%s。

print(b'red?%s'?%?b'blue') print('red?%s'?%?'blue') >>> b'red?blue' red?blue

如果格式字符串是bytes類型，那么不能用str實例來替換其中的%s，因為Python不知道這個str應該按照什么方案來編碼。

print(b'red?%s'?%?'blue')

但反過來卻可以，也就是說如果格式字符串是str類型，則可以用bytes實例來替換其中的%s，問題是，這可能跟你想要的結果不一樣。

print('red?%s'?%?b'blue') >>> red?b'blue'

這樣做，會讓系統在bytes實例上面調用__repr__方法，然后用這次調用所得到的結果替換格式字符串里的%s，因此程序會直接輸出b'blue'，而不是像你想的那樣，輸出blue本身。

第二個問題發生在操作文件句柄的時候，這里的句柄指由內置的open函數返回的句柄。這樣的句柄默認需要使用Unicode字符串操作，而不能采用原始的bytes。習慣了Python 2的開發者，尤其容易碰到這個問題，進而導致程序出現奇怪的錯誤。例如，向文件寫入二進制數據的時候，下面這種寫法其實是錯誤的。

with?open('data.bin',?'w')?as?f:f.write(b'\xf1\xf2\xf3\xf4\xf5') >>> Traceback?... TypeError:?write()?argument?must?be?str,?not?bytes

程序發生異常是因為在調用open函數時，指定的是'w'模式，所以系統要求必須以文本模式寫入。如果想用二進制模式，那應該指定'wb'才對。在文本模式下，write方法接受的是包含Unicode數據的str實例，不是包含二進制數據的bytes實例。所以，我們得把模式改成'wb'來解決該問題。

with?open('data.bin',?'wb')?as?f:f.write(b'\xf1\xf2\xf3\xf4\xf5')

讀取文件的時候也有類似的問題。例如，如果要把剛才寫入的二進制文件讀出來，那么不能用下面這種寫法。

with?open('data.bin',?'r')?as?f:data?=?f.read()

程序出錯，是因為在調用open函數時指定的是'r'模式，所以系統要求必須以文本模式來讀取。若要用二進制格式讀取，應該指定'rb'。以文本模式操縱句柄時，系統會采用默認的文本編碼方案處理二進制數據。

所以，上面那種寫法會讓系統通過bytes.decode把這份數據解碼成str字符串，再用str.encode把字符串編碼成二進制值。然而對于大多數系統來說，默認的文本編碼方案是UTF-8，所以系統很可能會把b'\xf1\xf2\xf3\xf4\xf5'當成UTF-8格式的字符串去解碼，于是就會出現上面那樣的錯誤。為了修正錯誤，需要把模式改成'rb'。

with?open('data.bin',?'rb')?as?f:data?=?f.read()assert?data?==?b'\xf1\xf2\xf3\xf4\xf5'

另一種改法是在調用open函數的時候，通過encoding參數明確指定編碼標準，以確保平臺特有的一些行為不會干擾代碼的運行效果。例如，假設剛才寫到文件里的那些二進制數據表示的是一個采用'cp1252'標準（cp1252是一種老式的Windows編碼方案）來編碼的字符串，則可以這樣寫：

with?open('data.bin',?'r',?encoding='cp1252')?as?f:data?=?f.read()assert?data?==?'?òó??'

這樣程序就不會出現異常了，但返回的字符串也與讀取原始字節數據所返回的有很大區別。通過這個例子，我們要提醒自己注意當前操作系統默認的編碼標準（可以執行 python3 -c 'import locale; print(locale.getpreferredencoding())'命令查看），了解它與你所期望的是否一致。如果不確定，那就在調用open時明確指定encoding參數。

要點

• bytes包含的是由8位值所組成的序列，str包含的是由Unicode碼點所組成的序列。

• 我們可以編寫輔助函數來確保程序收到的字符序列確實是期望要操作的類型（要知道自己想操作的到底是Unicode碼點，還是原始的8位值。用UTF-8標準給字符串編碼，得到的就是這樣的一系列8位值）。

• bytes與str這兩種實例不能在某些操作符（例如>、==、+、%操作符）上面混用。

• 從文件中讀取二進制數據（或者把二進制數據寫入文件）時，應該用'rb'（'wb'）這樣的二進制模式打開文件。

• 如果要從文件中讀取（或者要寫入文件之中）的是Unicode數據，那么必須注意系統默認的文本編碼方案。若無法肯定，可通過encoding參數明確指定。

關于作者：布雷特·斯拉特金（Brett Slatkin），Google首席軟件工程師，他是Google Surveys的聯合技術創始人，也是PubSubHubbub協議的共同創造者之一。此外，Slatkin還發布了Google的第一個云計算產品——App Engine。早在15年前，Slatkin就開始在工作中使用Python管理Google大量的服務器群。他擁有紐約哥倫比亞大學計算機工程專業學士學位。

本文摘編自《Effective Python：編寫高質量Python代碼的90個有效方法》（原書第2版），經出版方授權發布。

延伸閱讀《Effective Python》（原書第2版）

點擊上圖了解及購買

轉載請聯系微信：DoctorData

推薦語：Python編程進階必讀，基于Python3.8，新增31條建議！掌握Pythonic編程方式，寫出高質量代碼|進階到編程高手的程序員修煉之道和代碼整潔之道。

劃重點????

干貨直達????

• 詳解4種類型的爬蟲技術
  

• 3段極簡代碼帶你入門Python科學計算庫SciPy
  

• 眼花繚亂的數據庫，怎樣選擇？給你這個書單，想學哪個學哪個
  

• 學習數據分析，有哪些好書值得讀？都在這里了

更多精彩????

在公眾號對話框輸入以下關鍵詞

查看更多優質內容！

PPT?|?讀書?|?書單?|?硬核?|?干貨?|?講明白?|?神操作

大數據?|?云計算?|?數據庫?|?Python?|?可視化

AI?|?人工智能?|?機器學習?|?深度學習?|?NLP

5G?|?中臺?|?用戶畫像?|?1024?|?數學?|?算法?|?數字孿生

據統計，99%的大咖都關注了這個公眾號

????

新人創作打卡挑戰賽發博客就能抽獎！定制產品紅包拿不停！

總結

以上是生活随笔為你收集整理的Python高能小技巧：了解bytes与str的区别的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。