GBK、Unicode、UTF都可以看做編碼集，每一個數字代表一個字符。其中utf-8作為Unicode的優化，減少了純英文字符的字節數。

計算機在內存中都使用Unicode編碼，在輸出時轉化為GBK/UTF-8編碼。在python3中也是這樣的。

假設一個非常簡單的流程：從一個GBK編碼的文件讀出，寫到一個以UTF-8編碼的文件。
其中數據的流動是這樣的：
a. 讀：open按照GBK的編碼，兩個字節兩個字節的讀出一個個漢字，然后將其以Unicode編碼存在內存里；
b. 寫：把內存中的Unicode編碼的字節序列解碼，再編碼成UTF-8的字節，寫入到硬盤中。

上面一些實驗的代碼：

#%% s = '啊' # = '\u554a' print(s.encode('utf-8')) # b'\xe5\x95\x8a' print(s.encode('gbk')) # b'\xb0\xa1' assert ord(s) == 0x554a#%% # 將內存中Unicode字符串按照不同編碼寫進文件中 with open('gbk.txt', 'w', encoding='gbk') as gbk, open('utf.txt', 'w', encoding='utf-8') as utf:gbk.write(s)utf.write(s) # 此時gbk.txt里兩個字節：0xb0 0xa1， # utf.txt里三個字節：0xe5 0x95 0x8a# 必須按照相應的編碼讀 with open('gbk.txt', 'r', encoding='gbk') as gbk, open('utf.txt', 'r', encoding='utf-8') as utf:gbk_s = gbk.read()utf_s = utf.read()print(gbk_s, utf_s)assert gbk_s == utf_sassert gbk_s == '\u554a'#%% # 否則會報UnicodeDecodeError，因為GBK存進去的兩個字節，UTF-8識別不了 with open('gbk.txt', 'r', encoding='utf-8') as f:f.read()# UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb0 in position 0: invalid start byte#%% # 先查看utf.txt文件中的字節 with open('utf.txt', 'rb') as utf:print(utf.read()) # b'\xe5\x95\x8a'# 將utf8編碼的文件讀取出來按GBK存進文件中 with open('utf.txt', 'r', encoding='utf-8') as utf:s = utf.read()print(hex(ord(s))) # 0x55a4 說明是Unicode編碼# 將s寫入按GBK編碼的文件 with open('gbk.txt', 'w', encoding='gbk') as gbk:gbk.write(s)# 查看gbk.txt文件中的字節 with open('gbk.txt', 'rb') as gbk:print(gbk.read()) # b'\xb0\xa1' 為UTF-8編碼后的字節

總結

以上是生活随笔為你收集整理的Python3中的GBK、UTF-8和Unicode的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。