字符集和編碼方式：ASCII,Unicode和UTF-8, latin1,BIG5,GBK

參考：
字符集
字符集編碼詳解

一、 ASCII碼

我們知道，在計算機內部，所有的信息最終都表示為一個二進制的字符串。每一個二進制位（bit）有0和1兩種狀態，因此八個二進制位就可以組合出256種狀態，這被稱為一個字節（byte）。也就是說，一個字節一共可以用來表示256種不同的狀態，每一個狀態對應一個符號，就是256個符號，從0000000到11111111。

上個世紀60年代，美國制定了一套字符編碼，對英語字符與二進制位之間的關系，做了統一規定。這被稱為ASCII碼，一直沿用至今。

• ASCII碼一共規定了128個字符的編碼，比如空格“SPACE”是32（二進制00100000），大寫的字母A是65（二進制01000001）。ASCII編碼采用單字節(8 Bit)存儲，實際數據存儲空間是7 Bit，這128個符號（包括32個不能打印出來的控制符號），只占用了一個字節的后面7位，最前面的1位統一規定為0。（最高位的1 Bit是奇偶校驗位）

• ASCII碼實現的是大小寫英文字母，阿拉伯數字，及常用的標點符、運算符、控制字符(換行、刪除等)和通信字符(文頭、確認等)與計算機編碼之間的對應。

• ASCII編碼對于英語國家足夠用了，但是卻無法表達非英語國家字符到計算機編碼之間的映射，如中文漢字、法語字母等。所以，出現了很多非ASCII編碼(但大多數都是兼容ASCII碼的)。

二、Unicode（字符集）

世界上存在著多種編碼方式，同一個二進制數字可以被解釋成不同的符號。因此，要想打開一個文本文件，就必須知道它的編碼方式，否則用錯誤的編碼方式解讀，就會出現亂碼。為什么電子郵件常常出現亂碼？就是因為發信人和收信人使用的編碼方式不一樣。

• 可以想象，如果有一種編碼，將世界上所有的符號都納入其中。每一個符號都給予一個獨一無二的編碼，那么亂碼問題就會消失。這就是Unicode，就像它的名字都表示的，這是一種所有符號的編碼。Unicode字符集編碼是Universal Multiple-Octet Coded Character Set 通用多八位編碼字符集的簡稱，支持現今世界各種不同語言的書面文本的交換、處理及顯示。

• Unicode是一種在計算機上使用的字符編碼。它為每種語言中的每個字符設定了統一并且唯一的二進制編碼，以滿足跨語言、跨平臺進行文本轉換、處理的要求。

• **Unicode當然是一個很大的集合，現在的規?？梢匀菁{100多萬個符號。**每個符號的編碼都不一樣，比如，U+0639表示阿拉伯字母Ain，U+0041表示英語的大寫字母A，U+4E25表示漢字“嚴”。

• 需要注意的是，Unicode只是一個符號集，它只規定了符號的二進制代碼，卻沒有規定這個二進制代碼應該如何存儲。

• 比如，漢字“嚴”的unicode是十六進制數4E25，也就是說這個符號的表示至少需要2個字節,這里就有兩個嚴重的問題，第一個問題是，如何才能區別unicode和ascii？ 如果所有字符都按照最大存儲空間存儲，那必然會浪費很大的空間，比如所有字符都按照3字節存儲，但是英文字母只需要一個字節存儲就夠了，就等于說一個Unicode編碼的英文文檔是ASCII編碼文檔存儲空間的三倍。 所以，便有了可變長度編碼—UTF-8。

三、UTF-8（編碼方式）

• **UTF-8就是在互聯網上使用最廣的一種Unicode的實現方式。**其他實現方式還包括UTF-16和UTF-32，不過在互聯網上基本不用。

• UTF-8最大的一個特點，就是它是一種變長的編碼方式。它可以使用1~4個字節表示一個符號，根據不同的符號而變化字節長度。如ASCII編碼的內容UTf-8中就是用一個字符存儲的。

• UTF-8是一種變長字節編碼方式。對于某一個字符的UTF-8編碼，如果只有一個字節則其最高二進制位為0；如果是多字節，其第一個字節從最高位開始，連續的二進制位值為1的個數決定了其編碼的位數，其余各字節均以10開頭。UTF-8最多可用到6個字節。

如表：
1字節 0xxxxxxx
2字節 110xxxxx 10xxxxxx
3字節 1110xxxx 10xxxxxx 10xxxxxx
4字節 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
5字節 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
6字節 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx Unicode

四、latin1

• Latin1是ISO-8859-1的別名，有些環境下寫作Latin-1。ISO-8859-1編碼是單字節編碼，向下兼容ASCII，其編碼范圍是0x00-0xFF，0x00-0x7F之間完全和ASCII一致，0x80-0x9F之間是控制字符，0xA0-0xFF之間是文字符號。
• ASCII編碼是一個7位的容器，ISO-8859-1編碼是一個8位的容器。
• 因為Latin1編碼范圍使用了單字節內的所有空間，在支持Latin1編碼的系統中傳輸和存儲其他任何編碼的字節流都不會被拋棄。換言之，把其他任何編碼的字節流當作Latin1編碼看待都沒有問題。這是個很重要的特性，MySQL數據庫默認編碼是Latin1就是利用了這個特性。

五、BIG5

• 又稱大五碼或五大碼，1984年由臺灣財團法人信息工業策進會和五家軟件公司宏碁 (Acer)、神通 (MiTAC)、佳佳、零壹 (Zero One)、大眾 (FIC)創立，故稱大五碼。
• Big5碼的產生，是因為當時臺灣不同廠商各自推出不同的編碼，如倚天碼、IBM PS55、王安碼等，彼此不能兼容；另一方面，臺灣政府當時尚未推出官方的漢字編碼，而中國大陸的GB2312編碼亦未有收錄繁體中文字。
• Big5碼使用了雙字節儲存方法，以兩個字節來編碼一個字。第一個字節稱為“高位字節”，第二個字節稱為“低位字節”。高位字節的編碼范圍0xA1-0xF9，低位字節的編碼范圍0x40-0x7E及0xA1-0xFE。

六、GBK

• GBK編碼是在GB2312-80(也稱作GB2312，GB碼)標準基礎上的內碼擴展規范，使用了雙字節編碼方案。

• 即不論中、英文字符均使用雙字節來表示，為了區分中文，將其最高位都設定成1。GBK包含全部中文字符，是國家編碼，通用性比UTF8差，不過UTF8占用的數據庫比GBK大

• GBK、GB2312等與UTF8之間都必須通過Unicode編碼才能相互轉換：

• GBK、GB2312<=>Unicode<=>UTF8

總結

以上是生活随笔為你收集整理的字符集和编码规范：ASCII,Unicode和UTF-8, latin1,BIG5,GBK的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。