當前位置：首頁 > 人文社科 > 生活经验 >内容正文

生活经验

UNICODE使用的一些知识和技巧

發布時間：2023/11/27 生活经验 22 豆豆

生活随笔收集整理的這篇文章主要介紹了 UNICODE使用的一些知识和技巧小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

UNICODE宏和_UNICODE宏的關系

在windows編程中,經常要編譯Unicode版本的程序,方法是工程文件的配置中加上UNICODE或者_UNICODE編譯條件,那么到底是用哪一個呢?

Jeffrey Richter在《Windows核心編程》中說,_UNICODE宏用于C運行期頭文件,而UNICODE宏則用于Windows頭文件.當編譯源代碼模塊時,通常必須同時定義這兩個宏.究竟是怎么樣的呢?

我在MFC的頭文件中搜了一下,在Afxv_W32.h文件中找到這樣一段代碼:

#ifdef _UNICODE

#ifndef UNICODE

#define UNICODE

#endif

#ifdef UNICODE

#ifndef _UNICODE

#define _UNICODE

#endif

所以,在MFC程序中,只要設置了兩個中其中一個就可以了.

但是對于SDK程序,我在頭文件搜索中,發現出現次數最多的是UNICODE, _UNICODE僅僅在少數幾個文件中,并且互相定義的地方也不多,所以寫SDK程序,如果要編譯成UNICODE程序,只要設置UNICODE宏就可以了

本篇文章來源于黑客手冊
原文鏈接：http://www.nohack.cn/code/other/2006-10-05/8850.html

【IT168知識庫】
?

Unicode編碼問題，編程方面的技巧集合

一、匹配Unicode字符的正則表達式

原文：http://tech.it168.com/KnowledgeBase/Articles/2/2/0/220fcae070b4f62461e3e99e17e30306.htm

這里是幾個主要非英文語系字符范圍(google上找到的):

2E80～33FFh：中日韓符號區。收容康熙字典部首、中日韓輔助部首、注音符號、日本假名、韓文音符，中日韓的符號、標點、帶圈或帶括符文數字、月份，以及日本的假名組合、單位、年號、月份、日期、時間等。

3400～4DFFh：中日韓認同表意文字擴充A區，總計收容6,582個中日韓漢字。

4E00～9FFFh：中日韓認同表意文字區，總計收容20,902個中日韓漢字。

A000～A4FFh：彝族文字區，收容中國南方彝族文字和字根。

AC00～D7FFh：韓文拼音組合字區，收容以韓文音符拼成的文字。

F900～FAFFh：中日韓兼容表意文字區，總計收容302個中日韓漢字。

FB00～FFFDh：文字表現形式區，收容組合拉丁文字、希伯來文、阿拉伯文、中日韓直式標點、小符號、半角符號、全角符號等。

比如需要匹配所有中日韓非符號字符,那么正則表達式應該是^[\u3400-\u9FFF]+$
理論上沒錯, 可是我到msn.co.ko隨便復制了個韓文下來, 發現根本不對, 詭異
再到msn.co.jp復制了個'お', 也不得行..

然后把范圍擴大到^[\u2E80-\u9FFF]+$, 這樣倒是都通過了, 這個應該就是匹配中日韓文字的正則表達式了, 包括我們臺灣省還在盲目使用的繁體中文

而關于中文的正則表達式, 應該是^[\u4E00-\u9FFF]+$, 和論壇里常被人提起的^[\u4E00-\u9FA5]+$很接近

需要注意的是論壇里說的^[\u4E00-\u9FA5]+$這是專門用于匹配簡體中文的正則表達式, 實際上繁體字也在里面, 我用測試器測試了下'中華人民共和國', 也通過了, 當然, ^[\u4E00-\u9FFF]+$也是一樣的結果

二、利用漢字Unicode范圍來驗證是否為漢字的JavaScript函數

1、function?checkchinese(str){??
???var?re1?=?new?RegExp("^[\u4E00-\\u9fa5]*$")???????//漢字的范圍
???var?re2?=?new?RegExp("^[\uE7C7-\uE7F3]*$")
???var?str?=?str.replace(/(^\s*)|(\s*$)/g,'');
???if?(str?==?''){return?false;}
???if?(!(re1.test(str)?&&?(!?re2.test(str)))){
??????return?false;
???}
???return?true;
}

3.怎么判斷是否是字符
if(/[^\x00-\xff]/g.test(s))
??? alert("含有漢字");
else
??? alert("全是字符");

3.怎么判斷是否含有漢字
if(escape(str).indexOf("%u")!=-1)
??? alert("含有漢字");
else
??? alert("全是字符");

4、

String.prototype.existChinese ? = ? function() ?
? { ?
? //[\u4E00-\u9FA5]為漢字﹐[\uFE30-\uFFA0]為全角符號 ?
? return ? /[\u4e00-\u9fa5]/.test(this); ?
? }

三、其他技巧

1、只能輸入漢字，數字，英文大小寫，符號只允許，。！的正則表達式

if(/[^\u4e00-\u9fa5\w,\.]/.test(obj.value))?obj.value="";return?false;
function?SpecChar(obj)?{?if(event.type=="keyup")?{?if(/[^\u4e00-\u9fa5\w,\.]/.test(obj.value))?obj.value=obj.value.substring(0,obj.value.length-1);return?false;?}?}

四、Windows環境下Unicode編程總結

UNICODE環境設置

在安裝Visual Studio時，在選擇VC++時需要加入unicode選項，保證相關的庫文件可以拷貝到system32下。

UNICODE編譯設置：

C/C++, Preprocessor difinitions 去除_MBCS，加_UNICODE,UNICODE

在ProjectSetting/link/output 中設置Entry為wWinMainCRTStartup

反之為MBCS（ANSI）編譯。

Unicode ：寬字節字符集

1. 如何取得一個既包含單字節字符又包含雙字節字符的字符串的字符個數？

可以調用Microsoft Visual C++的運行期庫包含函數_mbslen來操作多字節（既包括單字節也包括雙字節）字符串。

調用strlen函數，無法真正了解字符串中究竟有多少字符，它只能告訴你到達結尾的0之前有多少個字節。

2. 如何對DBCS（雙字節字符集）字符串進行操作？

函數描述

PTSTR CharNext （ LPCTSTR ）; 返回字符串中下一個字符的地址

PTSTR CharPrev （ LPCTSTR, LPCTSTR ）；返回字符串中上一個字符的地址

BOOL IsDBCSLeadByte( BYTE )；如果該字節是DBCS字符的第一個字節，則返回非0值

3. 為什幺要使用Unicode？

（1）可以很容易地在不同語言之間進行數據交換。

（2）使你能夠分配支持所有語言的單個二進制.exe文件或DLL文件。

（3）提高應用程序的運行效率。

Windows 2000是使用Unicode從頭進行開發的，如果調用任何一個Windows函數并給它傳遞一個ANSI字符串，那幺系統首先要將字符串轉換成Unicode，然后將Unicode字符串傳遞給操作系統。如果希望函數返回ANSI字符串，系統就會首先將Unicode字符串轉換成ANSI字符串，然后將結果返回給你的應用程序。進行這些字符串的轉換需要占用系統的時間和內存。通過從頭開始用Unicode來開發應用程序，就能夠使你的應用程序更加有效地運行。

Windows CE 本身就是使用Unicode的一種操作系統，完全不支持ANSI Windows函數

Windows 98 只支持ANSI，只能為ANSI開發應用程序。

Microsoft公司將COM從16位Windows轉換成Win32時，公司決定需要字符串的所有COM接口方法都只能接受Unicode字符串。

4. 如何編寫Unicode源代碼？

Microsoft公司為Unicode設計了WindowsAPI，這樣，可以盡量減少代碼的影響。實際上，可以編寫單個源代碼文件，以便使用或者不使用Unicode來對它進行編譯。只需要定義兩個宏（UNICODE和_UNICODE），就可以修改然后重新編譯該源文件。

_UNICODE宏用于C運行期頭文件，而UNICODE宏則用于Windows頭文件。當編譯源代碼模塊時，通常必須同時定義這兩個宏。

5. Windows定義的Unicode數據類型有哪些？

數據類型說明

WCHAR Unicode字符

PWSTR 指向Unicode字符串的指針

PCWSTR 指向一個恒定的Unicode字符串的指針

對應的ANSI數據類型為CHAR，LPSTR和LPCSTR。

ANSI/Unicode通用數據類型為TCHAR，PTSTR,LPCTSTR。

6. 如何對Unicode進行操作？

字符集特性實例

ANSI 操作函數以str開頭 strcpy

Unicode 操作函數以wcs開頭 wcscpy

MBCS 操作函數以_mbs開頭 _mbscpy

ANSI/Unicode 操作函數以_tcs開頭 _tcscpy（C運行期庫）

ANSI/Unicode 操作函數以lstr開頭 lstrcpy（Windows函數）

所有新的和未過時的函數在Windows2000中都同時擁有ANSI和Unicode兩個版本。ANSI版本函數結尾以A表示；Unicode版本函數結尾以W表示。Windows會如下定義：

#ifdef UNICODE

#define CreateWindowEx CreateWindowExW

#else

#define CreateWindowEx CreateWindowExA

#endif // !UNICODE

7. 如何表示Unicode字符串常量？

字符集實例

ANSI “string”

Unicode L“string”

ANSI/Unicode T(“string”)或_TEXT(“string”)if( szError[0] == _TEXT(‘J’) ){ }

8. 為什幺應當盡量使用操作系統函數？

這將有助于稍稍提高應用程序的運行性能，因為操作系統字符串函數常常被大型應用程序比如操作系統的外殼進程Explorer.exe所使用。由于這些函數使用得很多，因此，在應用程序運行時，它們可能已經被裝入RAM。

如：StrCat，StrChr，StrCmp和StrCpy等。

9. 如何編寫符合ANSI和Unicode的應用程序？

（1）將文本串視為字符數組，而不是chars數組或字節數組。

（2）將通用數據類型（如TCHAR和PTSTR）用于文本字符和字符串。

（3）將顯式數據類型（如BYTE和PBYTE）用于字節、字節指針和數據緩存。

（4）將TEXT宏用于原義字符和字符串。

（5）執行全局性替換（例如用PTSTR替換PSTR）。

（6）修改字符串運算問題。例如函數通常希望在字符中傳遞一個緩存的大小，而不是字節。這意味著不應該傳遞sizeof(szBuffer),而應該傳遞（sizeof(szBuffer)/sizeof(TCHAR)。另外，如果需要為字符串分配一個內存塊，并且擁有該字符串中的字符數目，那幺請記住要按字節來分配內存。這就是說，應該調用

malloc(nCharacters *sizeof(TCHAR)),而不是調用malloc(nCharacters)。

10. 如何對字符串進行有選擇的比較？

通過調用CompareString來實現。

標志含義

NORM_IGNORECASE 忽略字母的大小寫

NORM_IGNOREKANATYPE 不區分平假名與片假名字符

NORM_IGNORENONSPACE 忽略無間隔字符

NORM_IGNORESYMBOLS 忽略符號

NORM_IGNOREWIDTH 不區分單字節字符與作為雙字節字符的同一個字符

SORT_STRINGSORT 將標點符號作為普通符號來處理

11. 如何判斷一個文本文件是ANSI還是Unicode？

判斷如果文本文件的開頭兩個字節是0xFF和0xFE，那幺就是Unicode，否則是ANSI。

12. 如何判斷一段字符串是ANSI還是Unicode？

用IsTextUnicode進行判斷。IsTextUnicode使用一系列統計方法和定性方法，以便猜測緩存的內容。由于這不是一種確切的科學方法，因此 IsTextUnicode有可能返回不正確的結果。

13. 如何在Unicode與ANSI之間轉換字符串？

Windows函數MultiByteToWideChar用于將多字節字符串轉換成寬字符串；函數WideCharToMultiByte將寬字符串轉換成等價的多字節字符串。

14. Unicode和DBCS之間的區別

Unicode使用（特別在C程序設計語言環境里）“寬字符集”。「Unicode中的每個字符都是16位寬而不是8位寬?！乖赨nicode中，沒有單單使用8位數值的意義存在。相比之下，在“雙位組字符集”中我們仍然處理8位數值。有些位組自身定義字符，而某些位組則顯示需要和另一個位組共同定義一個字符。

處理DBCS字符串非常雜亂，但是處理Unicode文字則像處理有秩序的文字。您也許會高興地知道前128個Unicode字符（16位代碼從0x0000到0x007F）就是ASCII字符，而接下來的128個Unicode字符（代碼從0x0080到0x00FF）是ISO 8859-1對ASCII的擴展。Unicode中不同部分的字符都同樣基于現有的標準。這是為了便于轉換。希臘字母表使用從0x0370到0x03FF的代碼，斯拉夫語使用從0x0400到0x04FF的代碼，美國使用從0x0530到0x058F的代碼，希伯來語使用從0x0590到0x05FF的代碼。中國、日本和韓國的象形文字（總稱為CJK）占用了從0x3000到0x9FFF的代碼。Unicode的最大好處是這里只有一個字符集，沒有一點含糊。

15.衍生標準

Unicode是一個標準。UTF-8是其概念上的子集，UTF-8是具體的編碼標準。而ＵＮＩＣＯＤＥ是所有想達到世界統一編碼標準的標準。UTF-8標準就是Unicode（ISO10646）標準的一種變形方式，

UTF的全稱是：Unicode/UCS Transformation Format，其實有兩種UTF，一種是UTF-8，一種是UTF-16，

不過UTF-16使用較少，其對應關系如下：

在Unicode中編碼為 0000 - 007F 的 UTF-8 中編碼形式為: 0xxxxxxx

在Unicode中編碼為 0080 - 07FF 的 UTF-8 中編碼形式為: 110xxxxx 10xxxxxx

在Unicode中編碼為 0000 - 007F 的 UTF-8 中編碼形式為: 1110xxxx 10xxxxxx 10xxxxxx

utf-8是unicode的一個新的編碼標準,其實unicode有過好幾個標準.我們知道一直以來使用的unicode字符內碼都是16位,它實際上還不能把全世界的所有字符編在一個平面系統,比如中國的藏文等小語種,所以utf-8擴展到了32位,也就是說理論在utf-8中可容納二的三十二次方個字符. UNICODE的思想就是想把所有的字符統一編碼,實現一個統一的標準.big5、gb都是獨立的字符集,這也叫做遠東字符集,把它拿到德文版的WINDOWS上可能將會引起字符編碼的沖突....早期的WINDOWS默認的字符集是ANSI.notepad中輸入的漢字是本地編碼,但在NT/2000內部是可以直接支持UNICODE的。notepad.exe在WIN95和98中都是ANSI字符,在NT中則是UNICODE.ANSI和UNICODE可以方便的實現對應映射,也就是轉換 ASCII是8位范圍內的字符集，對于范圍之外的字符如漢字它是無法表達的。unicode是16位范圍內的字符集，對于不同地區的字符分區分配，unicode是多個IT巨頭共同制定的字符編碼標準。如果在unicode環境下比如WINDOWS NT上，一個字符占兩字節16位，而在ANSI環境下如WINDOWS98下一個字符占一個字節8位.Unicode字符是16位寬，最多允許65,535字符，數據類型被稱為WCHAR。

對于已有的ANSI字符，unicode簡單的將其擴展為16位：比如ANSI"A"=0x43,則對應的UNICODE為

"A"= 0x0043

而ASCII用七存放128個字符,ASCII是一個真正的美國標準,所以它不能滿足其他國家的需要,例如斯拉夫語的字母和漢字于是出現了Windows ANSI字符集,是一種擴展的ASCII碼,用8位存放字符,低128位仍然存放原來的ASCII碼,

而高128位加入了希臘字母等

if def UNICODE

TCHAR = wchar

else

TCHAR = char

你需要在Project\Settings\C/C++\Preprocesser definitions中添加UNICODE和_UNICODE

UINCODE,_UNICODE都要定義。不定義_UNICODE的話，用SetText(HWND,LPCTSTR),將被解釋為SetTextA(HWND,LPTSTR),這時API將把你給的Unicode字符串看作ANSI字符串，顯示亂碼。因為windows API是已經編譯好存在于dll中的，由于不管UNICODE還是ANSI字符串，都被看作一段buffer,如"0B A3 00 35 24 3C 00 00"如果按ANSI讀，因為ANSI字串是以'\0'結束的，所以只能讀到兩字節"0B A3 \0"，如果按UNICODE讀，將完整的讀到'\0\0'結束。

由于UNICODE沒有額外的指示位，所以系統必須知道你提供的字串是哪種格式。此外，UNICODE好象是ANSI C++規定的，_UNICODE是windows SDK提供的。如果不編寫windows程序，可以只定義UNICODE。

開發過程：

圍繞著文件讀寫、字符串處理展開。文件主要有兩種：.txt和.ini文件

1. 在unicode和非unicode環境下字符串做不同處理的，那么需要參考以上9，10兩條，以適應不同環境得字符串處理要求。

對文件讀寫也一樣。只要調用相關接口函數時，參數中的字符串前都加上_TEXT等相關宏。如果寫成的那個文件需要是unicode格式保存的，那么在創建文件時需要加入一個字節頭。

CFile file;

WCHAR szwBuffer[128];

WCHAR *pszUnicode = L"Unicode string\n"; // unicode string

CHAR *pszAnsi = "Ansi string\n"; // ansi string

WORD wSignature = 0xFEFF;

file.Open(TEXT("Test.txt"), CFile::modeCreate|CFile::modeWrite);

file.Write(&wSignature, 2);

file.Write(pszUnicode, lstrlenW(pszUnicode) * sizeof(WCHAR));

// explicitly use lstrlenW function

MultiByteToWideChar(CP_ACP, 0, pszAnsi, -1, szwBuffer, 128);

file.Write(szwBuffer, lstrlenW(szwBuffer) * sizeof(WCHAR));

file.Close();

//以上這段代碼在unicode和非unicode環境下都有效。這里顯式的指明用Unicode來進行操作。

2. 在非unicode環境下，缺省調用的都是ANSI格式的字符串，此時TCHAR轉換為CHAR類型的，除非顯式定義WCHAR。所以在這個環境下，如果讀取unicode文件，那么首先需要移動2個字節，然后讀取得字符串需要用MultiByteToWideChar來轉換，轉換后字符串信息才代表unicode數據。

3. 在unicode環境下，缺省調用得都是unicode格式得字符串，也就是寬字符，此時TCHAR轉換為WCHAR，相關得API函數也都調用寬字符類型的函數。此時讀取unicode文件也和上面一樣，但是讀取得數據是WCHAR的，如果要轉換成ANSI格式，需要調用WideCharToMultiByte。如果讀取ANSI的，則不用移動兩個字節，直接讀取然后視需要轉換即可。

某些語言（如韓語）必須在unicode環境下才能顯示，這種情況下，在非unicode環境下開發，就算用字符串函數轉換也不能達到顯示文字的目的，因為此時調用得API函數是用ANSI的（雖然底層都是用UNICODE處理但是處理結果是按照程序員調用的API來顯示的）。所以必須用unicode來開發。

轉載于:https://www.cnblogs.com/bluesky_blog/archive/2009/08/04/1538872.html

總結

以上是生活随笔為你收集整理的UNICODE使用的一些知识和技巧的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。