表情符号mysql utf8mb4_mysql utf8mb4与emoji表情
一 什么是Emoji
emoji就是表情符號(hào);詞義來(lái)自日語(yǔ)(えもじ,e-moji,moji在日語(yǔ)中的含義是字符)
表情符號(hào)現(xiàn)已普遍應(yīng)用于手機(jī)短信和網(wǎng)絡(luò)聊天軟件。
emoji表情符號(hào),在外國(guó)的手機(jī)短信里面已經(jīng)是很流行使用的一種表情。
手機(jī)上如何使用emoji:
1.iphone、ipad系統(tǒng):安裝emoji free,再設(shè)置-通用-鍵盤(pán)-國(guó)際鍵盤(pán)-添加新的鍵盤(pán),然后把emoji添加在里面即可在發(fā)短信和一些輸入文本的文本框中輸入表情。
IOS 5用戶可直接從通用中添加emoji 鍵盤(pán),無(wú)需再安裝emoji free
2.android系統(tǒng):安裝“GO輸入法國(guó)際版”后,在輸入法里面點(diǎn)選安裝emoji插件可以使用。另外“百度輸入法”也自帶emoji表情
3.Windows Phone : 安裝此 Emoji Keys,在其中輸入之后復(fù)制粘貼到需要輸入表情的地方即可
二 Emoji表情符號(hào)問(wèn)題
1 問(wèn)題:
IOS版本之間發(fā)送的Emoji表情符號(hào)不兼容,只看到方塊
不同IOS版本在數(shù)據(jù)庫(kù)存數(shù)據(jù)時(shí),有時(shí)會(huì)發(fā)生系統(tǒng)錯(cuò)誤
2 現(xiàn)象:
IOS 4 輸入Emoji表情符,在IOS5.01 顯示正常,在IOS5.1中(大陸版)顯現(xiàn)為方塊, 但I(xiàn)OS5.01/5.1輸入的表情符號(hào),顯示正 ? ? ?常
IOS5.01/5.1 輸入表情符,在IOS5.01/5.1中顯示正常,但在IOS4.X顯示為方塊
輸入Emoji入帖子正文, 可正常存儲(chǔ)。 但用戶昵稱在IOS4.X 輸入Emoji,系統(tǒng)正常, 而IOS5.01/5.1則提示系統(tǒng)錯(cuò)誤。
3 本質(zhì):
iOS 5 and OS X 10.7 (Lion) use the Unicode 6.0 standard ‘unified’ code points for emoji.
iOS 5 Emoji ?采用Unicode 6 標(biāo)準(zhǔn)來(lái)統(tǒng)一code points
iOS 4 on SoftBank iPhones used a set of unofficial code points in the Unicode Private Use Area, and so aren't ? ? ?compatible with any other systems
iOS 4 采用SoftBank Unicode, 一種非官方的, 采用私有Unicode 區(qū)域。
4 舉例:
one emoji symbol "tiger", it is "\U0001f42f" in iOS5, but "\ue050" in earlier iOS version
虎臉Emoji符號(hào)在iOS5 為Unicode:\U0001f42f;而在IOS4.x 為:\ue050 (SoftBank 編碼)
另外: 按理講, 從iOS5 應(yīng)該兼容以前版本的emoji, 但現(xiàn)在出現(xiàn)5.01版本完美兼容(無(wú)論大陸版,美版,還是港版), 而5.1 ? ? 大陸版出現(xiàn)了不兼容現(xiàn)象(騰訊微信也出現(xiàn)了同樣的問(wèn)題)。
三 問(wèn)題分析
1 系統(tǒng)存儲(chǔ)錯(cuò)誤問(wèn)題(如昵稱,帖子內(nèi)容)
原因:
由于IOS5.X 采用新的Unicode, 其UTF8 編碼大多為4個(gè)字節(jié), 而由于昵稱/帖子內(nèi)容column并沒(méi)設(shè)成utf8mb4,因此存儲(chǔ)會(huì) ? ?發(fā)生錯(cuò)誤。
解決方法:
將昵稱/帖子內(nèi)容設(shè)成utf8mb4
2 不同iOS 之間Emoji 不兼容的問(wèn)題。
原因:
iOS 5 到4 不兼容的問(wèn)題,很簡(jiǎn)單,unicode6 和softbank編碼的不同
iOS 4 到 5,按理說(shuō)應(yīng)該兼容,也就是說(shuō),iOS應(yīng)該自動(dòng)判斷如果是softbank編碼,自動(dòng)轉(zhuǎn)成unicode6。但現(xiàn)在看來(lái), iOS5.1(大陸版)好像只支持unicode6, 而不支持softbank.
解決方法:
客戶端發(fā)送emoji-encoding: Softbank或unicode6, 由服務(wù)端分別給出相應(yīng)的編碼表。
四 解決方案
1 數(shù)據(jù)存儲(chǔ)(MySQL varchar ?數(shù)據(jù)類型對(duì)UTF8 支持問(wèn)題)
MYSQL 5.5 之前, UTF8 編碼只支持1-3個(gè)字節(jié), 從MYSQL5.5開(kāi)始,可支持4個(gè)字節(jié)UTF編碼,但要特殊標(biāo)記。例如我們的帖子內(nèi)容項(xiàng),我們加上了這個(gè)支持。服務(wù)端mysql統(tǒng)一存儲(chǔ)為ios5.x也就是Unicode編碼。
對(duì)應(yīng)alter語(yǔ)句:
ALTER TABLE topic MODIFY COLUMN content varchar(500) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '內(nèi)容';
2 編碼轉(zhuǎn)換:
iphone手機(jī)方案
客戶端輸入內(nèi)容時(shí)候,統(tǒng)一存儲(chǔ)為unicode編碼(這里需要從softbank編碼轉(zhuǎn)換為unicode編碼)??蛻舳苏?qǐng)求內(nèi)容的時(shí)候,需要根據(jù)不同的客戶端給出不同的編碼,ios4采用softbank編碼做替換,ios5采用unicode編碼直接支持。
android或wp其他手機(jī)方案:
如果沒(méi)有emoji表情庫(kù),將無(wú)法輸入。針對(duì)輸入問(wèn)題,將統(tǒng)一采用unicode編碼存儲(chǔ)??蛻舳苏?qǐng)求內(nèi)容的時(shí)候,將統(tǒng)一用softbank編碼,客戶端需要把emoji表情符號(hào)內(nèi)置到客戶端,做對(duì)應(yīng)的編碼和img替換。
web解決方案:
參考android或wp其他手機(jī)方案
五 部分代碼
1 sql代碼
CREATE TABLE`ios_emoji` (
`id`int(11) NOT NULL AUTO_INCREMENT COMMENT '自增ID',
`unicode` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'Unicode編碼',
`utf8`varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'UTF8編碼',
`utf16`varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'UTF16編碼',
`sbunicode`varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'SBUnicode編碼',
`filename`varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '文件名',
`filebyte` longblob COMMENT'文件內(nèi)容字節(jié)',PRIMARY KEY(`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPACT COMMENT='ios表情編碼表';
2 java代碼
importjava.io.UnsupportedEncodingException;importorg.apache.commons.lang.StringUtils;public classIOSEmojiUtil {public staticString[] ios5emoji ;public staticString[] ios4emoji ;public staticString[] androidnullemoji ;public staticString[] adsbuniemoji;public static voidinitios5emoji(String[] i5emj,String[] i4emj,String[] adnullemoji,String[] adsbemoji){
ios5emoji=i5emj;
ios4emoji=i4emj;
androidnullemoji=adnullemoji;
adsbuniemoji=adsbemoji;
}//在ios上將ios5轉(zhuǎn)換為ios4編碼
public staticString transToIOS4emoji(String src) {returnStringUtils.replaceEach(src, ios5emoji, ios4emoji);
}//在ios上將ios4轉(zhuǎn)換為ios5編碼
public staticString transToIOS5emoji(String src) {returnStringUtils.replaceEach(src, ios4emoji, ios5emoji);
}//在android上將ios5的表情符替換為空
public staticString transToAndroidemojiNull(String src) {returnStringUtils.replaceEach(src, ios5emoji, androidnullemoji);
}//在android上將ios5的表情符替換為SBUNICODE
public staticString transToAndroidemojiSB(String src) {returnStringUtils.replaceEach(src, ios5emoji, adsbuniemoji);
}//在android上將SBUNICODE的表情符替換為ios5
public staticString transSBToIOS5emoji(String src) {returnStringUtils.replaceEach(src, adsbuniemoji, ios5emoji);
}//eg. param: 0xF0 0x9F 0x8F 0x80
public static String hexstr2String(String hexstr) throwsUnsupportedEncodingException{byte[] b =hexstr2bytes(hexstr);return new String(b, "UTF-8");
}//eg. param: E018
public static String sbunicode2utfString(String sbhexstr) throwsUnsupportedEncodingException{byte[] b =sbunicode2utfbytes(sbhexstr);return new String(b, "UTF-8");
}//eg. param: 0xF0 0x9F 0x8F 0x80
public static byte[] hexstr2bytes(String hexstr){
String[] hexstrs= hexstr.split(" ");byte[] b = new byte[hexstrs.length];for(int i=0;i
b[i]= hexStringToByte(hexstrs[i].substring(2))[0];
}returnb;
}//eg. param: E018
public static byte[] sbunicode2utfbytes(String sbhexstr) throwsUnsupportedEncodingException{int inthex = Integer.parseInt(sbhexstr, 16);char[] schar = {(char)inthex};byte[] b = (new String(schar)).getBytes("UTF-8");returnb;
}public static byte[] hexStringToByte(String hex) {int len = (hex.length() / 2);byte[] result = new byte[len];char[] achar =hex.toCharArray();for (int i = 0; i < len; i++) {int pos = i * 2;
result[i]= (byte) (toByte(achar[pos]) << 4 | toByte(achar[pos + 1]));
}returnresult;
}private static byte toByte(charc) {byte b = (byte) "0123456789ABCDEF".indexOf(c);returnb;
}public static void main(String[] args) throwsUnsupportedEncodingException {//TODO Auto-generated method stub
byte[] b1 = {-30,-102,-67}; //ios5//0xE2 0x9A 0xBD
byte[] b2 = {-18,-128,-104}; //ios4//"E018"//-------------------------------------
byte[] b3 = {-16,-97,-113,-128}; //0xF0 0x9F 0x8F 0x80
byte[] b4 = {-18,-112,-86}; //E42A
ios5emoji= new String[]{new String(b1,"utf-8"),new String(b3,"utf-8")};
ios4emoji= new String[]{new String(b2,"utf-8"),new String(b4,"utf-8")};//測(cè)試字符串
byte[] testbytes = {105,111,115,-30,-102,-67,32,36,-18,-128,-104,32,36,-16,-97,-113,-128,32,36,-18,-112,-86};
String tmpstr= new String(testbytes,"utf-8");
System.out.println(tmpstr);//轉(zhuǎn)成ios4的表情
String ios4str =transToIOS5emoji(tmpstr);byte[] tmp =ios4str.getBytes();//System.out.print(new String(tmp,"utf-8"));
for(byteb:tmp){
System.out.print(b);
System.out.print(" ");
}
}
}
六 參考資料
1 Emoji 全編碼表:(我參考的這個(gè))
http://punchdrunker.github.com/iOSEmoji/table_html/flower.html
2 Emoji全編碼表
http://code.iamcal.com/php/emoji/
3 iOS5/4 Emoji ?兼容性:
http://stackoverflow.com/questions/7856775/how-to-convert-the-old-emoji-encoding-to-the-latest-encoding-in-ios5
4 MySQL emoji問(wèn)題
http://dropblood.com/archives/ios-mysql-emoji
5 Emoji 中文對(duì)應(yīng)表
http://www.iapps.im/wp-content/uploads/2012/02/emoji-pinyin.png?r=010
七 下載資源
emoji圖片和編碼表?http://download.csdn.net/detail/qdkfriend/4309051
包括emoji文件表,emoji數(shù)據(jù)編碼表(Unicode編碼,UTF8編碼,UTF16編碼,SBUnicode編碼)
總結(jié)
以上是生活随笔為你收集整理的表情符号mysql utf8mb4_mysql utf8mb4与emoji表情的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 茅台学院首届本科毕业生抢手 已有多个酒厂
- 下一篇: 捷信还清了多久能再借