表情符号mysql utf8mb4_mysql utf8mb4与emoji表情

一什么是Emoji

emoji就是表情符号；词义来自日语(えもじ，e-moji，moji在日语中的含义是字符)

表情符号现已普遍应用于手机短信和网络聊天软件。

emoji表情符号，在外国的手机短信里面已经是很流行使用的一种表情。

手机上如何使用emoji：

1.iphone、ipad系统：安装emoji free，再设置-通用-键盘-国际键盘-添加新的键盘，然后把emoji添加在里面即可在发短信和一些输入文本的文本框中输入表情。

IOS 5用户可直接从通用中添加emoji 键盘，无需再安装emoji free

2.android系统：安装“GO输入法国际版”后，在输入法里面点选安装emoji插件可以使用。另外“百度输入法”也自带emoji表情

3.Windows Phone : 安装此 Emoji Keys，在其中输入之后复制粘贴到需要输入表情的地方即可

二 Emoji表情符号问题

1 问题：

IOS版本之间发送的Emoji表情符号不兼容，只看到方块

不同IOS版本在数据库存数据时，有时会发生系统错误

2 现象：

IOS 4 输入Emoji表情符，在IOS5.01 显示正常，在IOS5.1中(大陆版)显现为方块，但IOS5.01/5.1输入的表情符号，显示正常

IOS5.01/5.1 输入表情符，在IOS5.01/5.1中显示正常，但在IOS4.X显示为方块

输入Emoji入帖子正文，可正常存储。但用户昵称在IOS4.X 输入Emoji，系统正常，而IOS5.01/5.1则提示系统错误。

3 本质:

iOS 5 and OS X 10.7 (Lion) use the Unicode 6.0 standard ‘unified’ code points for emoji.

iOS 5 Emoji 采用Unicode 6 标准来统一code points

iOS 4 on SoftBank iPhones used a set of unofficial code points in the Unicode Private Use Area, and so aren't compatible with any other systems

iOS 4 采用SoftBank Unicode，一种非官方的, 采用私有Unicode 区域。

4 举例:

one emoji symbol "tiger", it is "\U0001f42f" in iOS5, but "\ue050" in earlier iOS version

虎脸Emoji符号在iOS5 为Unicode：\U0001f42f；而在IOS4.x 为：\ue050 (SoftBank 编码)

另外：按理讲，从iOS5 应该兼容以前版本的emoji, 但现在出现5.01版本完美兼容(无论大陆版，美版，还是港版)，而5.1 大陆版出现了不兼容现象(腾讯微信也出现了同样的问题)。

三问题分析

1 系统存储错误问题(如昵称，帖子内容)

原因：

由于IOS5.X 采用新的Unicode，其UTF8 编码大多为4个字节，而由于昵称/帖子内容column并没设成utf8mb4，因此存储会发生错误。

解决方法：

将昵称/帖子内容设成utf8mb4

2 不同iOS 之间Emoji 不兼容的问题。

原因：

iOS 5 到4 不兼容的问题，很简单，unicode6 和softbank编码的不同

iOS 4 到 5，按理说应该兼容，也就是说，iOS应该自动判断如果是softbank编码，自动转成unicode6。但现在看来， iOS5.1(大陆版)好像只支持unicode6, 而不支持softbank.

解决方法：

客户端发送emoji-encoding: Softbank或unicode6, 由服务端分别给出相应的编码表。

四解决方案

1 数据存储(MySQL varchar 数据类型对UTF8 支持问题)

MYSQL 5.5 之前， UTF8 编码只支持1-3个字节，从MYSQL5.5开始，可支持4个字节UTF编码，但要特殊标记。例如我们的帖子内容项，我们加上了这个支持。服务端mysql统一存储为ios5.x也就是Unicode编码。

对应alter语句:

ALTER TABLE topic MODIFY COLUMN content varchar(500) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '内容';

2 编码转换:

iphone手机方案

客户端输入内容时候，统一存储为unicode编码(这里需要从softbank编码转换为unicode编码)。客户端请求内容的时候，需要根据不同的客户端给出不同的编码,ios4采用softbank编码做替换,ios5采用unicode编码直接支持。

android或wp其他手机方案:

如果没有emoji表情库，将无法输入。针对输入问题,将统一采用unicode编码存储。客户端请求内容的时候，将统一用softbank编码，客户端需要把emoji表情符号内置到客户端，做对应的编码和img替换。

web解决方案:

参考android或wp其他手机方案

五部分代码

1 sql代码

CREATE TABLE`ios_emoji` (

`id`int(11) NOT NULL AUTO_INCREMENT COMMENT '自增ID',

`unicode` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'Unicode编码',

`utf8`varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'UTF8编码',

`utf16`varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'UTF16编码',

`sbunicode`varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'SBUnicode编码',

`filename`varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '文件名',

`filebyte` longblob COMMENT'文件内容字节',PRIMARY KEY(`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPACT COMMENT='ios表情编码表';

2 java代码

importjava.io.UnsupportedEncodingException;importorg.apache.commons.lang.StringUtils;public classIOSEmojiUtil {public staticString[] ios5emoji ;public staticString[] ios4emoji ;public staticString[] androidnullemoji ;public staticString[] adsbuniemoji;public static voidinitios5emoji(String[] i5emj,String[] i4emj,String[] adnullemoji,String[] adsbemoji){

ios5emoji=i5emj;

ios4emoji=i4emj;

androidnullemoji=adnullemoji;

adsbuniemoji=adsbemoji;

}//在ios上将ios5转换为ios4编码

public staticString transToIOS4emoji(String src) {returnStringUtils.replaceEach(src, ios5emoji, ios4emoji);

}//在ios上将ios4转换为ios5编码

public staticString transToIOS5emoji(String src) {returnStringUtils.replaceEach(src, ios4emoji, ios5emoji);

}//在android上将ios5的表情符替换为空

public staticString transToAndroidemojiNull(String src) {returnStringUtils.replaceEach(src, ios5emoji, androidnullemoji);

}//在android上将ios5的表情符替换为SBUNICODE

public staticString transToAndroidemojiSB(String src) {returnStringUtils.replaceEach(src, ios5emoji, adsbuniemoji);

}//在android上将SBUNICODE的表情符替换为ios5

public staticString transSBToIOS5emoji(String src) {returnStringUtils.replaceEach(src, adsbuniemoji, ios5emoji);

}//eg. param: 0xF0 0x9F 0x8F 0x80

public static String hexstr2String(String hexstr) throwsUnsupportedEncodingException{byte[] b =hexstr2bytes(hexstr);return new String(b, "UTF-8");

}//eg. param: E018

public static String sbunicode2utfString(String sbhexstr) throwsUnsupportedEncodingException{byte[] b =sbunicode2utfbytes(sbhexstr);return new String(b, "UTF-8");

}//eg. param: 0xF0 0x9F 0x8F 0x80

public static byte[] hexstr2bytes(String hexstr){

String[] hexstrs= hexstr.split(" ");byte[] b = new byte[hexstrs.length];for(int i=0;i

b[i]= hexStringToByte(hexstrs[i].substring(2))[0];

}returnb;

}//eg. param: E018

public static byte[] sbunicode2utfbytes(String sbhexstr) throwsUnsupportedEncodingException{int inthex = Integer.parseInt(sbhexstr, 16);char[] schar = {(char)inthex};byte[] b = (new String(schar)).getBytes("UTF-8");returnb;

}public static byte[] hexStringToByte(String hex) {int len = (hex.length() / 2);byte[] result = new byte[len];char[] achar =hex.toCharArray();for (int i = 0; i < len; i++) {int pos = i * 2;

result[i]= (byte) (toByte(achar[pos]) << 4 | toByte(achar[pos + 1]));

}returnresult;

}private static byte toByte(charc) {byte b = (byte) "0123456789ABCDEF".indexOf(c);returnb;

}public static void main(String[] args) throwsUnsupportedEncodingException {//TODO Auto-generated method stub

byte[] b1 = {-30,-102,-67}; //ios5//0xE2 0x9A 0xBD

byte[] b2 = {-18,-128,-104}; //ios4//"E018"//-------------------------------------

byte[] b3 = {-16,-97,-113,-128}; //0xF0 0x9F 0x8F 0x80

byte[] b4 = {-18,-112,-86}; //E42A

ios5emoji= new String[]{new String(b1,"utf-8"),new String(b3,"utf-8")};

ios4emoji= new String[]{new String(b2,"utf-8"),new String(b4,"utf-8")};//测试字符串

byte[] testbytes = {105,111,115,-30,-102,-67,32,36,-18,-128,-104,32,36,-16,-97,-113,-128,32,36,-18,-112,-86};

String tmpstr= new String(testbytes,"utf-8");