字符集和编码方式：ASCII,Unicode和UTF-8, latin1,BIG5,GBK

参考：
字符集
字符集编码详解

一、 ASCII码

我们知道，在计算机内部，所有的信息最终都表示为一个二进制的字符串。每一个二进制位（bit）有0和1两种状态，因此八个二进制位就可以组合出256种状态，这被称为一个字节（byte）。也就是说，一个字节一共可以用来表示256种不同的状态，每一个状态对应一个符号，就是256个符号，从0000000到11111111。

上个世纪60年代，美国制定了一套字符编码，对英语字符与二进制位之间的关系，做了统一规定。这被称为ASCII码，一直沿用至今。

• ASCII码一共规定了128个字符的编码，比如空格“SPACE”是32（二进制00100000），大写的字母A是65（二进制01000001）。ASCII编码采用单字节(8 Bit)存储，实际数据存储空间是7 Bit，这128个符号（包括32个不能打印出来的控制符号），只占用了一个字节的后面7位，最前面的1位统一规定为0。（最高位的1 Bit是奇偶校验位）

• ASCII码实现的是大小写英文字母，阿拉伯数字，及常用的标点符、运算符、控制字符(换行、删除等)和通信字符(文头、确认等)与计算机编码之间的对应。

• ASCII编码对于英语国家足够用了，但是却无法表达非英语国家字符到计算机编码之间的映射，如中文汉字、法语字母等。所以，出现了很多非ASCII编码(但大多数都是兼容ASCII码的)。

二、Unicode（字符集）

世界上存在着多种编码方式，同一个二进制数字可以被解释成不同的符号。因此，要想打开一个文本文件，就必须知道它的编码方式，否则用错误的编码方式解读，就会出现乱码。为什么电子邮件常常出现乱码？就是因为发信人和收信人使用的编码方式不一样。

• 可以想象，如果有一种编码，将世界上所有的符号都纳入其中。每一个符号都给予一个独一无二的编码，那么乱码问题就会消失。这就是Unicode，就像它的名字都表示的，这是一种所有符号的编码。Unicode字符集编码是Universal Multiple-Octet Coded Character Set 通用多八位编码字符集的简称，支持现今世界各种不同语言的书面文本的交换、处理及显示。

• Unicode是一种在计算机上使用的字符编码。它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。

• **Unicode当然是一个很大的集合，现在的规模可以容纳100多万个符号。**每个符号的编码都不一样，比如，U+0639表示阿拉伯字母Ain，U+0041表示英语的大写字母A，U+4E25表示汉字“严”。

• 需要注意的是，Unicode只是一个符号集，它只规定了符号的二进制代码，却没有规定这个二进制代码应该如何存储。

• 比如，汉字“严”的unicode是十六进制数4E25，也就是说这个符号的表示至少需要2个字节,这里就有两个严重的问题，第一个问题是，如何才能区别unicode和ascii？ 如果所有字符都按照最大存储空间存储，那必然会浪费很大的空间，比如所有字符都按照3字节存储，但是英文字母只需要一个字节存储就够了，就等于说一个Unicode编码的英文文档是ASCII编码文档存储空间的三倍。 所以，便有了可变长度编码—UTF-8。

三、UTF-8（编码方式）

• **UTF-8就是在互联网上使用最广的一种Unicode的实现方式。**其他实现方式还包括UTF-16和UTF-32，不过在互联网上基本不用。

• UTF-8最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。如ASCII编码的内容UTf-8中就是用一个字符存储的。

• UTF-8是一种变长字节编码方式。对于某一个字符的UTF-8编码，如果只有一个字节则其最高二进制位为0；如果是多字节，其第一个字节从最高位开始，连续的二进制位值为1的个数决定了其编码的位数，其余各字节均以10开头。UTF-8最多可用到6个字节。

如表：
1字节 0xxxxxxx
2字节 110xxxxx 10xxxxxx
3字节 1110xxxx 10xxxxxx 10xxxxxx
4字节 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
5字节 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
6字节 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx Unicode

四、latin1

• Latin1是ISO-8859-1的别名，有些环境下写作Latin-1。ISO-8859-1编码是单字节编码，向下兼容ASCII，其编码范围是0x00-0xFF，0x00-0x7F之间完全和ASCII一致，0x80-0x9F之间是控制字符，0xA0-0xFF之间是文字符号。
• ASCII编码是一个7位的容器，ISO-8859-1编码是一个8位的容器。
• 因为Latin1编码范围使用了单字节内的所有空间，在支持Latin1编码的系统中传输和存储其他任何编码的字节流都不会被抛弃。换言之，把其他任何编码的字节流当作Latin1编码看待都没有问题。这是个很重要的特性，MySQL数据库默认编码是Latin1就是利用了这个特性。

五、BIG5

• 又称大五码或五大码，1984年由台湾财团法人信息工业策进会和五家软件公司宏碁 (Acer)、神通 (MiTAC)、佳佳、零壹 (Zero One)、大众 (FIC)创立，故称大五码。
• Big5码的产生，是因为当时台湾不同厂商各自推出不同的编码，如倚天码、IBM PS55、王安码等，彼此不能兼容；另一方面，台湾政府当时尚未推出官方的汉字编码，而中国大陆的GB2312编码亦未有收录繁体中文字。
• Big5码使用了双字节储存方法，以两个字节来编码一个字。第一个字节称为“高位字节”，第二个字节称为“低位字节”。高位字节的编码范围0xA1-0xF9，低位字节的编码范围0x40-0x7E及0xA1-0xFE。

六、GBK

• GBK编码是在GB2312-80(也称作GB2312，GB码)标准基础上的内码扩展规范，使用了双字节编码方案。

• 即不论中、英文字符均使用双字节来表示，为了区分中文，将其最高位都设定成1。GBK包含全部中文字符，是国家编码，通用性比UTF8差，不过UTF8占用的数据库比GBK大

• GBK、GB2312等与UTF8之间都必须通过Unicode编码才能相互转换：

• GBK、GB2312<=>Unicode<=>UTF8