目录

面试回答

知识扩展

Unicode 和 UTF-8 有啥关系？

有了 UTF-8，为什么要出现 GBK

为什么会出现乱码

---

面试回答

就像电报只能发出“滴”和“答”声一样，计算机只认为 0 和1 两种字符，但是，人类的文字是多种多样的，如何把人类的文字转换成计算机认识的 0、1 字符呢，这个过程同样需要通过字符编码。

字符编码（Character encoding）是一套法则，使用该法则能够对自然语言的字符的一个集合（如字母表或音节表），与其他东西的一个集合（如号码或电脉冲）进行配对。

和摩尔斯电码功能类似，上个世纪60年代，美国制定了一套字符编码，对英语字符与二进制位之间的关系，做了统一规定，这被称为 ASCII 码，一直沿用至今。

由于 ASCII 只有 128 个字符，虽然对于英文字符都可以表示了，但是世界上还有很多其他的文字是没办法表示的，所以需要一种更加全面的字符编码。

于是又出现了 Unicode 字符集（常见的 Unicode Transformation Format 有：UTF-7，UTF-7.5，UTF-8，UTF-16，以及 UTF-32）,除此之外还有一些常用的中文编码有 GBK，GB2312，GB18030 等。

知识扩展

Unicode 和 UTF-8 有啥关系？

Unicode （中文：万国码、国际码、统一码、单一码）是计算机科学领域里的一项业界标准。它对世界上大部分的文字系统进行了整理、编码，使得计算机可以用更为简单的方式来呈现和处理文字。

Unicode 备受认可，并广泛地应用于计算机软件的国际化与本地化过程。有很多新科技，如可扩展置标语言（Extensible Markup Language，简称：XML）、Java 编码语言以及现代的操作系统，都采用 Unicode 编码。

Unicode 是一套通用的字符集，包含世界上的大部分文字，也就说，Unicode 是可以表示中文的。

但是，Unicode 虽然统一了全世界字符的编码，但没有规定如何存储。

因为如果 Unicode 统一规定，每个符号就要用三个或四个字节表示，因为字符太多，只能用这么多字节才能表示完全。一旦这么规定，那么每个英文字母前都必然有二到三个字节是0，因为所有英文字母在 ASCII 中都有，都可以用一个字节表示，剩余字节位置就要补充 0,。如果这样，文本文件的大小会因此大出二三倍，这对于存储来说是极大的浪费。

为了解决这个问题，就出现了一些中间格式的字符集，他们被称为通用转换格式，即 UTF（Unicode Transformation Format）。常用的 UTF 格式与：UTF-7，UTF-7.5，UTF-8，UTF-16，以及 UTF-32。

• UTF-8 使用一至四个字节为每个字符编码
• UTF-16 使用二或四个字节为每个字符编码
• UTF-32 使用四个字节为每个字符编码

所以我们可以说，UTF-8、UTF-16 等都是 Unicode 的一种实现方式。

有了 UTF-8，为什么要出现 GBK

因为 UTF-8 是 Unicode 的一种实现，所以他包含了世界上的所有文字编码，他采用的是 1-4 字节进行编码。

对于那些排在前面优先纳入的文字，可能就优先使用 1 字节、2字节存储了，对于纳入的文字，就要使用 3 字节或者 4 字节存储了。

正是因为 UTF-8 太全了，所以那些晚一些纳入的字符，在 UTF-8 中的存储所占的字节数可能就会多一些，那他的存储空间要求就会很大。

对于常用的汉字，在 UTF-8 中采用 3 字节进行编码，但是如果有一种只包含中文和 ASCII 的编码的话，就不需要使用 3 个字节，可能 2 个字节就够了。

对于大部分网站来说，基本都是只服务一个国家或者地区的，比如一个中国的网站，一般会出现简体字和繁体字以及一些英文字符，很少会出现日语或者韩文的。

也是出于这样的考虑，中国国家标准总局于 1981 年制定并实施了 GB 2312-80 编码，即中华人民共和国国家标准简体中文字符集。后来厂商微软利用 GB 2312-80 未使用的编码空间，收录 GB 13000.1-93 全部字符制定了 GBK 编码。

有了标准中文字符集，如果是一个纯中文网站，就可以采用这种编码方式，这样可以大大节省一些存储空间的。

常用的中文编码有 GBK，GB2312，GB18030 等，最常用的是 GBK。

• GB2312（1980年）：16位字符集，收录有 6763 个简体汉字，682 个符号，共 7445 个字符；

• • 优点：适用于简体中文环境，属于中国国家标准，通行于大陆，新加坡等地也使用此编码；
  • 缺点：不兼容繁体中文，其汉字集合过少

• GBK（1995年）：16位字符集，收录有 21003 个汉字，883 个符号，共 21886 个字符；

• • 优点：适用于简繁中文共存的环境，为简体 Windows 所使用，向下完全兼容 gb2312，向上支持 ISO-10646 国际标准；所有字符都可以一对一映射到 unicode 2.0 上；
  • 缺点：不属于官方标准，和 big5 之间需要转换；很多搜索引擎都不能很好地支持 GBK 汉字。

• GB18030（2000年）：32 位字符集；收录了 27484 个汉字，同时收录了藏文、蒙文、维吾尔文等主要的少数民族文字。

• • 优点：可以收录所有你能想到的文字和符号，属于中国最新的国家标准；
  • 缺点：目前支持它的软件较少。

为什么会出现乱码

文件里面的内容归根到底都是由 0101 组成的，至于 0101 的二进制码如何转成人们可以理解的字符串，则是需要通过规定好的字符编码标准进行转换才可以。

我们把一串中文字符通过 UTF-8 进行编码传输给别人，别人拿到这串文字之后，通过 GBK 进行解码，得到的内容就会是乱码。