编码gbk的不可映射字符_Python基础：编码表和字符的故事

在计算机内部，都是每8位组成的一个个字节，比如我们使用"abc".encode()把abc转化成二进制byte类型，注意byte是不可变类型：

编码过程

>>> abc.encode() # 把str字符变为bytes字节类型；字符是一个个连接的，转化出来的bytes也是一个个连续的。
b'abc'
>>> "阿".encode("utf-8")  # 一个汉字 uft-8里多是3个字节
b'xe9x98xbf'
>>> "阿".encode("gbk")  # 一个汉字 gbk里是2个字节
b'xb0xa2'

解码过程

>>> b'xe9x98xbf'.decode() #使用默认的utf-8 进行解码
'阿'
>>> b'xb0xa2'.decode("gbk") # 因为刚才是用gbk编码的，我们就用gbk解码，否则就会乱码
'阿'
>>> b'abc'.decode()
#  **这里要注意不要看这里的abc**，这里的abc只是一种展现形式，
#因为这只是二进制的展示形式
'abc'

ASCII 码

从0到127，共128种变化。它是用1个字节(1个字节有8位)表示的。关于8位，就是从0000 0000到1111 1111组成的数字，最高位不动，剩下的低7位变化，所以共有（2的8次方，1 0000 0000，即128）种状态，即0-127，其中127对应的就是0FFF FFFF。

为了用计算机表达字符，人们建了对照表。比如1，对于计算机来说，计算机里原本是0000 0001，我们告诉计算机不要把0100 0001当65看了，请把它当a看

计算机中，内存只能保存数字，那对于文字该怎么办呢？对于文字我们告诉内存这个东西请当做文字处理而不是数字；那么，我们就要给计算机一个表，这个表的本质就是数值和字符的对应映射关系

类似这样比较常见建议背诵的有： - 09>>> TAB

>>> c = "t" # 转义字符的tab
>>> c
't'
>>> c = "x09" # 十六进制的9
>>> c
't'

0d0a >>> 回车换行 # 即十进制的1310

>>> d = "rn"
>>> d
'rn'
>>> d = "x0dx0a"
>>> d
'rn'

0x20>>>空格即decimal 32

>>> e = " "
>>> e
' '
>>> e = "x20"
>>> e
' '

阿拉伯数字0x31 >>>字符1 即decimal 49

>>> c =1 # 整数1与ascii码表无关
>>> d = "1" # 字符1，那就要查表
>>> d
'1'
>>> d = "x31"
>>> d
'1'

A >>> 0x41 即 65
a>>> 0x61 即97

>>> x = "x41"
>>> x
'A'
>>> y = "x61"
>>> y
'a'
# 举例
>>> z = "ax09bx0dx0ac x31x41x61" 
# 相当于z = 'atbrnc 1Aa'
>>> z
'atbrnc 1Aa'

大小规则常见ASCII码的大小规则：09<AZ<a~z。 1）数字比字母要小。如 “7”<“F”； 2）数字0比数字9要小，并按0到9顺序递增。如 “3”<“8” ； 3）字母A比字母Z要小，并按A到Z顺序递增。如“A”<“Z” ； 4）同个字母的大写字母比小写字母要小32。如“A”<“a” 。几个常见字母的ASCII码大小： “A”为65；“a”为97；“0”为 48 [4] 。

单字节的故事：欧美国家

ASCII码0-127低8位解决了英语问题，欧洲法国德国俄国西班牙等，就用了高8位，各自解决了自己的信息化问题：即==低8位兼容ascii码，高8位各自为政== 高八位加低八位共一个字节。

双字节的中文GB2312>>GBK

仅仅能够解决英美国家拉丁文等字母文字的编码，但无法解决中文体系的方块字，因为方块字的数量太多了。一个字节不够，于是我们开始使用2个字节即65536种状态表达汉字。为了兼容ASCII码，汉字是把双字节的每一个0x80之前的都让过的。比如啊，xb0xa1,每个字节都高于0x800x80。 GB2312汉字数量较少（也包含了部分日文），最后发展成了GBK，现在window内部使用额就是双字节的GBK。