字符编码总结

字符编码精华总结

文件或字符串乱码相信大家都没少遇到, 今天主要就来搞清楚字符串的编码到底是怎 么一回事.

首先, 我们放把自己置空, 假设现在从来没有字符编码, 刚有一台计算机产生, 让我 们来设计一套方案, 目标是让在计算机屏幕上看到我们平时所书写的字符. 你会怎么 做?

编码的本质

详细的思考过程, 不再详述, 只做大概的说明如下:

  • 选定 Character Set

首先要确定「我们平时所书写的字符」, 到底都包括哪些字符, 也就是说, 要确定我 们到底要对哪些字符进行处理. 这里选定的字符集合叫做 Character Set 又叫 Character Repertoire.

  • 规定 Coded Character Set

对于已经选定的 Character Set, 我们需要给他们进行编号, 每个字符给一个编号, 也就是字符集合到一个整数集合的映射. 这个映射就叫做 Coded Character Set, 又叫 CCS.

  • 实现 Character Encoding

前两步所做的 选定 和 规定 操作都是纯数学或纯逻辑上的, 跟计算机仍没任何 联系. 在这一步, 就需要将之前规定好的编号给弄进计算机中. 因为编号已经是数字 了, 数字存储为二进制没什么问题. 这里只有一个问题需要注意: 存储编号的时候 使用多少字节? 比如说, 某字符已经在第二步规定好了编号1, 在内存中存储的时候, 是使用0x01 还是使用 0x00 01 ?

以大家熟知的ASCII字符集和编码做为示例, 流程图如下:

 

各种使用中的编码

如上节所述, 编码的本质, 就是把字符进行映射, 然后将映射后的数值进行存储.

尽管各种编码格式在历史上层出不穷, 但上面的本质始终不变. 各编码格式的区别在 于:

  1. 对于所选定的字符集的不同. (ASCII, GBK, Big5, Unicode)
  2. 对于选定的字符集进行编号时的不同. (即便有些向下兼容的编码, 仍会有些字符编码不一样)
  3. 对于编号进行计算机存储时使用字节数的不同. (UTF-8, UTF-16, UTF-32)

各编码在上面各种情况下的详细区别示例, 大家可以参看Wikipedia和文末的参考链 接, 这里不再赘述.

3 Python中的编码

对应到大家平时的使用上, 第一步基本上我们做不了太多的选择, 主要是第二步和第三步.

第二步到第三步的编码, 在编程里对应的就是 Encode 过程;

第三步到第二步的解码, 在编程里对应的就是 Decode 过程.

关于Python字节流和Unicode对象之间转换的详细示例, 可参考Python编码和Unicode

 

UTF-8Unicode的关系

看完上面两个概念解释,那么解释UTF-8和Unicode的关系就比较简单了。Unicode就是上文中提到的编码字符集,而UTF-8就是字符编码,即Unicode规则字库的一种实现形式。随着互联网的发展,对同一字库集的要求越来越迫切,Unicode标准也就自然而然的出现。它几乎涵盖了各个国家语言可能出现的符号和文字,并将为他们编号。详见:Unicode on Wikipedia。Unicode的编号从0000开始一直到10FFFF共分为16个Plane,每个Plane中有65536个字符。而UTF-8则只实现了第一个Plane,可见UTF-8虽然是一个当今接受度最广的字符集编码,但是它并没有涵盖整个Unicode的字库,这也造成了它在某些场景下对于特殊字符的处理困难(下文会有提到)。

 

3.Unicode

正如上一节所说,世界上存在着多种编码方式,同一个二进制数字可以被解释成不同的符号。因此,要想打开一个文本文件,就必须知道它的编码方式,否则用错误的编码方式解读,就会出现乱码。为什么电子邮件常常出现乱码?就是因为发信人和收信人使用的编码方式不一样。

可以想象,如果有一种编码,将世界上所有的符号都纳入其中。每一个符号都给予一个独一无二的编码,那么乱码问题就会消失。这就是Unicode,就像它的名字都表示的,这是一种所有符号的编码。

Unicode当然是一个很大的集合,现在的规模可以容纳100多万个符号。每个符号的编码都不一样,比如,U+0639表示阿拉伯字母Ain,U+0041表示英语的大写字母A,U+4E25表示汉字"严"。具体的符号对应表,可以查询unicode.org,或者专门的汉字对应表。

4. Unicode的问题

需要注意的是,Unicode只是一个符号集,它只规定了符号的二进制代码,却没有规定这个二进制代码应该如何存储。

比如,汉字"严"的unicode是十六进制数4E25,转换成二进制数足足有15位(100111000100101),也就是说这个符号的表示至少需要2个字节。表示其他更大的符号,可能需要3个字节或者4个字节,甚至更多。

这里就有两个严重的问题,第一个问题是,如何才能区别Unicode和ASCII?计算机怎么知道三个字节表示一个符号,而不是分别表示三个符号呢?第二个问题是,我们已经知道,英文字母只用一个字节表示就够了,如果Unicode统一规定,每个符号用三个或四个字节表示,那么每个英文字母前都必然有二到三个字节是0,这对于存储来说是极大的浪费,文本文件的大小会因此大出二三倍,这是无法接受的。

它们造成的结果是:1)出现了Unicode的多种存储方式,也就是说有许多种不同的二进制格式,可以用来表示Unicode。2)Unicode在很长一段时间内无法推广,直到互联网的出现。

5.UTF-8

互联网的普及,强烈要求出现一种统一的编码方式。UTF-8就是在互联网上使用最广的一种Unicode的实现方式。其他实现方式还包括UTF-16(字符用两个字节或四个字节表示)和UTF-32(字符用四个字节表示),不过在互联网上基本不用。重复一遍,这里的关系是,UTF-8是Unicode的实现方式之一。

UTF-8最大的一个特点,就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号,根据不同的符号而变化字节长度。

UTF-8的编码规则很简单,只有二条:

1)对于单字节的符号,字节的第一位设为0,后面7位为这个符号的unicode码。因此对于英语字母,UTF-8编码和ASCII码是相同的。

2)对于n字节的符号(n>1),第一个字节的前n位都设为1,第n+1位设为0,后面字节的前两位一律设为10。剩下的没有提及的二进制位,全部为这个符号的unicode码。

 

UTF-8字节流切片的问题

因为一个UTF-8编码串是一个字节列表,len( )和切片操作无法正常工作。首先用我们之前用的字符串。

1

[ 97 ] [ 98 ] [ 99 ] [ 226 ] [ 128 ] [ 147 ] = "abc–"

接下来做以下的:

1

2

3

>>> my_utf8 = "abc–"

>>> print len(my_utf8)

6

神马?它看起来是4个字符,但是len的结果说是6。因为len计算的是字节数而不是字符数。

1

2

>>> print repr(my_utf8)

'abc\xe2\x80\x93'

现在我们来切分这个字符串。

1

2

>>> my_utf8[-1] # Get the last char

'\x93'

我去,切分结果是最后一字节,不是最后一个字符。

为了正确的切分UTF-8,你最好是解码字节流创建一个Unicode对象。然后就能安全的操作和计数了。

1

2

3

4

5

6

7

>>> my_unicode = my_utf8.decode("utf-8")

>>> print repr(my_unicode)

u'abc\u2013'

>>> print len(my_unicode)

4

>>> print my_unicode[-1]

引子:bytes/str之别

Python 3最重要的新特性大概要算是对文本和二进制数据作了更为清晰的区分。文本总是Unicode,由str类型表示,二进制数据则由bytes类型表示。Python 3不会以任意隐式的方式混用str和bytes,正是这使得两者的区分特别清晰。你不能拼接字符串和字节包,也无法在字节包里搜索字符串(反之亦然),也不能将字符串传入参数为字节包的函数(反之亦然)。这是件好事

不管怎样,字符串和字节包之间的界线是必然的,下面的图解非常重要,务请牢记于心:

 

字符串可以编码成字节包,而字节包可以解码成字符串。

这个问题要这么来看:字符串是文本的抽象表示。字符串由字符组成,字符则是与任何特定二进制表示无关的抽象实体。在操作字符串时,我们生活在幸福的无知之中。我们可以对字符串进行分割和分片,可以拼接和搜索字符串。我们并不关心它们内部是怎么表示的,字符串里的每个字符要用几个字节保存。只有在将字符串编码成字节包(例如,为了在信道上发送它们)或从字节包解码字符串(反向操作)时,我们才会开始关注这点。

 

复习一下,我们有五个不可忽视的事实:

  1. 程序中所有的输入和输出均为 byte
  2. 世界上的文本需要比 256 更多的符号来表现
  3. 你的程序必须处理 byte 和 unicode
  4. byte 流中不会包含编码信息
  5. 指明的编码有可能是错误的

 

Unicode 标准定义了多种方法来用 bytes 来表示成代码点,被成为 encoding 。

因此,Unicode计划的首要任务就是把所有这些字符罗列出来,数个数。这就是Unicode的前半部分,通用字符集(Universal Character Set)。(真正谈及Unicode时,不要把明文字符叫做“字符”,称之为“码点”(code points)。)【通用字符集】

完成前面的工作后,你还得想出一种技术,以储存全部对应的编码文本字符。(用Unicode的话来说,编码文本字符被称作“码值”(code values)。)【对字符集的编号】

Unicode码点、码值、utf-8的关系

对于Unicode来说,码点相当于要编码的字符集,码值相当于对字符集的编号。而utf-8相当于编号在内存的存储方式,即实现方式!

 

 

 

参考文献:

http://www.lijigang.com/blog/2015/06/11/%E5%AD%97%E7%AC%A6%E7%BC%96%E7%A0%81%E6%98%AF%E4%BB%80%E4%B9%88%E9%AC%BC/

http://cenalulu.github.io/linux/character-encoding/

http://blog.jobbole.com/50345/

http://www.ituring.com.cn/article/61192

http://pycoders-weekly-chinese.readthedocs.org/en/latest/issue5/unipain.html

http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html

http://www.lijigang.com/blog/2015/06/11/%E5%AD%97%E7%AC%A6%E7%BC%96%E7%A0%81%E6%98%AF%E4%BB%80%E4%B9%88%E9%AC%BC/

 

 

 

 

转载于:https://www.cnblogs.com/bitpeng/p/4771204.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/290549.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

软件配置管理(六)常用配置软件配置工具指令

文章目录软件配置管理工具的主要功能两种版本控制模型Lock-Modify-UnlockCopy-Modify-MergeSubversionGit软件配置管理工具的主要功能 版本控制变更管理配置审核配置状态统计问题跟踪访问控制和安全控制 两种版本控制模型 Lock-Modify-Unlock “加锁-修改-解锁”模型 对于版…

.NET 6 攻略大全(一)

点击上方蓝字关注我们(本文阅读时间:15分钟)欢迎使用 .NET 6。今天的版本是.NET 团队和社区一年多努力的结果。C# 10 和 F# 6 提供了语言改进,使您的代码更简单、更好、性能大幅提升,我们已经看到微软降低了托管云服务的成本。.NE…

http和https和ssl和tcp/ip之间的关系和区别

1、http解释 超文本传输协议(HTTP,HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络协议。所有的WWW文件都必须遵守这个标准,HTTP是客户端浏览器或其他程序与Web服务器之间的应用层通信协议。在Internet上的Web服务器上存放的都是超文本信息,客户机需要通过HT…

Win7下JDK环境变量的设置

JDK并不像Microsoft阵营vs那样智能,安装好后所有的东西都给你配置好了,我们还没需要手动配置很多东西 首先说为什么要配置JDK的环境变量在任何路径下识别java命令和java类 配置分为2个部分,1,java命令路径。2,java加载类 分为3个步…

简单模拟实现简单的当登录延时的效果

①、先建立一个activaty去部署我们的登陆界面 1 package com.example.administrator.actionbardemo;2 3 import android.app.Activity;4 import android.content.Intent;5 import android.os.Bundle;6 import android.view.View;7 import android.widget.Button;8 import andro…

《音乐达人秀:Adobe Audition实战200例》——实例11 录制任意音量音乐

本节书摘来自异步社区《音乐达人秀:Adobe Audition实战200例》一书中的第2章,实例11 ,作者 健逗,更多章节内容可以访问云栖社区“异步社区”公众号查看。 实例11 录制任意音量音乐 这个实例将讲解如何任意控制录音过程中的音量。你…

软件项目组织管理(四)项目集成管理

文章目录什么是集成管理集成管理的主要工作SWOT方法筛选信息技术项目过程项目章程集成变更控制变更控制委员会利益相关者分析什么是集成管理 在项目生命周期中协调所有其他项目管理知识领域所涉及的过程,确保项目所有组成要素在恰当的时间、正确的地方、合适的人物…

我的技术回顾2019不止技术的一年

这篇本想具体说下ABP的商业模式的演进与变化,因为愿意像我这样花费心力去研究他的人不多。写着的时候,就得没必要。真有这种想法的人,也会自己研究,我何必去写呢。2019年初,因为各种原因,加上企业资源的调整…

linux之在当前目录下删除不包含aa的文件

1、问题 1、当前目录下删除不包含aa的文件和文件夹2、解决办法 1、rm -rf ls -al | grep -v "aa"

设计模式(1)--简单工厂模式、策略模式

设计模式(1)--简单工厂模式、策略模式 1. 简单工厂模式 在阎宏博士的《JAVA与模式》一书中开头是这样描述简单工厂模式的:简单工厂模式是类的创建模式,又叫做静态工厂方法(Static Factory Method)模式。简单…

hql Hibernate.gethibernatetemplate()

1. find(String hql); //普通查询 示例:this.gethibernateTemplate().find("from User"); 2. find(String hql,Object value);//一个查询条件 示例:this.gethibernateTemplate().find("from User u where u.name?","test&quo…

软件项目组织管理(五)项目范围管理

范围管理的重要性 软件企业与IT项目应用企业信息化成功的基本保证是对项目范围的确切圈定,维持必须强调: 三类人的获取 需求专家咨询专家概要设计专家 三要素的把握 企业需求管理理论竞争压力 什么是范围 指开展项目产品所包括的所有工作及产生这些…

kmp算法讲解

转自——http://blog.csdn.net/v_july_v/article/details/7041827 看到kmp是不是立即想到(*ο*) 哇~,那个东西啊,就是拿来放电影的那个啊! 哦,但是这里我们说的并不是那个东西,身为一名C选手,我…

TLS/SSL协议工作原理

1、TLS/SSL的功能实现原理简单介绍 HTTPS协议的主要功能基本都依赖于TLS/SSL协议,TLS/SSL的功能实现主要依赖于三类基本算法:散列函数 Hash、对称加密和非对称加密,其利用非对称加密实现身份认证和密钥协商,对称加密算法采用协商的密钥对数据加密,基于散列函数验证信息的…

实现DDD领域驱动设计: Part 4

原文链接: https://dev.to/salah856/implementing-domain-driven-design-part-iv-29m2对象到对象映射当两个对象具有相同或相似的属性时,自动对象到对象映射是一种将值从一个对象复制到另一个对象的有用方法。DTO和实体类通常具有相同/相似的属性,你通常…

输入输出及注意事项

输入输出命令: 输入函数scanf:在控制台接收指定格式的键盘输入,并将输入内容置于指定变量内存地址中;【格式:scanf(“格式化说明符”, 指定变量内存地址);】 格式: scanf(“%d”,&x);注意&…

软件项目组织管理(六)项目时间管理

文章目录项目计划和进度计划什么是活动活动清单活动属性里程碑时间管理的过程1. 活动定义2. 活动排序三种依赖关系箭线图法(ADM)/双代号网络(AOA)前导图法(PDM)/单代号网络(AON)3. 活…

win7开机按F8后,为什么没有修复计算机的选项

有时win7开机按F8后,没有修复计算机的选项本文将向大家介绍如何通过 Windows 7自带的“配置 Windows 恢复环境(RE)”命令 – ReagentC.exe,启用“高级启动选项”下的“修复计算机”选项。单击 Windows 开始图标,在“搜索程序和文件”输入框中…

TLS/SSL握手过程

参考了:https://www.wosign.com/faq/faq2016-0309-04.htm 1、握手与密钥协商过程 基于RSA握手和密钥交换的客户端验证服务器为示例详解TLS/SSL握手过程。 (1).client_hello 客户端发起请求,以明文传输请求信息,包含版本信息,加密套件候选列表,压缩算法候选列表,随机数,扩…

《我的视频我做主:Premiere Pro CS5实战精粹》——第一部分 基础篇 第1章 非线性剪辑基础 1.1 认识非线性剪辑...

本节书摘来自异步社区《我的视频我做主:Premiere Pro CS5实战精粹》一书中的第1章,第1.1节,作者 拍客三人行,姜岩,赵小虎,周权虎,更多章节内容可以访问云栖社区“异步社区”公众号查看。 第一部…