http://www.cnblogs.com/BeginMan/archive/2013/08/08/3246619.html#a1  Python常见常用知识点

http://blog.csdn.net/tingsking18/article/details/4033645  Unicode和Python的中文处理


如何让Python的Unicode字符串支持中文?


要想利用Python的Unicode机制处理字符串,只要能够拥有一个能够把多字节的中文编码(包括GB编码系列和BIG5系列)和Unicode编码进行双向转换的编码/解(在C:\Python27\Lib\encodings\aliases.py中可以找到)模块就可以了。按照Python的术语,这样的编码/解码模块被称为codec。


Python的Unicode处理模块有三个最重要的组成部分:一是codecs.py文件,二是encodings目录,三是aliases.py文件。Python解释器在需要分析Unicode字符串时,会自动加载encodings目录下的这个aliases.py文件。


这个文件中只定义了一个哈希表aliases,它的每个键对应着每一个codec在使用时的名称,也就是unicode()内建函数的第二个参数值;而每个键对应的值则是一个字符串,它是这个codec对应的那个处理文件的模块名。比如,Python默认的解析UTF-8的codec是utf_8.py,它存放在encodings子目录下,则aliases哈希表中就有一项表示其对应关系

 # gb2312 codec'chinese'            : 'gb2312','csiso58gb231280'    : 'gb2312','euc_cn'             : 'gb2312','euccn'              : 'gb2312','eucgb2312_cn'       : 'gb2312','gb2312_1980'        : 'gb2312','gb2312_80'          : 'gb2312','iso_ir_58'          : 'gb2312',# gbk codec'936'                : 'gbk','cp936'              : 'gbk','ms936'              : 'gbk',


codecs.py文件定义了一个标准的Codec模块应有的接口,部分内容:

Codec.encode(input, errors = "strict")
  用于将输入的数据看做是Unicode字符串,并将其“编码”,转换成对应的传统
Python字符串。


Codec.decode(input, errors = "strict")
  用于将输入的数据看做是传统Python字符串,并将其“解码”,转换成对应的Unicode
字符串。


分——————割—————————线———————————————————


python编码问题encode,decode


1. 字符串'xxx'虽然是ASCII编码,但也可以看成是UTF-8编码,

而u'xxx'则只能是Unicode编码

 

2. 把u'xxx'转换为UTF-8编码的'xxx'用encode('utf-8')方法:

>>> u'ABC'.encode('utf-8')
'ABC'
>>> u'中文'.encode('utf-8')
'\xe4\xb8\xad\xe6\x96\x87'

 

3. 反过来,把UTF-8编码表示的字符串'xxx'转换为Unicode字符串

u'xxx'用decode('utf-8')方法
>>> 'abc'.decode('utf-8')
u'abc'
>>> '\xe4\xb8\xad\xe6\x96\x87'.decode('utf-8')
u'\u4e2d\u6587'
>>> print '\xe4\xb8\xad\xe6\x96\x87'.decode('utf-8')
中文

 

4. IDLE 中文乱码

http://hi.baidu.com/yobin/item/166e3a46537781d3c1a59257

# utf-8 中一个汉字 占用三个长度
# gbk 中一个汉字 占用两个长度
# 1. utf-8
>>>data = u'长城'.encode('utf-8')
>>> data
'\xe9\x95\xbf\xe5\x9f\x8e'
>>> print data
闀垮煄
>>> print data.decode('utf-8')  
长城

 

# 2. gbk

>>> data = u'长城'.encode('gbk')
>>> data
'\xb3\xa4\xb3\xc7'
>>> print data
长城
>>> print data.decode('gbk')
长城


分——————割—————————线———————————————————


几个知识点


1.string.decode(encoding='UTF-8', errors='strict'):以 encoding 指定的编码格式解码 string,如果出错默认报一个ValueError 的 异常 , 除非 errors 指的是 'ignore' 或者 'replace'


string.encode(encoding='UTF-8', errors='strict') :以 encoding 指定的编码格式编码 string,如果出错默认报一个ValueError 的异常, 除非 errors 指定的是'ignore'或者'replace'


>>> str = "this is string example....wow!!!"
>>> print str
this is string example....wow!!!
>>> str =str.encode('base64','strict')   #以指定的base65编码格式编码
>>> print str
dGhpcyBpcyBzdHJpbmcgZXhhbXBsZS4uLi53b3chISE=
>>> print str.decode('base64','strict')  #以指定的base65编码格式解码
this is string example....wow!!!


2.unicode 字符

>>> print 'hello'.encode('UTF-8')
hello
>>> print 'hello'.decode('UTF-8')
hello>>> 
>>> print 'hello'.encode('base64')
aGVsbG8=>>> print 'hello'.encode('ascii')
hello
>>> print 'hello'.decode('ascii')
hello>>> print '长城'.encode('gb2312')
UnicodeDecodeError: 'ascii' codec can't decode byte 0xb3
>>> print u'长城'.encode('gb2312')
长城
>>> print '长城'.decode('gb2312')
长城
>>> print '长城'.decode('ascii')
UnicodeDecodeError: 'ascii' codec can't decode byte 0xb3
>>> print unicode('长城')
UnicodeDecodeError: 'ascii' codec can't decode byte 0xb3
>>> print unicode('长城','gb2312')
长城>>> print unicode('你好','gb2312')
你好
>>> print '你好'
你好
>>> s='你好'
>>> print s    #str():给人看的
你好
>>> s    #repr():给计算机看的
'\xc4\xe3\xba\xc3'


3.python乱码问题

一直以来,python中的中文编码就是一个极为头大的问题,经常抛出编码转换的异常,python中的str和unicode到底是一个什么东西呢? 
在python中提到unicode,一般指的是unicode对象,例如'哈哈'的unicode对象为 u'\u54c8\u54c8' 
而str,是一个字节数组,这个字节数组表示的是对unicode对象编码(可以是utf-8、gbk、cp936、GB2312)后的存储的格式。这里它仅仅是一个字节流,没有其它的含义,如果你想使这个字节流显示的内容有意义,就必须用正确的编码格式,解码显示。

对于unicode对象哈哈进行编码,编码成一个utf-8编码的 str-s_utf8,s_utf8就是是一个字节数组,存放的就是'\xe5\x93\x88\xe5\x93\x88',但是这仅仅是一个字节数组, 如果你想将它通过print语句输出成哈哈,那你就失望了,为什么呢?

因为print语句它的实现是将要输出的内容传送到操作系统,操作系统会根据系统的编码对输入的字节流进行编码,这就解释了为什么utf-8格式的字符串“哈哈”,输出的是“鍝堝搱”,因为 '\xe5\x93\x88\xe5\x93\x88'用GB2312去解释,其显示的出来就是“鍝堝搱”。这里再强调一下,str记录的是字节数组,只是某种编码的存储格式,至于输出到文件或是打印出来是什么格式,完全取决于其解码的编码将它解码成什么样子。