问 题

python的确很赞，但是编码这个问题真的太尿性了。。。

现在我有一个文件，不论他的编码方式是什么，我都想把它转化成utf-8的格式。我的想法是先读取文件内容，保存到data变量中去，然后再以utf-8的格式写入文件。

但是现在遇到的问题是当我要打开某文件是得知道它的编码格式是什么，不然就总是报错，文件也打不开。

比如说我执行下面的代码

with codecs.open("test.csv","r",encoding="utf-8") as f:

data = f.read()

print(data)

print(chardet.detect(data))

除非test.csv文件的确是以utf-8的格式编码的才能正常打开，如果我用记事本修改成Unicode编码，结果就会报错，错误信息如下

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte

所以想问一下有没有什么办法可以知道整个文件的编码方式，最好是不用读写操作，或者直接给一个库函数。

我有试过用chardet.detect()查看文件编码格式，但是总是报错。错误信息如下

Traceback (most recent call last):

File "E:\Code\python\Flask\csv-mysql\test.py", line 44, in

print(chardet.detect(data))

File "C:\Python35\lib\site-packages\chardet\__init__.py", line 25, in detect

raise ValueError('Expected a bytes object, not a unicode object')

ValueError: Expected a bytes object, not a unicode object

解决方案

with open("test.csv","rb") as f:

data = f.read()

print(chardet.detect(data))

用二进制模式读取

扫一扫关注IT屋

微信公众号搜索 “ IT屋 ” ，选择关注与百万开发者在一起