Python学习-03（集合，文件，编码）

上周复习：

列表增删改查  元祖是可读列表

字符串操作

字典是无序的，通过key来找值。字典可以嵌套列表和字典

 

本周内容：集合--文件---字符编码 

集合引入：

#随机生成20个小于20的数，输出所有的数，
# 要求重复的输出一次

import random
a=[]
for i in range(20):
    a.append(random.randint(1,20))
for i in a:
    if i not in b:
        b.append(i)
print(b)

import random
a=[]
for i in range(20):
    a.append(random.randint(1,20))
print(a)
b=list(set(a))
print(b)

 

一、集合

集合：非常简单的去重复。关系测试，不同列表的中的元素的关系。

集合和字典一样是无序的。

集合用的符号是{}，和字典一样。

集合：只能存储不可修改的数据(数值，字符串，元祖)， 不能存储可以修改的数据类型（列表，字典，集合）

1）集合的创建     set方法：可以把列表换成集合。

list_1 = [1,4,5,7,3,6,7,9]
list_1 = set(list_1)

list_2 =set([2,6,0,66,22,8,4])

print(list_1,list_2)

2）集合的关系

交集、并集、差集、子集、父集、对称差集

交集：两个集合都拥有的公共部分

并集：两个集合都拥有的所有部分

差集：一个集合用户而另外一个集合没有的

子集：集合A的所有元素都在集合B中，集合A称为集合B的子集，集合B称为集合A的父集。

对称差集：两个集合的并集减去两个集合的交集。

list_1 = [1,4,5,7,3,6,7,9]
list_1 = set(list_1)

list_2 =set([2,6,0,66,22,8,4])
print(list_1,list_2)

#交集
print(  list_1.intersection(list_2) )

#并集
print(list_1.union(list_2))

#差集 in list_1 but not in list_2
print(list_1.difference(list_2))
print(list_2.difference(list_1))

#子集
list_3 = set([1,3,7])
print(list_3.issubset(list_1))
print(list_1.issuperset(list_3))

#对称差集
print(list_1.symmetric_difference(list_2))

print("-------------")

list_4 = set([5,6,7,8])
print(list_3.isdisjoint(list_4)) # Return True if two sets have a null intersection.

#交集
print(list_1 & list_2)
#并集
print(list_2 | list_1)
#差集
print(list_1 - list_2) # in list 1 but not in list 2
#对称差集
print(list_1 ^ list_2)

3）集合的操作

增加 add():添加一项

添加update():添加多项

删除pop（）随机删除一项

删除remove()：删除，如果不存在，报错

删除discard()：直接删除，没有返回值

求长度，len()

判断存在 x in s  

判断不存在 x not in s

list_1 = [1,4,5,7,3,6,7,9]
list_1 = set(list_1)
list_1.add(999)
list_1.update([888,777,555])
print(list_1)
print(list_1.pop())
print(  list_1.discard(888)  )
print(len(list_1))
print( '1' in  list_1)

结果：
{1, 3, 4, 5, 6, 7, 999, 9, 777, 555, 888}
1
None
9
False

二、字符编码

decode 解码 　　　  encode  编码

先说python2 

　　1）py2里默认编码是ascii

　　2）文件开头那个编码声明是告诉解释这个代码的程序 以什么编码格式 把这段代码读入到内存，因为到了内存里，这段代码其实是以bytes二进制格式存的，不过即使是2进制流，也可以按不同的编码格式转成2进制流，你懂么？

　　3）如果在文件头声明了#_*_coding:utf-8*_，就可以写中文了， 不声明的话，python在处理这段代码时按ascii，显然会出错， 加了这个声明后，里面的代码就全是utf-8格式了。

　　4）在有#_*_coding:utf-8*_的情况下，你在声明变量如果写成name=u"大保健"，那这个字符就是unicode格式，不加这个u,那你声明的字符串就是utf-8格式。

　　5）utf-8 to gbk怎么转，utf8先decode成unicode,再encode成gbk

再说python3 

　　1）py3里默认文件编码就是utf-8,所以可以直接写中文，也不需要文件头声明编码了，干的漂亮

　　2）你声明的变量默认是unicode编码，不是utf-8, 因为默认即是unicode了（不像在py2里，你想直接声明成unicode还得在变量前加个u）, 此时你想转成gbk的话，直接your_str.encode("gbk")即可以

　　3）但py3里，你在your_str.encode("gbk")时，感觉好像还加了一个动作，就是就是encode的数据变成了bytes里，我擦，这是怎么个情况，因为在py3里，str and bytes做了明确的区分，你可以理解为bytes就是2进制流，你会说，我看到的不是010101这样的2进制呀， 那是因为python为了让你能对数据进行操作而在内存级别又帮你做了一层封装，否则让你直接看到一堆2进制，你能看出哪个字符对应哪段2进制么？什么？自己换算，得了吧，你连超过2位数的数字加减运算都费劲，还还是省省心吧。　　

　　4）那你说，在py2里好像也有bytes呀，是的，不过py2里的bytes只是对str做了个别名(python2里的str就是bytes, py3里的str是unicode)，没有像py3一样给你显示的多出来一层封装，但其实其内部还是封装了的。 这么讲吧， 无论是2还是三， 从硬盘到内存，数据格式都是 010101二进制到-->b'\xe4\xbd\xa0\xe5\xa5\xbd' bytes类型－－>按照指定编码转成你能看懂的文字

　　5）编码应用比较多的场景应该是爬虫了，互联网上很多网站用的编码格式很杂，虽然整体趋向都变成utf-8，但现在还是很杂，所以爬网页时就需要你进行各种编码的转换，不过生活正在变美好，期待一个不需要转码的世界。

（转自金角大王的博客）

 

unicode都占两个字符

ascii码英文都占一个字符

Utf-8可变长的字符编码，里面所有英文字符一个字节，中文三个字节。

字符编码的转换：

 

不同编码之间的转换，需要unicode编码

声明文件编码：

#-*-coding:gbk-*-

Python程序中默认unicode

区分文件编码和程序中字符编码

　　理解这句话：

　　s="你好"

　　print（s.encode("utf-8").decode("utf-8").encode("gb2312")）

 

encode()转化为编码，通过decode()才能转化字符显示。

 

三、文件的操作

 

# 文本存储的原理
# 1、打开编辑器就打开了启动了一个进程，是在内存中的，
# 所以，用编辑器编写的内容也都是存放与内存中的，断电后数据丢失
# 2、要想永久保存，需要点击保存按钮：编辑器把内存的数据刷到了硬盘上。
# 3、在我们编写一个py文件（没有执行），跟编写其他文件没有任何区别，
# 都只是在编写一堆字符而已。

 

 

对文件操作的流程

1）打开文件，得到文件的句柄，并赋值给一个变量

2）通过句柄，对文件进行操作

3）关闭文件

 

打开文件的模式有：

• r，只读模式（默认）。
• w，只写模式。【不可读；不存在则创建；存在则删除内容；慎用】
• a，追加模式。【可读；   不存在则创建；存在则只追加内容；】

"+" 表示可以同时读写某个文件

• r+，可读写文件。【可读；可写；可追加，最常用】
• w+，写读
• a+，同a

"U"表示在读取时，可以将 \r \n \r\n自动转换成 \n （与 r 或 r+ 模式同使用）

• rU
• r+U

"b"表示处理二进制文件（如：FTP发送上传ISO镜像文件，linux可忽略，windows处理二进制文件时需标注）

• rb
• wb
• ab

打印进度条的例子：

import sys,time

for i in range(20):
    sys.stdout.write("#")
    sys.stdout.flush()
    time.sleep(0.1)

实际通过f.flush()方法，大家就会理解了为什么断电会数据丢失。

计算机中硬盘和内存的处理数据的速度是不一样的，在向硬盘写数据时候，就需要写先入缓冲区中，写满了，一次性的写入硬盘中。突然断电，就会让缓冲区中的数据丢失。

也就是说我们的程序中把再行过程中，程序显示的是写入了硬盘，实际是写在了缓冲区中，而没有及时写入硬盘，从而造成数据丢失。Python解决这个问题的办法就是f.flush()方法。

 

文件的修改的办法：

1）加载到内存中，修改！

2）打开一个文件，修改后写在新文件中。  

修改
f1=open("good_list.txt",'r+')
f_new=open("good_list.bak.txt","w",encoding="utf-8")
                                for line_1 in f1:
                                    if mod_goods in line_1:
                                        line_1=line_1.replace(re.split(":",line_1)[1],"%s:"%mod_price)
                                    f_new.write(line_1)
                                f_new.flush()
                                f1.close()
                                f_new.close()

#写回原文件
                                f1=open("good_list.txt","w")
                                f_new=open("good_list.bak.txt","r")
                                for line_2 in f_new:
                                    f1.write(line_2)
                                f1.flush()
                                f1.close()
                                f_new.close()

import sys
f = open("yesterday2","r",encoding="utf-8")
f_new = open("yesterday2.bak","w",encoding="utf-8")

find_str = sys.argv[1]
replace_str = sys.argv[2]
for line in f:
    if find_str in line:
        line = line.replace(find_str,replace_str)
    f_new.write(line)
f.close()
f_new.close()

练习：

#：实现：linux下vim中替换操作：
# 例如：   1,5s/H/h/g 实现把前5行的H替换为h
# 要求:行号，替换的内容，还有g都是输入的
# n，m s /替换的内容 / 被替换的内容 /g

str1="11,54s/'中国'/'云计算'/g"
str1=str1.strip()
hang1=int((str1.partition(",")[0]))
hang2=int((str1.partition(",")[2].partition("s")[0]))
bth=str1.split("/")[1]
th=str1.split("/")[2]
g=str1.split("/")[3]
#测试切割
print(hang1,hang2,bth,th,g)
#文档修改的思路：
lines=[]
with open("123.txt","r",encoding="utf-8") as f:
    for line in f:
        if "H" in line:
            line=line.replace("H","h")
        lines.append(line)
with open("123.txt","w",encoding="utf-8") as f:
    for i in lines:
        f.write(i)

练习2：

编程程序，实现set nu  给文档每一行 添加一个行号：

count=1
lines=[]
with open("123.txt","r+",encoding="utf-8") as f:
    for line in f:
        line=str(count)+": "+ line
        count=count+1
        lines.append(line)
    f.seek(0)
    for i in lines:
        f.write(i)

练习3：

#编写函数，实现猜数字的游戏，随机生成1-20个数字，只能猜三次。
#利用装饰器，给上面的游戏，增加一个用户判断的功能。
#要求用户名和密码存在文件中。

四、作业

程序练习　　

程序1: 实现简单的shell sed替换功能

程序2:修改haproxy配置文件 

需求：

1、查
    输入：www.oldboy.org
    获取当前backend下的所有记录

2、新建
    输入：
        arg = {
            'bakend': 'www.oldboy.org',
            'record':{
                'server': '100.1.7.9',
                'weight': 20,
                'maxconn': 30
            }
        }

3、删除
    输入：
        arg = {
            'bakend': 'www.oldboy.org',
            'record':{
                'server': '100.1.7.9',
                'weight': 20,
                'maxconn': 30
            }
        }

需求

global       
        log 127.0.0.1 local2
        daemon
        maxconn 256
        log 127.0.0.1 local2 info
defaults
        log global
        mode http
        timeout connect 5000ms
        timeout client 50000ms
        timeout server 50000ms
        option  dontlognull

listen stats :8888
        stats enable
        stats uri       /admin
        stats auth      admin:1234

frontend oldboy.org
        bind 0.0.0.0:80
        option httplog
        option httpclose
        option  forwardfor
        log global
        acl www hdr_reg(host) -i www.oldboy.org
        use_backend www.oldboy.org if www

backend www.oldboy.org
        server 100.1.7.9 100.1.7.9 weight 20 maxconn 3000

原配置文件

参考文献：

http://www.cnblogs.com/alex3714/articles/5717620.html

http://www.cnblogs.com/yuanchenqi/articles/5956943.html