爬虫库的使用
- 爬虫的步骤
- 正则表达式
- 正则表达式的流程
- 正则表达式的使用
- 括号的使用
- 管道匹配
- 问号匹配
- 星号匹配
- 加号匹配
- 花括号匹配
- 用点-星匹配所有字符
- 跨行匹配
- findall方法
- 其他常用字符匹配
- 例子
- 正则表达式在线测试
爬虫的步骤
正则表达式
正则表达式，简称为regex，是文本模式的描述方法，用于描述一组字符串特征的模式，用来匹配特定的字符串。通过特殊字符+普通字符来进行模式描述，从而达到文本匹配目的工具。
我们举一个例子，比如说我们要判断电话号码，我们可以编写出这样的一个函数代码
def isPhoneNumber(text):if len(text) != 12:return Falsefor i in range(0, 3):if not text[i].isdecimal():return Falseif text[3] != '-':return Falsefor i in range(4, 7):if not text[i].isdecimal():return Falseif text[7] != '-':return Falsefor i in range(8, 12):if not text[i].isdecimal():return Falsereturn True
isPhoneNumber('425-434-3434') #刚好匹配正确
isPhoneNumber('4325-434-3434') #匹配不正确
那么我们继续从一长串字符中查找电话号码
message = 'Call me at 415-555-1011 tomorrow. 415-555-9999 is my office.'
for i in range(len(message)):chunk = message[i:i+12]if isPhoneNumber(chunk):print('Phone number found: ' + chunk)
print('Done')
通过运行代码，我们可以得到结果：Phone number found: 415-555-1011Phone number found: 415-555-9999Done
我们通过代码逻辑，可以发现到的是，这样的函数代码去匹配电话号码，其实效率很低，我们需要从一长串字符中，12个字符为一组，然后对字符串进行切片，然后直到12个字符完全符合isPhoneNumber()函数。
那么如果我们采用正则表达式呢？
import re
phoneNumRegex = re.compile('\d\d\d-\d\d\d-\d\d\d\d')
mo = phoneNumRegex.search('My number is 441-545-4242.') #返回首次出现
mo.group()#通过group返回匹配结果
运行结果：'441-545-4242'※ \d是一个正则表达式中的特殊字符，表示一位数字字符，即任何一位0到9的数字
那么其实我们很明显的看到的就是 正则表达式在匹配文本时，要比去敲写一段代码，效率更高了。
我们来根据上述代码来分析一下正则表达式的流程。
正则表达式的流程
-
首先，Python中所有正则表达式的函数都在re模块中
-
然后会向re.compile()传入一个字符串值，表示正则表达式，它将返回一个regex模式对象
那么正则表达式是如何匹配regex对象的呢？- regex对象的search()方法查找传入的字符串，寻找该正则表达式的 所有匹配
- 如果字符串中没有找到该正则表达式模式，search()方法将None。如果找到了该模式，search()方法将返回一个match对
- search对象有一个group()方法，它返回被查找字符串中实际匹配的文本，如果没有实际匹配的文本，就会报错，所以一般来说，代码会这么写。
phoneNumRegex = re.compile('\d\d\d-\d\d\d-\d\d\d\d')#raw
mo = phoneNumRegex.search('My number is 34-555-4242.')#首次出现
if mo:print(mo.group())#通过group返回匹配结果
正则表达式的使用
这里将介绍正则表达式中不同的匹配的方式
括号的使用
利用括号进行分组
比如将区号从电话号码中分离，添加括号将在正则表达式中创建“分组” —— (\d\d\d)-(\d\d\d-\d\d\d\d)
然后可以使用group()匹配对象方法，从一个分组中获取匹配的文本
第一对括号是第1组。第二对括号是第2组。向group()传入整数1或2，可以取得匹配文本的不同部分。向group()方法传入0或不传入参数，将返回整个匹配的文本。
import re
phoneNumRegex = re.compile('(\d\d\d)-(\d\d\d-\d\d\d\d)')
mo = phoneNumRegex.search('My number is 341-555-4242.')
mo.group(0)# 返回所有的匹配结果
mo.group(1)# 返回第一个括号的匹配结果
mo.groups()# 返回元组
返回结果：'341-555-4242''341'('341', '555-4242')
管道匹配
利用管道进行分组
字符|称为“管道”。希望匹配许多表达式中的一个时，就可以使用它 。 例 如 ， 正则表达式 ‘Batman|Spiderman’ 将匹配 ‘Batman’ 或‘Spiderman’
如果Batman和Spiderman都出现在被查找的字符串中，第一次出现的匹配文本，将作为match对象返回
mport re
heroRegex = re.compile ('Batman|Spiderman')
mo1 = heroRegex.search('Batman Spiderman Batman')
mo1.group()#第一次出现的匹配文本
运行结果：'Batman'
batRegex = re.compile('Bat(man|mobile|copter|bat)')
#可以匹配'Batman'、'Batmobile'、'Batcopter'和'Batbat'中任意一个。因为所有这些字符串都以Bat开始
mo = batRegex.search('Batmobile lost a wheel')
mo.group()
运行结果：'Batmobile'
问号匹配
用问号实现可选匹配
不论这段文本在不在，正则表达式都会认为匹配。字符?表明它前面的分组在这个模式中是可选的
import re
batRegex = re.compile('Bat(wo)?man')
# 既可以匹配Batman ，也可以匹配Batwomen
mo1 = batRegex.search('The Adventures of Batman')
mo1.group()
运行结果：'Batwoman'
phoneRegex = re.compile('(\d\d\d-)?\d\d\d-\d\d\d\d')
#包含或者不包含区号
mo1 = phoneRegex.search('My number is 415-555-4242')
print(mo1.group())
mo2 = phoneRegex.search('My number is 555-4242')
print(mo2.group())
运行结果：415-555-4242555-4242
星号匹配
用星号匹配零次或多次
*（称为星号）意味着“匹配零次或多次”，即星号之前的分组，可以在文本中出现任意次。它可以完全不存在，或一次又一次地重复
import re
batRegex = re.compile('Bat(wo)*man')
mo1 = batRegex.search('The Adventures of Batwowoman')
mo2 = batRegex.search('The Adventures of Batman')
mo1.group()
mo2.group()
运行结果：'Batwowoman''Batman'
加号匹配
用加号匹配一次或多次
+（加号）则意味着“匹配一次或多次”。星号不要求分组出现在匹 配的字符串中，但加号不同，加号前面的分组必须“至少出现一次”
import re
batRegex = re.compile('Bat(wo)+man')
mo1 = batRegex.search('The Adventures of Batwowoman')
mo1.group()
运行结果：'Batwowoman'
花括号匹配
花括号匹配特定次数
如果想要一个分组重复特定次数，就在正则表达式中该分组的后面，跟上花括号包围的数字。例如，正则表达式(Ha){3}将匹配字符串’HaHaHa’，但不会匹配’HaHa’
可以指定一个范围，即在花括号中写下一个最小值、一个逗号和一个最大值 。 例 如 ， 正则表达式 (Ha){3,5} 将匹配 ‘HaHaHa’ 、‘HaHaHaHa’和’HaHaHaHaHa’ 即可以匹配Ha3次到5次。
#花括号匹配特定次数
haRegex = re.compile('(ha){3}')
mo1 = haRegex.search('hahahahha')
mo1.group()
运行结果：'hahaha'
正则表达式默认是贪婪的，尽可能匹配最长的字符串
非贪婪：加问号，尽可能匹配最短的字符
#匹配特定次数,指定范围
haRegex = re.compile('(ha){2,4}')#贪婪匹配。
mo1 = haRegex.search('hahahaha')
mo1.group()
运行结果：'hahahaha'
#匹配特定次数,
haRegex = re.compile('(ha){2,4}?')#非贪婪匹配
mo1 = haRegex.search('hahahahha')
mo1.group()
运行结果：'haha'
用点-星匹配所有字符
.：匹配任意字符，除非换行
*：匹配零个或者多个表达式
#点匹配任意一个字符
haRegex = re.compile('<.>')
mo2 = haRegex.search('fdf<4>kkkfk')
mo2.group()
运行结果：'<4>'
#点星匹配任意字符
haRegex = re.compile('<.*>')
mo2 = haRegex.search('fdf<4fd809475049758094gg>kkkfk')
mo2.group()
运行结果：'<4fd809475049758094gg>'
#点星匹配任意字符
haRegex = re.compile('<.*?>')#非贪婪模式，用得最多
mo2 = haRegex.search('fdf<hahaha>haha>kkkfk')
mo2.group()
运行结果：'<hahaha>'
跨行匹配
re.DOTALL匹配跨行
haRegex = re.compile('<.*>',re.DOTALL)
text='''weret<ttt
fdfd>fdf'''
mo2 = haRegex.search(text)
mo2.group()
运行结果：'<ttt\nfdfd>'
findall方法
匹配表达式的所有内容（包括首次出现）
#findall
import re
kk = re.compile('\d+')
kk.findall('one1two2three34four4444')
#匹配所有数字，加表示一个或者多个
运行结果：['1', '2', '34', '4444']
关于findall方法，还可以写第二种方法
import re
patt='[1-5][0-9]'
lis=[10,20,30,40,2,3,59,60,'aa','3aaa']
match=re.findall(patt,str(lis))
运行结果：['10', '20', '30', '40','59','60']
其他常用字符匹配
注意：^表示的是匹配字符串的开头；[ ^ 字符串 ]表示匹配方括号内字符串以外的字符串。
例子
#例子一
#匹配哪些字符
import re
words=['gold',' Google','Sogu','Guess']
patt=re.compile('.*g[^u]')
for w in words:m=patt.findall(w)if m: #条件判断中，只要不为0，不为none，不为空的值均和Ture等价print(w)
运行结果：goldGoogle
#例子二
#把字符中，10至59取出来 lis=[10,20,30,40,2,3,59,60,'aa','3aaa']
import re
patt='[1-5][0-9]' # 正则表达式
lis=[10,20,30,40,2,3,59,60,'aa','3aaa']
match=re.findall(patt,str(lis)) # 转换成字符串
if match:print(match)
运行结果：['10', '20', '30', '40', '59']
#例子三
#匹配电话号码和邮箱
import re
import pyperclip
#为电话创建一个正则表达式
phoneRegex = re.compile('\d{8,11}')#8位
#为E-mail 地址创建一个正则表达式
emailRegex = re.compile('''(
[a-zA-Z0-9_%+-]+ # username
@ # @symbol
[a-zA-Z0-9-]+ # domain name
\.
[a-zA-Z]{2,4} #dot-something
)''', re.VERBOSE) #管理复杂文本模式，忽略空白符和注释# Find matches in clipboard text.
text = str(pyperclip.paste()) #从粘贴板过来的字符串
matches = []
for groups in phoneRegex.findall(text):matches.append(groups)
for groups in emailRegex.findall(text):matches.append(groups)
# Copy results to the clipboard.
if len(matches) > 0:print('Copied to clipboard:')print('\n'.join(matches))
else:print('No phone numbers or email addresses found.')
注：
因为Text文本过长，所以我不粘贴到这里，其实text文本不重要，大家自己找一个text文本就可以运行。代码里同学们可能陌生的是pyperclip模块和matchs.append(groups)
下面这是链接解释
pyperclip模块
append的使用
正则表达式在线测试
在线测试
