准备：
1.扒网页，根据URL来获取网页信息
importurllib.parseimporturllib.request
response= urllib.request.urlopen("https://www.cnblogs.com")print(response.read())
urlopen方法
urlopen(url, data, timeout)
url即为URL，data是访问URL时要传送的数据，timeout是设置超时时间
返回response对象
response对象的read方法，可以返回获取到的网页内容
POST方式
importurllib.parseimporturllib.request
values= {"username":"XXX","password":"XXX"}
data=urllib.parse.urlencode(values)
data= data.encode('utf-8')
url= "https://passport.cnblogs.com/user/signin?ReturnUrl=https://home.cnblogs.com/&AspxAutoDetectCookieSupport=1"response=urllib.request.urlopen(url,data)print(response.read())
GET方式
importurllib.parseimporturllib.request
values= {"itemCount":30}
data=urllib.parse.urlencode(values)
data= data.encode('utf-8')
url= "https://news.cnblogs.com/CommentAjax/GetSideComments"data=urllib.parse.urlencode(values)
response= urllib.request.urlopen(url+'?'+data)print(response.read())
2.正则表达式re模块
Python 自带了re模块，提供了对正则表达式的支持
#返回pattern对象
re.compile(string[,flag])
#以下为匹配所用函数
re.match(pattern, string[, flags]) #在字符串中查找，是否能匹配正则表达式
re.search(pattern, string[, flags]) #字符串的开头是否能匹配正则表达式
re.split(pattern, string[, maxsplit]) #通过正则表达式将字符串分离
re.findall(pattern, string[, flags]) #找到 RE 匹配的所有子串，并把它们作为一个列表返回
re.finditer(pattern, string[, flags]) #找到 RE 匹配的所有子串，并把它们作为一个迭代器返回
re.sub(pattern, repl, string[, count]) #找到 RE 匹配的所有子串，并将其用一个不同的字符串替换
re.subn(pattern, repl, string[, count])#返回 (sub(repl, string[, count]), 替换次数)
3.Beautiful Soup，是从网页抓取数据的库，使用时需要导入 bs4 库
4.MongoDB
使用的MongoEngine库
示例：
抓取博客园前20页数据，保存到MongoDB中
1.获取博客园的数据
request.py
importurllib.parseimporturllib.requestdefgetHtml(url,values):
data=urllib.parse.urlencode(values)
response_result= urllib.request.urlopen(url+'?'+data).read()
html= response_result.decode('utf-8')returnhtmldefrequestCnblogs(num):print('请求数据page:',num)
url= 'https://www.cnblogs.com/mvc/AggSite/PostList.aspx'values={'CategoryId':808,'CategoryType' : 'SiteHome','ItemListActionName' :'PostList','PageIndex': num,'ParentCategoryId': 0,'TotalPostCount' : 4000}
result=getHtml(url,values)return result
注：
打开第二页，f12，找到https://www.cnblogs.com/mvc/AggSite/PostList.aspx
2.解析获取来的数据
deal.py
from bs4 importBeautifulSoupimportrequestimportredefblogParser(index):
cnblogs=request.requestCnblogs(index)
soup= BeautifulSoup(cnblogs, 'html.parser')
all_div= soup.find_all('div', attrs={'class': 'post_item_body'}, limit=20)
blogs=[]#循环div获取详细信息
for item inall_div:
blog=analyzeBlog(item)
blogs.append(blog)returnblogsdefanalyzeBlog(item):
result={}
a_title= find_all(item,'a','titlelnk')if a_title is notNone:
result["title"] =a_title[0].string
result["link"] = a_title[0]['href']
p_summary= find_all(item,'p','post_item_summary')if p_summary is notNone:
result["summary"] =p_summary[0].text
footers= find_all(item,'div','post_item_foot')
footer=footers[0]
result["author"] =footer.a.string
str=footer.text
time= re.findall(r"发布于 .+? .+?", str)
result["create_time"] = time[0].replace('发布于','')returnresultdeffind_all(item,attr,c):return item.find_all(attr,attrs={'class':c},limit=1)
注：
分析html结构
3.将处理好的数据保存到MongoDB
db.py
from mongoengine import *connect('test', host='localhost', port=27017)importdatetimeclassBlogs(Document):
title= StringField(required=True, max_length=200)
link= StringField(required=True)
author= StringField(required=True)
summary= StringField(required=True)
create_time= StringField(required=True)defsavetomongo(contents):for content incontents:
blog=Blogs(
title=content['title'],
link= content['link'],
author=content['author'],
summary=content['summary'],
create_time=content['create_time']
)
blog.save()return "ok"
defhaveBlogs():
blogs=Blogs.objects.all()return len(blogs)
4.开始抓取数据
test.py
importdbimportdealprint("start.......")for i in range(1, 21):
contents=deal.blogParser(i)
db.savetomongo(contents)print('page',i,'OK.')
counts=db.haveBlogs()print("have",counts,"blogs")print("end.......")
注：
当前使用的Python版本是3.6.1
可以在可视化工具中查看(可是化工具 介绍 )
