Python---爬虫学习（详细注释/优化）

from bs4 import BeautifulSoup
import re  # 正则表表达式文字匹配
import urllib.request, urllib.error  # 指定url，获取网页数据
import xlwt
findlink = re.compile(r'a href="(.*?)">')  # 电影链接
findImageSrc = re.compile(r'<img.*src="(.*?)"', re.S)  # re.S让换行符包含着其中  #图片链接
findTitle = re.compile(r'<span class="title">(.*)</span>')  # 标题
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')  # 评分
findJudge = re.compile(r'<span>(\d*)人评价</span>')  # 人数
findInq = re.compile(r'<span class="inq">(.*)</span>')  # 概况
findBd = re.compile(r'<p class="">(.*?)</p>', re.S)  # 相关信息def main():# 定义基础URL，用于构造完整的URL来请求数据baseurl = "https://movie.douban.com/top250?start="# 调用getdata函数，传入基础URL，获取数据并返回datalist = getdata(baseurl)# 打印获取到的数据列表print(datalist)# 定义保存路径，将数据保存到movies.xls文件中savepath = ".\\movies.xls"  # 保存路径# 调用saveData函数，传入获取到的数据列表和保存路径，保存数据saveData(datalist, savepath)# 定义函数，用于发送HTTP请求并获取返回的HTML内容
def askURL(url):# 定义字典，作为HTTP请求的头部信息head = {"User-Agent": " Mozilla / 5.0(Linux;Android6.0;Nexus5 Build / MRA58N) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 99.0.4844.51Mobile Safari / 537.36"}# 根据给定的URL和头部信息，构造一个HTTP请求对象request = urllib.request.Request(url, headers=head)# 初始化一个空字符串，用于存储HTML内容html = ""try:# 使用urllib.request的urlopen函数，发送HTTP请求并获取响应对象response = urllib.request.urlopen(request)# 从响应对象中读取HTML内容，并解码为utf-8格式的字符串html = response.read().decode('utf-8')# 注释：打印HTML内容（实际代码被注释掉）# print(html)except urllib.error.URLError as e:# 如果发生URL相关的错误，处理异常if hasattr(e, "code"):# 打印异常中的错误代码print(e.code)if hasattr(e, "reason"):# 打印异常中的错误原因描述print(e.reason)return html  # 返回获取到的HTML内容# 爬取网页
def getdata(baseurl):# 初始化一个空的数据列表，用于存放解析出的数据datalist = []# 从基础URL开始，循环请求10次，每次请求偏移25for i in range(0, 10):url = baseurl + str(i * 25)  # 构造完整的URLhtml = askURL(url)  # 发送HTTP请求并获取HTML内容soup = BeautifulSoup(html, "html.parser")  # 使用BeautifulSoup解析HTML内容# 遍历解析出的每一个'div'标签，类名为"item"for item in soup.find_all('div', class_="item"):# 初始化一个空的数据列表，用于存放当前item的数据data = []item = str(item)  # 将item转换为字符串，以便进行正则表达式匹配# 寻找链接link = re.findall(findlink, item)[0]  # 使用正则表达式匹配链接data.append(link)  # 将链接添加到数据列表中# 寻找图片源地址image = re.findall(findImageSrc, item)[0]  # 使用正则表达式匹配图片源地址data.append(image)  # 将图片源地址添加到数据列表中# 寻找标题title = re.findall(findTitle, item)  # 使用正则表达式匹配标题if (len(title) == 2):  # 如果匹配到两个标题ctitle = title[0]  # 第一个标题data.append(ctitle)  # 将第一个标题添加到数据列表中otitle = title[1].replace("/", "")  # 第二个标题，移除其中的"/"字符data.append(otitle.strip())  # 将第二个标题添加到数据列表中，并移除首尾的空格else:  # 如果只匹配到一个标题data.append(title[0])  # 将标题添加到数据列表中data.append(" ")  # 添加一个空格，作为第二个标题的占位符# 寻找评分rating = re.findall(findRating, item)[0]  # 使用正则表达式匹配评分data.append(rating)  # 将评分添加到数据列表中# 寻找评价人数judgeNum = re.findall(findJudge, item)[0]  # 使用正则表达式匹配评价人数data.append(judgeNum)  # 将评价人数添加到数据列表中# 寻找描述或简介inq = re.findall(findInq, item)  # 使用正则表达式匹配描述或简介if len(inq) != 0:  # 如果匹配到了描述或简介inq = inq[0].replace("。", "")  # 移除其中的"。"字符data.append(inq)  # 将描述或简介添加到数据列表中else:  # 如果没匹配到描述或简介data.append("")  # 在数据列表中添加一个空字符串作为占位符bd = re.findall(findBd, item)[0]  # 使用正则表达式匹配导演或主演信息，这里可能存在错误，导演和主演信息不在一起匹配，此处可能需要分别处理导演和主演的信息。# 并且匹配结果也没有处理双引号的问题。导演和主演的信息可能需要分开处理。bd = re.sub('<br(\s+)?/>(\s+)?', " ", bd)  # 替换HTML中的换行标签为空格字符，这里可能需要考虑HTML转义字符的问题。# 并且这里只替换了一次，可能存在重复替换的问题。导演和主演的信息可能需要分别处理。bd = re.sub('/', " ", bd)  # 将"/"替换为空格字符，这里可能存在错误，因为"/ "在正则表达式中被错误地转义了
# 3 保存数据
# 定义saveData的函数，接收两个参数：datalist和savepath
def saveData(datalist, savepath):# 打印"save..."，表示开始保存数据print("save...")# 创建一个Excel工作簿，设置编码为utf-8，样式压缩为0book = xlwt.Workbook(encoding="utf-8", style_compression=0)# 在工作簿中添加一个名为'movies'的工作表，设置cell_overwrite_ok为True，表示允许覆盖单元格内容sheet = book.add_sheet('movies', cell_overwrite_ok=True)# 定义一个包含列名的列表col = ("Movies_link", "Image_link", "Chinese_name", "Foreign_name", "Rating", "Reviews", "概况", "Summary")# 循环遍历col中的每一个元素，从0到7，将元素写入到工作表的第0行对应列中for i in range(0, 8):sheet.write(0, i, col[i])# 循环遍历datalist中的每一个元素，从0到249for i in range(0, 250):# 打印当前处理的条目序号print("第%d条" % (i + 1))# 从datalist中获取第i个元素，赋值给datadata = datalist[i]# 循环遍历data中的每一个元素，从0到7，将元素写入到工作表的第i+1行对应列中for j in range(0, 8):sheet.write(i + 1, j, data[j])# 将工作簿保存到指定的路径下，文件名为savepathbook.save(savepath)main()
print("爬取完毕！")