同事让帮忙在某个网站爬点数据，首次尝试爬虫，遇到的问题及解决思路记录下。
大体需求是需要爬取详情页内的信息，详情页有一定格式规律，但是详情页需要从列表页跳入，列表页中的每一条记录需要鼠标悬停才会弹出跳转链接，点击后才可跳转，然后将数据存在excel中，一个个解决吧。
第一步是先爬取详情页的数据，发现页面数据是js渲染出来的，直接用请求获取不到信息，于是使用selenium来模拟浏览器实际请求，然后需要的各个标签值也都没有id，就根据class来获取值的列表，具体方法为
from selenium import webdriverstrurl = 'https://xxxxxxxx?id='+stribrowser = webdriver.Chrome()try:browser.get(strurl)item1 = browser.find_elements(by=By.CLASS_NAME, value="xxxxxxxx")item2 = browser.find_elements(by=By.CLASS_NAME, value="yyyyyyyy")item3 = browser.find_elements(by=By.CLASS_NAME, value="zzzzzzzz")# text='\n'+'基本信息:'+'\n'# for str1,str2 in zip(item1,item2):# print(str1.text ,":",str2.text)# text+=str1.text + ":"+ str2.text+'\n' #加入到字符串中，并换行## for str in item3:# text+='\n'+"使用案例:" + str.text+'\n' #加入到字符串中，并换行# print(str.text+ '\n')finally:browser.close()
获取到需要的值，然后需要把值放到excel中，使用openpyxl 将获取到的值拼成一行追加到excel中，具体方法如下：
from openpyxl import load_workbook# 打开 Excel 文件wb = load_workbook('test.xlsx')# 选择要操作的工作表ws = wb['Sheet2']new_data = []for str2 in item2:new_data.append(str2.text)for str in item3:new_data.append(str.text)# 在最后一行添加数据ws.append(new_data)# 保存文件wb.save('test.xlsx')这样单详情页的内容可以搞到excel中了，需要搞抓所有记录的问题，因为列表页首先也是js渲染出来的，还有需要模拟悬停才能弹出跳转链接，研究了下详情页的url，都是xxx?id=aaa，这个aaa虽然是int，但是也没规律，随便找了几个值找不到对应页面的时候会报错，但是列表请求页可以看到对于列表的分页请求，相应为json格式，有个列表包含各个对象的id值，整好就是详情页的id值，那就这么搞把，列表信息通过这个请求模拟，然后从相应里取各个id，遍历跳转，一开始尝试了将列表请求跟遍历详情页拼在一个方法里，但是报“TypeError: 'WebElement' object is not callable”这个错，反正是自己用的小工具，先解决需求就行，分俩方法，把id结果集自己拼过来当参数，整合后参考代码如下，凑合看吧
{"code": 200,"message": "操作成功","data": {"pageNum": 2,"pageSize": 10,"totalPage": 10,"total": 100,"list": [{"id": aaaa,"logo": "6426cb.png"},{"id": bbbb,"logo": "6426cb.png"}]},"requestId": "abc"
}
import jsonwith open('searchResultP3.json', encoding='utf-8') as f:jsondata = json.load(f)jsonlist = jsondata["data"]["list"]datalist=[]for objjson in jsonlist:strid = str(objjson["id"])datalist.append(strid)print(datalist)from selenium import webdriver
from selenium.webdriver.common.by import By
from openpyxl import load_workbookimport jsonfor stri in ['aaa', 'bbb', 'ccc']:strurl = 'https://xxx?id='+stribrowser = webdriver.Chrome()try:browser.get(strurl)item1 = browser.find_elements(by=By.CLASS_NAME, value="xxxxx")item2 = browser.find_elements(by=By.CLASS_NAME, value="yyyyy")item3 = browser.find_elements(by=By.CLASS_NAME, value="zzzzz")# text='\n'+'基本信息:'+'\n'# for str1,str2 in zip(item1,item2):# print(str1.text ,":",str2.text)# text+=str1.text + ":"+ str2.text+'\n' #加入到字符串中，并换行## for str in item3:# text+='\n'+"使用案例:" + str.text+'\n' #加入到字符串中，并换行# print(str.text+ '\n')# 打开 Excel 文件wb = load_workbook('test.xlsx')# 选择要操作的工作表ws = wb['Sheet2']new_data = []for str2 in item2:new_data.append(str2.text)for str in item3:new_data.append(str.text)# 在最后一行添加数据ws.append(new_data)# 保存文件wb.save('test.xlsx')finally:browser.close()
